Firefly2015-11-262015-11-272https://www.postgresql.eu/events/pgconfde2015/schedule/09:0008:00LotseInnerhalb dieses Kurses werden verschiedene Methoden zur Gestaltung einer Hochverfügbaren PostgreSQL-Installation vorgestellt. Neben den allgemeinen Anforderungen an einen hochverfügbaren PostgreSQL-Service werden ebenfalls die Anforderungen an die eingesetzte Hardware besprochen. Im späteren Verlauf wird gezeigt, wie im Worst-Case ein automatischer Failover ausgelöst werden kann und welche zusätzlichen Komponenten hierbei zum Einsatz kommen. Zum Abschluss werden die gängigen Fallstricke im Bezug auf automatisierte und hochverfügbaren PostgreSQL-Installationen besprochen und aufgezeigt, wie diese umgangen werden können.https://www.postgresql.eu/events/pgconfde2015/schedule/session/1117/WorkshopsAdrian VondendrieschMichael Banck09:0003:30Seiler - Einführung - Überblick Performance Tuning - Tuning-Techniken - Betriebssystem - Loggen langsamer Abfragen - Tabellenstatistiken - Indizes - Datenbank-Parameter - Proactive Maintenance - Vacuum and Auto Vacuum - Die Visibility Map - Einfügungmäßiges Re-indexinghttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1119/WorkshopsSandra Wiecki09:0003:30ReeperDieses Training richtet sich an alle, die Replikation verstehen und einsetzen wollen. Unser Streifzug führt uns durch die folgenden Themen: - Wie PostgreSQL Daten schreibt - Asynchrone Replikation (Streaming) - Synchrone Replikation - Replication Slots (logische Replikation) - Konfliktvermeidung - Replikation monitorenhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1007/WorkshopsHans-Jürgen Schönig13:3003:30ReeperThis session will explore different ways to backup PostreSQL data; discuss the best field of usage of the method. Es werden unterschiedliche Wege der Sicherung von PostgreSQL-Daten dargestellt und deren Einsatzbereiche diskutiert. Types of backups we will see Logical backups Physical backups Streaming replication Logical replication Wir behandeln logische Backups, physische Backups, Streaming Replication, Logical Replication. Pros and cons of each one Vor- und Nachteile der einzelnen Sicherungverfahren werden dargestellt. Which backup is best suited for revocery from which type of disaster. Welche Sicherungsmethode ist für welche Desaster-Art am passendsten? Why have more than one type of backup? Welche Gründe gibt es für mehr als eine Art von Backup.https://www.postgresql.eu/events/pgconfde2015/schedule/session/1118/WorkshopsSimon Riggs13:3003:30SeilerDer Workshop ermöglicht Einsteigern den Zugang zu PostgreSQL/PostGIS und hilft bei den ersten Schritten im Umgang mit räumlichen Daten in der Datenbank. Geodatentypen, Datenmodell, Visualisierung, Datenimport, Schnittstellen und SQL werden behandelt. * Einführung PostgreSQL / PostGIS - Vorstellung der Möglichkeiten (Vektordaten, Rasterdaten) * Erklärung des Datenmodells * Visualisierung von Daten mit QGIS * Datenimport über QGIS DB Manager und shp2pgsql * räumliche Funktionen - Aufzeigen der Möglichkeiten anhand von einfachen SQLs * Schnittstellen zu anderen Programmenhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1099/WorkshopsAstrid Emde09:0000:10Otherhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1138/TalksAndreas Scherbaum09:1000:45ReeperStarting an open source project is very easy, especially in the days of GitHub. Push your code and see if somebody is interested in. If you are able to gain attention and interest for you project you feel motivated and work all night long. But on the other hand, people will start complaining about open bugs, missing features and your evil or non existing website. Believe it or not, but this will pursue you until your last user dies. One of the most important things for a successful open source project is to treat you community well. This talk will share some experiences made during the last 6 years with Icinga. Starting with basic concepts, it deals with tools and methods helping to increase and cultivate your community. It also covers internal organisation requirements for successful community work and upcoming challenges if you strike some new paths with your project.https://www.postgresql.eu/events/pgconfde2015/schedule/session/981/TalksBernd Erk10:0000:30ReeperViele Vor- und Nachteile werden diskutiert wenn es um die Nutzung von Open Source in der Firmen-IT geht. Es gibt viele Gründe, warum Open-Source gerade für geschäftskritische Software ideal ist. Aber es gibt auch viele Unsicherheiten und Zweifel, insbesondere bei denen, die selber nicht in Open-Source Communities tätig sind. Für PostgreSQL als Datenbanksystem, und damit als eine der wichtigsten Open-Source-Lösungen überhaupt, gilt dies in noch stärkerem Maße. Dieser Vortrag beleuchtet die Vor- und Nachteile und zeigt auf, wie man für Geschäftsumgebungen aus den Open-Source-Eigenschaften das Meiste herausholen kann.https://www.postgresql.eu/events/pgconfde2015/schedule/session/974/TalksMichael Meskes10:3000:30Otherhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1135/Breaks11:0000:45ReeperPostgreSQL 9.5 brings a number of interesting performance improvements, and performance-related features - improved sorting performance, hashjoin improvements, lock scalability, removal of unnecessary references by optimizer, etc. This talk aims to overview the main improvements, including some benchmark results to illustrate the the gains. We'll also briefly talk about what we believe will happen in the near future - what performance-related features we're working on, and what we see happening in the community.https://www.postgresql.eu/events/pgconfde2015/schedule/session/1094/TalksTomas Vondra11:0000:45LotseTalk is a categorized overview (together with some live showcases) of various PostgreSQL specific scripts, utilities and whole toolsets that DBA-s should be aware of for monitoring database performance, database logs and identifying/fixing most common adminstration problems around areas of general performance metrics, tuning, locking, indexing, bloat. Doesn't include backup, replication and clustering topics i.e. focus is more on working with a single running database. Covered tools include some known oldies from wiki.postgresql.org as well as some of my newer favourites from Github.https://www.postgresql.eu/events/pgconfde2015/schedule/session/1097/TalksKaarel Moppel11:0000:45SeilerEXPLAIN ist eines der wichtigsten Kommandos. Ohne EXPLAIN ist es unmöglich, das interne Verhalten der Database zu verstehen. Ohne EXPLAIN ist es unmöglich, Abfragen sinnvoll zu tunen und zu optimieren. Dieser Talk zeigt, wie ein Ausführungsplan gelesen werden kann.https://www.postgresql.eu/events/pgconfde2015/schedule/session/965/TalksHans-Jürgen Schönig11:5500:45Seileror: "Why you heff to be mad not to use Postgres" Us, being used to working with the most advanced open source database, sometimes forget _how_ advanced it just is. At $DAYJOB in a major german bank, I am exposed to some real-life, organically grown data sources, and have to work on them using an "Enterprise class" RDBMS (the top 2 or 3 depending on who you ask). And every now and then (actually, everytime we hit something that is slightly challenging), one can see me hopping towards my workmates, arms crossed behind my back and furiously threatening to kick them... (now google the talk's title ;-). I'll show some of the examples where that "Enterprise" RDBMS (and others as well) just fails terribly on everyday tasks that PostgreSQL shines at. The talk is not about bashing those commercial RDBMS (of _course_ not! ;-), but - first of all will hopefully be amusing - reminds you what you left behind (if you already did) - reassure you that you advocate an RDBMS that really, seriously kicks ass (if you're still trying to leave those others behind) - maybe sports an idea or two on how to deal with _your_ data, elegantly https://www.postgresql.eu/events/pgconfde2015/schedule/session/980/TalksGunnar "Nick" Bluth11:5500:45ReeperDieser Vortrag wird ein Proof-of-Concept Projekt präsentieren, welches eine Unternehmens-kritische DB2 UDB Datenbank auf einen z/OS Großrechner nach PostgreSQL auf Linux migriert. Die Schemata werden dabei mittels SQLWorkbench/J; die Daten mit Hilfe von sowohl SQLWorkbench/J (für den Daten-Export) als auch pgloader (für den Import in PostgreSQL) migriert. Um die Umstellung der Anwendungen zu erleichtern wurde eine Erweiterung ähnlich zu orafce (hier db2fce genannt) entwickelt, welche eine relevante Untermenge der DB2-Funktionen bereitstellt. Während dem Projekt taten sich mehrere Hürden und Probleme auf, von inkompatiblen Import/Export Formaten, unkooperativen Großrechner DBAs und nicht unterstützten Datenbankobjekten bei Schema-Dumps bis hin zum berüchtigten "invalid byte sequence for encoding 'UTF8': 0x00" Fehler. All diese Fehler und deren Lösungen werden besprochen. https://www.postgresql.eu/events/pgconfde2015/schedule/session/1109/TalksMichael Banck11:5500:45LotseDas Bayerische Landesamt für Steuern betreibt einen großen Teil der Infrastruktur des ELSTER-Projekts zur elektronischen Steuererklärung. Zwischen 2014 und 2015 wurden alle Datenbanken von Oracle auf PostgreSQL migriert. Dieser Vortrag beschreibt die Migration aus Sicht eines PostgreSQL-Entwicklers, der als als PostgreSQL-Admin die Migration betreut, die Software-Entwickler dabei unterstützt und die Infrastruktur aufgesetzt hat. Dabei werden die wichtigsten Werkzeuge für Migration und Performance-Monitoring aufgezeigt und auf diverse Fallstricke eingegangen. https://www.postgresql.eu/events/pgconfde2015/schedule/session/1114/TalksAlvar C.H. Freude12:4000:45Otherhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1134/Breaks13:2500:45ReeperI would like to talk about * index types, hash, btree, GiST, SP-GiST, GIN, BRIN * how they got used in the queries * CREATE INDEX, DROP INDEX, REINDEX statements * unique keys and exclusion constraints * multi-column indexes * indexing function outputs * indexing complicated datatypes like arrays, ranges, IP addresses, geometric types, hstore, ltree, JSONB * pg_trgm, unaccent extensions https://www.postgresql.eu/events/pgconfde2015/schedule/session/1100/TalksEmre Hasegeli13:2500:45SeilerBDR, the asynchronous multimaster replication for PostgreSQL is gaining more and more traction. What's new and why would you want to use BDR?https://www.postgresql.eu/events/pgconfde2015/schedule/session/1111/TalksChristoph Moench-Tegeder13:2500:45LotseIn this talk we discuss how we integrated repmgr with PgBouncer in the implementation of a High Availability PostgreSQL cluster. After presenting PgBouncer and repmgr, we will discuss the various challenges that we faced in carrying the integration: - Architecture planning - Technical issues - Diagnosing and fixing bugs - Reliability - Maintainability repmgr is an open-source software to manage replication and failover between multiple PostgreSQL servers. The latest stable version is 3.0.1, released in March 2015. PgBouncer is an open-source connection pooling tool for PostgreSQL. The latest stable version is 1.6, released in August 2015. https://www.postgresql.eu/events/pgconfde2015/schedule/session/1106/TalksGianni Ciolli14:2000:45SeilerPostgreSQL features and functions as streaming replication, logical decoding, point in time received quite an amount of development by 2ndQuadrant. Additionally Biderectional Replication, repmanager and Barman ( - all available as open source - ) have been not only developed by 2ndQuadrant, but rolled out with various customers and maintained in production. Simon will share lessons learned not only during those developments and the integration into PostgreSQL, but also from staying responsible for having those features deployed and supported "in the wild". What makes a feature desirable, usable and maintainable in daily operations? And which features can we look forward to from ongoing developments.https://www.postgresql.eu/events/pgconfde2015/schedule/session/1104/TalksSimon Riggs14:2000:45ReeperVon PostgreSQL als Datenbank wird erwartet, dass Abfragen effizient ausgeführt werden. Dazu gehört auch diese Abfragen gleichbleibend schnell auszuführen, d.h. es wird eine geringe Variabilität der Antwortzeiten erwartet. Das ist insbesondere für die Zalando Platform von großer Bedeutung, da hier in hochverfügbaren Clustern eine enorme Anzahl konkurrierender Transaktionen verarbeitet werden müssen. Hin und wieder beobachten wir Schwankungen in den Ausführungszeiten von Abfragen. Nicht selten löste ein Analysieren der betroffenen Tabellen das Performance Problem. Der Vortrag wird sich damit beschäftigen, wie die Statistiken vom Queryplanner genutzt werden. Welche Möglichkeiten bietet PostgreSQL, das Verhalten beim Sammeln der Statistiken zu beeinflussen? Von welchen Bedingungen hängen die Auswahl der konkreten Werte für die Konfigurationsparameter ab, um eine geringe Variabilität der Antwortzeiten zu erreichen?https://www.postgresql.eu/events/pgconfde2015/schedule/session/1105/TalksStefan Litsche14:2000:45LotseHooks sind das API der PostgreSQL, welche die Türen zum Zaubergarten öffnen: An verschiedenen entscheidenden Stellen kann eigener Programmcode in das Verhalten der Datenbank eingreifen, Statements manipulieren, Aktionen setzen und vieles mehr. Der Vortrag beleuchtet die Programmierung der PostgreSQL mit Hooks und stellt dabei die wichtigsten Datenstrukturen vor. Darüber hinaus ist der Vortrag auch ein Erfahrungsbericht: Wo liegen die größten Herausforderungen bei der Programmierung? Welche Tricks und Tools erleichtern den Einstieg?https://www.postgresql.eu/events/pgconfde2015/schedule/session/1110/TalksGeorg HasibetherThomas Warwaris15:0500:30Otherhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1136/Breaks15:3500:45LotsePostgreSQL-Anwender haben an verschiedenen internationalen Umfragen teilgenommen und darin ihre Erfahrungen zum wachsenden Einsatz von PostgreSQL geteilt. Wesentlich mehr Unternehmen nutzen PostgreSQL als noch vor zwei Jahren, um Mission-Critical-Anwendungen zu unterstützen. Davon setzen 77% Postgres für neue Applikationen ein. 37% ersetzen sukzessive bestehende Datenbanken durch Postgres. Ergänzend dazu hat EntperrpriseDB Support-Tickets und “Architectural Health Checks” der letzten zwei Jahre ausgewertet. Die Ergebnisse helfen dabei Postgres-Anwender besser und gezielter bei der Implentierung and der Administration von Postgres zu unterstützen. Sandra Wiecki, Postgres Consultant bei EnterpriseDB, wird die Resultate der Umfragen und Analysen vorstellen und einen Überblick geben, welche Bedeutung diese für Postgres-Anwender haben.https://www.postgresql.eu/events/pgconfde2015/schedule/session/1102/TalksSandra Wiecki15:3500:45SeilerIn recent years Zalando has adopted a decentralized setup for applications and databases. This has impacted our database engineers by transferring responsibility to small teams, each of which manages its own infrastructure. Decentralization is great for team autonomy, but can present challenges in terms of how to easily manage lots of PostgreSQL clusters. That’s why our team created Spilo: an open source HA-cluster (highly available PostgreSQL cluster). This talk will show how Spilo simplifies Postgres cluster management while preserving team autonomy. By building upon streaming replication, Spilo provides a set of clusters that require no human interaction for many administration tasks and most failure scenarios; takes care of managing the number of servers (adding and removing them); and creates backups. It implements our own version of Patroni (https://github.com/zalando/patroni): a process, derived from Compose’s Governor, that governs the Postgres cluster (promoting and demoting) and updates information in etcd (the distributed consensus key/value store created by CoreOS). I’ll explore the architecture of Patroni implemented with Spilo, an ability to run in the cloud as well as in the traditional datacenter, or even your own laptop in a Docker image. Finally, I’ll show how Spilo combines Patroni with cloud infrastructure architecture components (for example, AWS), adding autoscaling to run a HA-cluster and allowing AWS power users to create a new HA-cluster with very little effort. Spilo relies upon STUPS, Zalando’s open-source platform as a service (PaaS) for enabling multiple, autonomous teams to use AWS while remaining audit-compliant. By using Spilo and STUPS together, our engineers can create a new HA-cluster with just a few commands. After attending this talk the audience will understand how they can also use Spilo, Patroni and STUPS to manage their Postgres clusters more efficiently while working autonomously. https://www.postgresql.eu/events/pgconfde2015/schedule/session/1050/TalksOleksii Kliukin15:3500:45ReeperNoSQL ist ein Sammelbegriff für viele verschieden Typen von Datenbanken. Diese gehen Probleme an, die nicht einfach auf das relationale Modell abzubilden sind. PostgreSQL ist eine "SQL Datenbank" und ist darüberhinaus als eine flexible und erweiterbare Datenbank-Platform. Die eben mit einer excellenten SQL-Implementierung versehen ist. In diesem Vortrag werden wir diverse Wege zeigen, wie PostgreSQL als "NoSQL"-Datenbank verwendet werden kann. Wir zeigen, welche Kompromisse möglich sind. Wir vergleichen auch PostgreSQL im NoSQL-Kostüm mit popolären OnlyNoSQL-Datenbanken. unstrukturierte / Free-Form Daten verfügbar seit einigen Versionen von PostgreSQL via HSTORE und eigenen Datentypen / Indizes seit 9.3 / 9.4 mit JSON-Datentyp und zugehöriger schneller und effizienter Indexierung Skalierung durch Verteilen der Daten auf mehrere Datenbanken Gewinne Geschwindigkeit zum Preis der Verlässlichkeit: manche Daten brauchen nicht die volle Garantie der Datenbank, erhalten zu bleiben, Dinge wie DatenAnaylyse von Daten aus ETL Prozessen, transiente Daten. Einzelne NoSQL Datenbanken reduzieren Verlässlichkeit und Konsitenzgarantien um höhere Geschwindigkeit zu bieten Welche Knöpfe hat PostgreSQL, um ähnliche Turbo-Modes zu bieten (für einfach wiederherstellbare Daten) https://www.postgresql.eu/events/pgconfde2015/schedule/session/1101/TalksHarald Armin Massa16:3000:45ReeperWenn es in der Database klemmt, gilt es herauszufinden, woran es liegen könnte. Doch wie geht man ein Problem idealerweise an? Dieser Vortrag gibt eine Anleitung zu einer erstaunlich effektiven Schnelldignose.https://www.postgresql.eu/events/pgconfde2015/schedule/session/964/TalksHans-Jürgen Schönig16:3000:45LotseImport und Aggregierung von Logfiledateien mit PostgreSQL am Beispiel von Apache-Logfileshttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1013/TalksDanilo Endesfelder16:3000:45SeilerDieser Vortrag beschreibt die Aufgaben von Data Scientists: Datenübernahme (ETL), Vorverarbeitung, Datenverständnis sowie prädiktive Analytik. Bei der Datenübernahme werden Foreign Data Wrappers für den Zugriff auf andere Datenbanken, NoSQL-Datenspeicher und Hadoop vorgestellt. Ebenso prozedurale Sprachen für den Zugriff auf andere Systeme. Die Datenvorverarbeitung wird mit einfachem und fortgeschrittenem SQL vorgestellt, so wie das Datenverständnis mit SQL. PL/R und PL/Python werden für die Visualisierung und für die prädiktive Modellierung in der Datenbank vorgestellt. Der Vortragende ist Data Scientist mit vielen Jahren Erfahrung in der Analytik. Er ist seit den 1990ern großer Fan von PostgreSQL und benutzt es, wo er kann.https://www.postgresql.eu/events/pgconfde2015/schedule/session/955/TalksBalázs Bárány17:2000:15Reeperhttps://www.postgresql.eu/events/pgconfde2015/schedule/session/1137/TalksAndreas ScherbaumPatryk Kordylewski