gleu's blog

Après 3h30 de voyage en train, nous sommes enfin arrivés à Amsterdam pour les quatre jours de conférences sur PostgreSQL organisés par PostgreSQL Europe.

Ça fait maintenant un an qu'une dizaine de personnes travaillent, semaine après semaine, sur cet événement. Faisant parti de ces dix personnes, il est très plaisant d'en voir maintenant le résultat.

Dave Page et Magnus Hagander sont déjà à l'hôtel quand nous y arrivons. Nous les rejoignons rapidement pour leur dire bonjour, puis partons visiter la ville de notre côté pendant deux petites heures.

Au retour, il a fallu préparer les sacs que nous donnerons le lendemain aux participants, ainsi que les badges. Le travail s'est terminé à 20h. Nous sommes tous partis manger dans le centre-ville d'Amsterdam, et nous avons terminé la soirée au bar de l'hôtel.

Les manuels français ont été mis à jour suite à la mise à disposition des nouvelles versions mineures. Par contre, les versions CHM et PDF ne sont pas encore actualisées. J'espère pouvoir le faire cette semaine.

Luis Ochoa sent me his latest patch some time ago. It took me a while to find some time to review his patch, to fix a few bugs, but I finally did it. And I applied the resulting patch this afternoon.

What we now have is really awesome: reverse engineering of an existing schema. Even more, we can build an SQL script to create the reversed model or only apply the changes between the model and a selected database. It could be another database than the one used for the reverse engineering. One simple example to show its power. You can reverse engineer your schema on your development database, connect to your production database and ask the database designer to build the script that will contain only the SQL to push the definition changes.

Of course, right now, the code is probably quite buggy. And it lacks a lot of features. First one would be a better datatype support. Only a few types are accepted right now. User defined types aren't obviously but also some uncommon types (like tsvector), and common ones (timestamp with timezone for example). Also lacking is a support of all the table properties (fillfactor, autovacuum settings are part of the missing ones).

If you want to take a look, you should probably see the video attached to this blogpost. You'll see how the database designer works with the pagila database (I fixed a few types in the schema to show a better demo but that's the only changes I made).

If you want to see it live, maybe you should come to pgconf.eu in Amsterdam. Luis Ochoa and I will be presenting this tool, do some demos, and wait for suggestions, and feature requests.

Yeah, my last blog post on pgAdmin is a month old. Time to give you some news.

Let's begin with PostgreSQL compatibility. 1.14 won't handle security labels. We haven't find time to add support for that. Good news is that 1.16 will. We already have that in git. Here is how it looks on a table:

See the new "Security labels" tab? that's it. A better news is that we already support security labels on shared objects (I mean databases, tablespaces, and roles). And that's a 9.2 new feature.

Speaking of 9.2, we also added support for invalid domains and invalid check constraints.

The user can create these objects without the validate step; They can validate them later.

I think that's about it on PostgreSQL compatibility.

I know pgAdmin for quite a long time, and I've often been bitten by this old bug: open a property dialog, refresh the object on the browser, change the object in the property dialog... and crash. This shouldn't happen again. Once a property dialog is open for an object, the user can't refresh the object or any of its parents. He cannot either drop the object or any of its parents. And he cannot close the connection. Till he closes the property dialog. I'm really glad we finally put an end to this bug. Unfortunately, it's rather a big change in behaviour, so it won't be backpatched.

Luis Ochoa continued his work on his 2011 GSoC project (the database designer). He added load/save support. Files are in XML format, and have a .pgd extension. He also added multimodel diagram, so that the user can view his schema in different ways. Here are two views of the same design:

And last, we redesigned the options window, so that we could put more options without making the dialog bigger. It follows what LibreOffice and other programs are already doing:

So, despite the summer vacations, we're still going forward and at a good pace.

Il restait encore un fichier à traduire. Thomas me l'a renvoyé dimanche, et j'ai terminé les deux/trois paragraphes difficiles. Maintenant, toute la documention de la 9.1 beta 3 est en français : http://docs.postgresql.fr/9.1/

N'hésitez pas à m'indiquer tout problème de traduction, de français, etc que vous pourriez rencontrer. Merci.

Hier, j'ai donné une conférence aux RMLL 2011 sur l'organisation du projet PostgreSQL. C'est une conférence que j'aime bien car elle a pour but de montrer que projet libre ne veut pas forcément dire projet amateur. Malheureusement, j'ai manqué de temps et je n'ai pas pu aborder la partie sur les contributeurs.

Il y avait une vingtaine de personnes, toutes apparemment intéressées par la conférence. J'ai eu quelques questions à la fin, principalement sur le dépôt des sources et sur la non utilisation d'un bugtracker.

Étant aux RMLL, j'en ai profité pour faire le tour du village associatif, espérant y retrouver quelques connaissances et ce fut le cas. J'ai donc eu le plaisir de discuter (rapidement malheureusement) avec Emmanuel Seyman, Christophe Cazin, Éric Leblond et quelques autres. Mais pour être franc, la plupart des têtes m'étaient inconnus. Ce qui est bien d'une certaine façon, la relêve des anciens étant du coup assurée.

Pour infos, les slides et les commentaires sont disponibles sur dalibo.org, comme d'habitude.

La deuxième journée de char(11) a commencé par une conférence sur MGRID. Les deux conférenciers ont montré comment ils ont utilisé PostgreSQL pour les besoins d'un système médical.

Ils ont implémenté des types de données spécifiques au standard ISO21090 (Healthcare datatypes), ce qui permet des recherches rapides et faciles sur l'état des patients. Ils ont aussi travaillé sur les performances du système avec un système multi-noeuds. Le début de la conférence était un peu laborieux mais, une fois le début passé, le reste était passionnant.

Une présentation de PostgresXC a suivi. Je n'attendais pas beaucoup de PostgresXC, ce qui explique certainement pourquoi je n'ai pas été déçu. Très clairement, cela reste un système en cours d'implémentation mais je ne vois pas vraiment quelle problématique ce système essaie de résoudre. Je n'ai pas beaucoup d'espoir sur ce projet.

Les deux dernières conférences de la matinée étaient sur Greenplum, ce qui a été beaucoup plus passionnant. Je connaissais ce système de nom mais je n'avais encore jamais eu la possibilité d'assister à une conférence là-dessus.

La première conférence, réalisée par Rob Klopp, a été plus généraliste. Le conférencier expliquait comment parcourir rapidement de très grosses quantités de données. Il prenait comme exemple une table de 20 To et expliquait comment il passait d'une lecture en 3h30 sur un système simple à un seul noeud, en une lecture en 0,25 secondes (avec 20 noeuds, de la compression, du partitionnement, du stockage en colonne avec compression et projection... bref tout le toutim mais 0,25 secondes pour 20 To... glurps). La deuxième conférence relatait un cas de mise en place de GreenPlum. Une conférence très dynamique et intéressante, qui expliquait bien l'intéret de GreenPlum.

La première conférence de l'après-midi était donnée par Dimitri Fontaine.

Il a parlé de l'arlésienne dans le projet PostgreSQL : Skytools version 3. Néanmoins, c'est promis, c'est pour bientôt, ce que j'espère bien, les outils Skype étant vraiment intéressants et bien codés. Londiste a déjà une granularité de la réplication, par colonne, par exemple.

Gabriele Bartolini et Marco Nenciarini ont fait une mini-conférence sur la mise en place de GreenPlum sur un gros serveur, ayant 100 To de données et plus de 10000 tables. Ils ont notamment parlé d'un outil, GreenBack, qu'ils ont codé pour faire une sauvegarde rapidement.

La dernière conférence à laquelle j'ai assisté était donnée par Martin Eriksson. Elle concernait la migration de serveurs répliqués avec Slony à des serveurs répliqués avec la Streaming Replication. Leur migration avait un but précis : ne pas être gêné par les modifications de structure de base. Leur façon de migrer était intéressante et m'a donné quelques idées qu'il va falloir que je mette en application.

Je n'ai malheureusement pas pu assister à la dernière conférence et encore moins participer au barbecue de fin de conférences. Je le regrette mais, ayant une conférence à donner le lendemain à Strasbourg, j'ai dû partir le soir même. J'ai partagé un taxi avec Harald Armin Massa pour récupérer mon train.

Au final, j'ai beaucoup aimé cet événement. Il est évident que ce n'est pas un événement communautaire, il est conçu, mis en place, organisé entièrement par 2ndQuadrant. Tout comme les PostgreSQL Sessions sont entièrement organisées par dalibo. Je n'y vois pas de problèmes. J'ai pu rencontré des gens très compétents, retrouver beaucoup de personnes de la communauté (à grande majorité qui font partie de 2ndQuadrant, les autres étant Dave Page d'EntrepriseDB, Magnus Hagander de Redpill Linpro, Andreas Scherbaum d'EMC et moi-même de Dalibo), ai pris beaucoup de plaisir à discuter avec les uns et les autres, ai appris pas mal de choses (plus des discussions, que des conférences, mais c'est vrai quelque soit le type d'événement).

Le seul point gênant à mon avis est le prix. C'est vraiment très cher. L'inscription à la conférence revenait à 440 euros, l'hôtel à 510 euros, le transport à 300 euros. Tout ça (ie 1250 euros) pour deux jours. En fait, je pense que participer à cet événement n'est intéressant que si le programme vous intéresse. Sinon, il est certainement préférable d'aller à un événement préparé par la communauté, comme pgconf.eu 2011 (beaucoup moins cher, "plus" communautaire).

Ce dimanche, je pars pour Cambridge où doit avoir lieu char(11). Ce sont deux journées de conférence sur PostgreSQL et la haute disponibilité, le tout organisé par la société 2ndQuadrant.

Dimitri et moi nous sommes arrangés pour partir ensemble. Ça nous a permis de discuter PostgreSQL, aussi bien au niveau communautaire qu'au niveau travail. Son travail sur les extensions étant terminé, il semble très désireux de travailler avec Jan Wieck sur les triggers pour les requêtes DDL. Je ne peux que l'encourager d'y aller à fond, ce serait une excellente nouvelle pour tous les systèmes de réplication à base de trigger, mais aussi pour les outils d'audit et pour plein d'autres applications.

Une fois arrivés à Londres, nous avons pris la correspondance pour Cambridge. Nous avons retrouvé Cédric et sa femme dans ce train, par pur hasard cette fois-là. Là-aussi, une grosse discussion et un grand plaisir de pouvoir échanger avec eux.

L'après-midi a été consacré pour ma part a eu une visite de Cambridge avec Géraldine. Cédric et Dimitri avaient une réunion de travail pour 2ndQuadrant.

Balade très sympa dans une ville comprenant de nombreux monuments... et beaucoup trop de touristes.

Néanmoins l'après-midi a été bien occupée.

Un peu avant l'heure du dîner, j'ai reçu un appel de Magnus Hagander nous proposant d'aller manger au restaurant Brown. Après avoir déposé nos affaires à l'hôtel Double-Tree, nous nous y sommes rendus. Ça fait plaisir de retrouver Andreas Scherbaum, Jan Wieck, Magnus Hagander et Dave Page. Ça faisait quelques années que je n'avais pas vu Jan, il est resté le même, plein d'idées et plein d'entrain. Il travaille toujours chez Affilias, la société qui gère les adresses .org, .info, etc. Le reste de la soirée s'est passé au bar de l'hôtel où nous avons discuté de PostgreSQL, de réplication, de (très) gros systèmes, et notamment de la raison pour laquelle les systèmes de réplication par triggers étaient mal vus et sur un moyen de les réhabiliter.

Bref, un voyage qui commence bien

Comme je poste très peu de billets ces temps-ci, je viens de remarquer que je n'avais rien dit à propos de la traduction de la documentation de la 9.1.

Le travail est pratiquement terminé. Seul un fichier demande encore un peu de travail à Thomas (courage ). La traduction de la version 9.1 (en beta 2 à l'heure actuelle) est disponible sur docs.postgresql.fr. Je n'ai pas encore eu le temps de faire une relecture et j'avoue que ça serait pourtant mérité. N'hésitez donc pas à me faire parvenir tout commentaire sur la traduction, qu'on puisse corriger cela rapidement.

J'ai profité de la mise en place de cette documentation pour déplacer les versions obsolètes sur une page à part. Ça aurait dû être fait depuis un moment mais l'important est quand même que j'ai fini par le faire.

Bonne lecture.