gleu's blog

Je viens de vérifier, je ne suis plus allé au cinéma depuis le 11 octobre. Wow. Le boulot pour le pgDay, puis pour pgAdmin, m'a clairement éloigné du ciné. Pas grave, il faut juste que je recommence à y aller, ce que j'ai fait samedi soir.

J'avais loupé ce film à sa sortie. Grâce à ses dernières récompenses, certaines salles de ciné l'ont de nouveau programmé. J'ai donc pu allé voir « Démineurs ». J'ai beaucoup aimé. L'histoire est passionnante. Généralement, quand on parle de guerre, on pense aux soldats qui se battent, rarement aux gars qui vont déminer. Du coup, on apprend pas mal de choses sur leur travail (difficile à connaître avant ce film) et sur son côté éprouvant (qu'on pouvait par contre très facilement imaginer sans ce film), Les acteurs sont excellents, la prise de vue est très bonne. C'est vivant, plein de suspens. Autant dire que j'ai bien aimé

Et c'est du lourd. Si je pouvais y aller, je crois que j'irais voir :

• Server Health Check de Josh Berkus
• Application-level Authorization via SET ROLE d'Aurynn Shaw
• Exposing PostgreSQL Internals with User-Defined Functions de Greg Smith
• Monitoring PostgreSQL Buffer Cache Internals de Greg Smith (quoiqu'il y a au même moment Forensic Analysis of Corrupted Databases de l'autre Greg (Stark)... le choix est cornélien)
• The PostgreSQL Query Planner de Robert Haas
• Identifying, Monitoring, and Controlling PostgreSQL Traffic de Chris Hoover
• Probing PostgreSQL with DTrace and SystemTap de Joshua Tolley
• Postgres-2, Write-scalable, synchronous multi-master PostgreSQL cluster with shared nothing approach de Mason Sharp

Et encore, ce ne sont que celles auxquels je tiens absolument à elles. Il y en a plein d'autres.

Évidemment, les vidéos seront certainement disponibles un peu après les conférences, comme cela a été le cas l'année dernière. Mais c'est clairement pas la même chose qu'être présent sur place, de pouvoir discuter avec les différents intervenants, bref de se sentir faire partie de la communauté. Un seul conseil : si vous avez la possibilité d'y aller, déplacez-vous. Et buvez un coup à ma santé avec les autres hackers car il y a peu de chance que j'y sois cette année (déjà là-bas l'année dernière... chacun son tour ).

À noter cette année les conférences de deux français bien connus de la communauté PostgreSQL française : Cédric Villemain (qui va parler de son module pgfincore) et Dimitri Fontaine (qui va raconter deux ans d'expérience avec Londiste).

Oh, et tant que vous êtes au Canada, profitez-en pour passer une voire deux semaines à visiter le pays, j'ai adoré ma visite.

mise à jour : lien vers la conf de Robert Haas corrigé, merci Thomas.

FOSDEM est un événement européen qui s'est donné pour but de réunir tous les développeurs européens (et plus si affinités) de projets libres et opensource. C'est certainement le plus réputé à ce jour.

Chaque année, Andreas Scherbaum se charge d'organiser la présence de PostgreSQL à cet événement. Si ma mémoire ne se trompe pas, il y a quatre ans, nous n'avions qu'un stand, entièrement géré par PGde, le groupe d'utilisateurs allemands de PostgreSQL. Et encore, un stand partagé avec le groupe BSD. L'année d'après, nos amis BSD-istes nous ont proposé de partager leur salle de conférences. Et là, ce fut une explosion. Les deux années suivantes, nous avions notre propre stand, parfois composé de deux tables, une vingtaine de contributeurs principalement européens pour aider sur le stand, et une salle de conférences. L'année dernière, des américains étaient même venus, preuve de l'importance de cet événement.

Autant dire que le week-end du FOSDEM est devenu un moment important dans le monde PostgreSQL. Cette année en est la suite logique.

Une préparation exemplaire d'Andreas, un stand avec pas mal de goodies, des conférences très intéressantes et des discussions passionnantes avec les autres contributeurs.

Je n'ai assisté qu'à trois conférences, donc je ne pourrais rendre compte que de celles-ci. Tout d'abord, celle de Dave Page sur les nouveautés de la future 9.0 et la façon dont le développement s'est déroulé. La salle était bondée, beaucoup devaient, au choix, s'assoir par terre ou rester debout. Le contenu était intéressant et plutôt bien géré par Dave. Évidemment, c'est le type même des conférences difficiles car il est impossible de connaître suffisamment chaque fonctionnalité. Donc il est passé rapidement sur certaines, faute de les connaître mieux pour pouvoir les développer. Étant donné que je les connaissais déjà bien, ça ne m'a pas permis d'apprendre grand-chose. Néanmoins, c'était intéressant et le public a eu l'air de bien apprécier.

Ensuite, Heikki est intervenu pour parler du Streaming Replication, une fonctionnalité qu'il connaît particulièrement bien vu qu'il a revu le patch et qu'il l'a commité. Cette fois, j'ai appris deux/trois choses. J'ai eu la confirmation qu'il est possible d'avoir plusieurs esclaves. Par contre, la cascade de serveurs n'est pas au menu de la 9.0. Enfin, il est possible de fonctionner sans archivage des journaux de transactions mais cela peut amener des soucis de performances. En effet, en cas de grand flux de données, le système peut basculer de restauration de flux à une restauration de journaux complets. Ce qui rend le système plus robuste. Quant aux perspectives futures, elles sont nombreuses : sauvegarde des fichiers gérée automatiquement (sauvegarde sur le maître, envoi et restauration sur l'esclave), réplication synchrone, esclaves en cascade, archivage à partir des esclaves, etc. En tout, une conférence bien menée, très appréciée même si le public était moins nombreux. En rentrant à l'hôtel, j'ai pu discuté de cette fonctionnalité avec Heikki pour voir comment améliorer mon patch pour pgAdmin. Et j'ai peut-être une solution qui va me permettre de répondre au commentaire de Magnus.

Simon Riggs, arrivé juste à temps de l'aéroport, a pris la suite de Heikki pour une conférence sur le Hot Standby. Il a divisé sa conférence en trois parties : l'utilisation du Hot Standby, une démonstration, et quelques remarques sur le développement d'un patch de cette taille. Ça a certainement été la conférence la plus étonnante et la plus déstabilisante pour moi. J'y ai appris par exemple que les verrous étaient propagés sur l'esclave. Verrouiller une table sur le maître et elle sera aussi bloquée sur l'esclave tant que le verrou n'est pas enlevé. La démonstration était assez simple. Elle a été effectuée par Heikki car le portable de Simon refusait obstinément de fonctionner avec le rétro-projecteur et que le clavier de Heikki a la disposition finlandaise. La partie la plus intéressante de cette conférence était la dernière, celle sur le développement. Il a fallu trois ans pour réaliser ce patch. On le doit principalement à la volonté de Simon qui y a investi énormément de temps et d'argent. Il y a eu six sponsors majeurs et un étudiant est intervenu dans le cadre du Google Summer Of Code (GSoC). Simon a trouvé la communauté et les entreprises généralement peu motivées et peu réactives : peu de sponsors, peu d'aide de la communauté. Son constat me semble assez juste pour ce type de (très gros) patchs. En effet, il faut garder à l'esprit que son patch fait plus de 10000 lignes (ce qui est bien supérieur à la majorité des patchs actuels... c'est peut-être même le plus gros patchs de l'histoire de PostgreSQL). Son constat me semble donc légitime et mérite réflexion. On pourrait imaginer par exemple que PostgreSQL Europe et le SPI sponsorisent en partie ce type de patchs.

D'après ce que j'ai pu entendre, les autres conférences étaient aussi très intéressantes. Je n'en dirais pas plus, n'ayant pas pu y assister.

Mais le FOSDEM, ce n'est pas seulement les conférences. C'est aussi les discussions avec les contributeurs. Et cette année, quelques réunions.

Par exemple, j'ai été convié à une réunion de PostgreSQL Europe. Le but de cette réunion était de discuter de la tenue des prochaines élections pour le bureau de PostgreSQL Europe. Il a été décidé qu'il allait être possible de devenir membre de PostgreSQL Europe pour une durée de deux ans pour la (modique) somme de dix euros. Être membre permet de pouvoir voter pour élire le bureau, ce qui permet d'influer sur l'utilisation de l'argent par la communauté. Car le bureau a pour but de fournir des financements à des groupes d'utilisateurs qui voudraient monter des événements sur PostgreSQL. Par exemple, PostgreSQL Europe a très fortement aidé à la mise en place du PGDay 2009 fait en France. Il fera de même cette année pour la Hollande. Tous les détails devraient bientôt être disponibles sur le site web de l'association européenne, donc je n'entrerais pas plus dans les détails. Ce qui m'intéresse fortement, c'est que PostgreSQL Europe est une association qui fonctionne et qui travaille. Dès que cela sera possible, je deviendrais membre.

Autre exemple de discussion, celle que j'ai eu avec Dave Page et Magnus Hagander lors du l'attente particulièrement longue au restaurant du samedi soir. Nous avons discuté des développements en cours pour pgAdmin. Dave est toujours débordé par son boulot, donc il se trouve que je vais pour l'instant continuer en solo mes travaux sur la prochaine version de pgAdmin. Néanmoins, cette discussion m'a permis de trouver la solutions à plusieurs problèmes qui me bloquaient bien, donc certains de mes patchs vont rapidement être dans un état final, prêt à être commités. J'ai continué cette discussion le dimanche matin avec Dave lors du petit-déjeuner. Il se trouve qu'il a eu la même idée que moi pour une fonctionnalité qui devrait plaire à plus d'un.

Dernier exemple, la réunion pour le PGDay européen 2010. Elle a eu lieu dehors où il gelait mais où, au moins, on pouvait s'entendre (trop de bruit dans les couloirs, pas de salle dispo). Elle a réuni Dave Page, Magnus Hagander, Andreas Scherbaum, Jean-Paul Argudo, Koen et un autre hollandais dont j'ignore le nom. Les deux hollandais ont fait un point sur leurs démarches actuelles. Ils n'ont malheureusement pas pu beaucoup avancé. Une des raisons est que Koen a été très sollicité à son travail, ce qui lui a laissé bien peu de temps pour chercher un lieu convenable pour les conférences. On a discuté des pré-requis pour le lieu des conférences et de bien d'autres choses. On a notamment insisté sur le besoin d'une plus grande communication entre les différents organisateurs et PostgreSQL Europe. Certaines options envisagées me semblent très prometteuses. Du coup, je suis ressorti de cette réunion bien plus confiant qu'à mon arrivé.

Évidemment, il y a eu aussi quelques discussions avec les utilisateurs de PostgreSQL. Cependant, beaucoup moins qu'à Solutions Linux, ce qui est fort dommage. Vendre des goodies m'intéresse assez peu, on fait quand même un peu marchand de tapis. Donc un très grand merci à ceux qui sont venus nous poser des questions techniques, aussi et surtout quand ils nous ont collé

Que dire de plus... l'événement a de nouveau été un grand succès. J'y ai passé un très bon moment, bien que j'ai encore de gris progrès à faire pour être à l'aise à l'oral en anglais. Il n'empêche que le FOSDEM 2011 sera une étape obligatoire.

N'oubliez pas qu'il y aura au moins deux autres événements importants en Europe : Solutions Linux dans un mois, PGDay.eu en octobre. J'espère que nous aurons aussi la possibilité d'organiser quelque chose pour la sortie de la 9.0

La première semaine a été remplie de nombreuses corrections de bugs :

• correction de l'affichage du composant date./heure ;
• correction de l'appel à la fonction storenode de Slony-I 2.0.x ;
• correction de la sélection de l'objet dans le navigateur quand un serveur est choisi avec l'argument en ligne de commande /s ;
• correction de l'affichage d'un type doté d'un typmod spécifique ;
• acceptation des adresses IPv6 ;
• correction d'une erreur SQL lors de l'ajout/modification d'un paramètre sur une base de données, un utilisateur ou une fonction ;
• correction d'un message d'erreur lors de la sauvegarde des favoris.

La deuxième semaine a concerné de nouvelles fonctionnalités, principalement pour la future 9.0.

• Autorisation de la copie des informations sur les onglets « Propriétés », « Statistiques », « Dépendances » et « Dépendants de ».
• Gestion de la nouvelle option INPLACE de VACUUM.

• Support de la nouvelle instruction « ALTER TABLESPACE name SET/RESET ».

Sans compter que je viens de terminer un patch gérant les nouvelles options de VACUUM, à savoir COSTS et BUFFERS.

Et voilà, la core-team a décidé que la prochaine version sera en fait la __9.0__. Que dire. Il est clair qu'avec Hot Standby et Streaming Replication, ça vaut carrément ce saut de version. Encore une raison de plus pour tester à fond cette version, pour venir au FOSDEM, histoire de découvrir toutes ces nouveautés alléchantes... et d'éviter de relancer la vieille discussion sur le renommage du nom du projet

Je continue à travailler sur pgAdmin. J'aime bien. Je suis assez à l'aise avec le code maintenant, ce qui est très agréable.

Deux nouvelles fonctionnalités dans ces deux semaines. La première, j'en avais déjà parlé, concerne la fenêtre de restauration. J'ai enfin pris mon courage à deux mains pour terminer ce patch. Il n'est pas encore intégré dans le code source de pgAdmin mais j'espère que ce sera le cas d'ici la fin du mois, Dave étant bien occupé. Voici une copie d'écran de l'onglet qui a pris une petite partie de ce week-end :

Comme vous le voyez, il est maintenant possible de sélectionner plusieurs éléments de la sauvegarde pour restaurer tous ces éléments. Par exemple, vous pouvez vouloir restaurer uniquement le schéma X ainsi que la table Y d'un autre schéma, une séquence et une fonction d'un autre schéma. Bref, vous choisissez les objets que vous voulez parmi ceux disponibles dans la sauvegarde que vous avez sélectionnée. Plutôt cool

L'autre fonctionnalité est une nouveauté de la 8.5, développée par Dave Page. En 8.5, les applications pourront s'identifier à la connexion ou après coup grâce à un paramètre appelé application_name. Je ne connais pas encore d'applications qui le font... en dehors de pgAdmin. La vue système pg_stat_activity a été modifiée pour afficher cette information. J'ai donc modifié pgAdmin pour qu'il initialise ce paramètre pour ses connexions, et pour qu'il affiche cette nouvelle colonne dans la fenêtre d'état du serveur. Voici le résultat :

Là-aussi, plutôt cool

En dehors de ça, j'ai beaucoup travaillé sur des rapports de bugs. Du coup, je viens d'enregistrer quatre correctifs de bugs.

Commençons par le bilan de l'année passée.

Au niveau personnel, le plus important a été la naissance de mon neveu, Maxime. Un charmant petit bambin qui fait plein de sourire... quand il ne pleure pas. Bin, oui, c'est un bébé. J'ai continué mes visites fréquentes au cinéma de Chilly-Mazarin, mais avec moins d'assiduité que l'année dernière. Je voulais corriger ça mais la neige ne m'aide pas en ce début d'année 2010. J'ai continué aussi la lecture mais toujours moins que ce que je voudrais. L'autre événement perso très important cette année a été le voyage au Canada. J'en conserve un excellent souvenir.

Au niveau boulot, pas grand chose à dire. J'aime toujours autant mon boulot et je souhaite que ça continue ainsi. Il est à savoir qu'on cherche à embaucher ces temps-ci, donc les intéressés peuvent envoyer un mail à recrutement@dalibo.com pour nous faire parvenir leur CV.

Mais ce sont évidemment les projets libres qui m'ont beaucoup occupé cette année. J'ai arrêté la traduction du guide ABS en juin et j'ai démissionné de l'association traduc.org en décembre. Pourquoi ? parce que j'ai besoin de tout mon temps pour le projet PostgreSQL. Au début, je pouvais tout mener de front vu que le tout se limitait à la traduction du manuel (ce qui est pourtant un gros boulot en soi). Maintenant, je continue la traduction, je code sur différents projets relatifs à PostgreSQL mais je m'occupe aussi des événements (par exemple le PGDay 2009, mais aussi dernièrement le comité de sélection des conférences pour le FOSDEM). Bref, je me concentre uniquement sur PostgreSQL et ses logiciels associés. Donc j'ai continué la traduction du manuel, j'ai écrit un patch pour pgPool et plein de patchs pour pgAdmin. J'ai aussi participé à la promotion du logiciel en réalisant deux conférences, une aux JDLL et une aux PGDay 2009. La promotion de PostgreSQL passe aussi par l'écriture d'articles, ce que j'ai fait avec ce hors-série qui a été apparemment très apprécié. Toujours au niveau publication, j'ai effectué la relecture technique du livre « Installer et débuter avec PostgreSQL ». Enfin, j'ai participé à plusieurs événements PostgreSQL : FOSDEM, PGCon 2009 et PGDay 2009. Pour le PGCon, je n'étais que simple visiteur mais ça m'a permis de rencontrer des tas de personnes que je ne connaissais pas avant. Les deux autres, j'étais dans l'équipe d'organisation, ce qui fait qu'on n'en profite pas de la même façon. Mais c'est quand même intéressant.

Bref, une année bien occupée

Et quoi de prévu pour l'année prochaine ?

Au niveau personnel, il faudrait que je me fasse un voyage à l'étranger (en dehors de la Belgique prévu en février). Il faudrait aussi que je m'occupe enfin de ma salle de bain. Elle le mérite vraiment.

Au niveau PostgreSQL, j'ai plein de projets. Évidemment, je vais continuer la traduction du manuel. J'ai trois patchs dans ma tête pour PostgreSQL concernant le application_name, pg_dump et pg_restore. J'ai aussi plein de patchs prévu pour pgAdmin. J'irais au FOSDEM à coup sûr (d'où la Belgique) où je passerai un bon moment sur le stand comme la dernière fois. Il y a aussi de fortes chances que je sois très impliqué dans la mise en place du PGDay prévu à Amsterdam. Je prévois aussi au moins deux articles sur PostgreSQL dans GNU/Linux Magazine France pour aborder tous les points de la future 8.5. De temps en temps, je pense à un livre mais suis rapidement découragé du boulot que cela demanderait. En tout cas, je prévois de faire un équivalent du « Visual Tour » de pgAdmin pour toutes les modifications effectués pour la prochaine version de PostgreSQL (donc celle après la 8.5). Quant aux conférences, tout dépend des propositions

Voilà. Après tout ça, une excellente année 2010 à tous !

Oui, je bosse pas mal dessus actuellement.

En premier lieu, j'ai remplacé la liste déroulante habituelle par une liste déroulante avec icône pour la liste des connexions dans l'outil de requêtage. Cela permet d'afficher la couleur du serveur pour ceux qui personnalisent les couleurs de leurs serveurs (fonctionnalité apparue avec la 1.10). Cela donne ceci :

Ensuite, j'ai travaillé sur la fenêtre de maintenance pour améliorer l'interface, mais rien de vraiment passionnant.

Le travail a été plus complexe pour la fenêtre de restauration d'une sauvegarde. Comme pour la fenêtre de sauvegarde, j'ai ajouté les nombreuses options manquantes, ajouté le code de vérification de version, et enfin remplacé la liste des objets par un arbre, beaucoup plus frappant visuellement. Voici les copies d'écran des différents onglets :

Évidemment, on ne va pas garder l'onglet 4 et l'onglet 5, vu qu'ils ont la même fonction, bien que l'affichage soit différent. Dave et moi pensons que l'onglet 4 est bien meilleur, ne serait-ce que parce qu'il est équivalent à celui de la fenêtre de sauvegarde (pour garder une cohérence).

Actuellement, il reste deux bouts de code à écrire:

• tout d'abord, gérer le cas où certains objets sont desélectionnés ;
• ensuite, gérer la sauvegarde d'un seul objet.

Je ne suis pas sûr en plus qu'il faille conserver le bouton « View ». À partir du moment où le fichier a été sélectionné, il faudrait immédiatement le lire et indiquer les objets dans l'onglet 4. Demander à ce que l'utilisateur clique sur « View » me semble un peu bizarre.

Dernier point, j'ai travaillé sur le code de gestion des index. Le but est d'ajouter la possibilité de modifier la classe d'opérateur d'un élément d'un index. L'idée vient de Thomas qui m'en avait parlé il y a bien longtemps mais je n'avais jamais eu le temps de m'y mettre. Le patch est prêt, j'attends le commentaire de Dave. Sans commentaire, je l'enregistrerai dans le SVN d'ici jeudi prochain.

Je ne vais pas pouvoir conserver ce rythme très important encore longtemps. je pense donc passer à un rythme plus tranquille, du style un patch par semaine. Mais il faut dire que git permet de gérer les patchs très facilement, ce qui fait qu'on peut bosser sur plusieurs patchs en même temps... un vrai bonheur.

Un excellent film avec de bons acteurs. Il permet de découvrir le travail des enquêteurs et des médecins légistes envoyés en ex-Yougoslavie par le Tribunal International de La Haye. C'est évidemment très émouvant grâce à des témoignages très forts, mais ne vous attendez pas à voir des tonnes d'hémoglobines. Les exactions ne sont pas vraiment montrés, seuls leurs résultats le sont: des charniers, des squelettes et des veuves. C'est vraiment dur à regarder.

Les acteurs sont très bons. Benoît Magimel en flic qui essaie de tenir le mieux possible mais qui ne peut s'empêcher de craquer par moment, Hippolyte Girardot en membre de la DGSE, aidant tant que possible l'enquêteur. À noter qu'il a (re)pris) ce rôle dans le film « Espion(s) ».

Bref, à voir et à méditer.