gleu's blog

Ça faisait un petit moment que je n'avais pas bossé sur pgAdmin. J'ai profité de l'après-midi et la soirée du samedi pour bosser sur plusieurs patchs :

• raccourcis des menus contextuels mal affichés ;
• activation du champ SQL dans les fenêtres de propriétés ;
• utilisation du dialogue de couleurs pour la fenêtre de propriété du serveur ;
• séparation du champ commentaire dans son propre onglet.

Raccourcis

Depuis un petit moment, les menus contextuels de pgAdmin s'affichaient mal. Au lieu d'avoir la lettre du raccourci soulignée, j'avais un tiret bas devant la lettre :

Je pensais que c'était de ma faute (mauvaise compilation, mauvaise configuration, etc). Un mail sur pgadmin-support m'a indiqué que je n'étais pas le seul. Après une discussion avec Dave et quelques tests, je me suis aperçu que la version 2.8.5 de wxWidgets semblait être la coupable. À force de recherche, j'ai fini par retrouver le commit responsable du problème sur le SVN de wxWidgets. Au prix d'une longue conversation, j'ai même réussi à convaincre les développeurs de wxWidgets de la présence de ce bug. La correction est apparue hier soir sur leur dépôt (branche WX_2_8_BRANCH). La version 2.8.8, contenant ce correctif, devrait bientôt sortir.

Ajout du dialogue de couleur

Lors de pgcon2008, Dave a intégré un patch qui permet d'ajouter une couleur de fond pour chaque serveur sur le navigateur d'objets :

Bon, je ne trouve pas que ce soit super beau, mais ce qui m'a surtout gêné, c'est l'interface utilisateur pour saisir la couleur. Un utilisateur doit saisir le code couleur sous la forme d'une couleur HTML. C'est juste un bête champ texte. J'en ai donc profité pour ajouter un bouton :

et j'ai fait en sorte que le clic sur ce bouton affiche la fenêtre standard de saisie d'une couleur :

Ce patch a été accepté, il est enregistré dans le SVN depuis hier soir.

Activation du champ SQL

Jusqu'à la version 1.8, l'onglet SQL ne permet pas de modifier le champ contenant la requête SQL. En cas d'erreur de pgAdmin pour la génération du SQL permettant d'appliquer les modifications de l'utilisateur sur l'interface, je pense qu'il faut avoir un moyen pour que l'utilisateur modifie le SQL généré par pgAdmin. Le meilleur exemple est lorsqu'on ajoute une colonne avec une contrainte NOT NULL. Sans plus d'informations, la requête échouera car la nouvelle colonne n'aura aucune valeur et ne pourra pas se voir ajouter la contrainte NOT NULL. IL faut donc que l'utilisateur puisse ajouter le code SQL permettant l'ajout d'une valeur par défaut aux lignes déjà présentes.

Mon patch ajoute une case à cocher permettant d'autoriser la modification du champ SQL. Comme Dave et moi ne voulons pas gérer le reverse engineering des modifications apportées dans le champ SQL, tous les objets des autres onglets sont désactivés. On peut voir le contenu des onglets, mais pas le modifier.

J'ai parlé d'un champ texte pour la requête SQL. J'aurais plutôt dû parler de deux champs car il y a deux groupes de requêtes. En effet, deux objets peuvent avoir besoin de deux transactions de modification : les bases de données et les tablespaces. Ceci est dû à une correction sur la version 8.3 de PostgreSQL.

Voici donc le résultat :

Dernier problème à régler : si un utilisateur modifie le nom de l'objet créé dans la requête, le navigateur d'objet affiche toujours le nom indiqué dans le champ texte Nom, et pas celui modifié. Après un rafraichissement, tout va bien... mais en attendant, l'affichage est faux. Donc, il me reste du boulot sur celui-ci.

Séparation du champ commentaire

L'idée de ce patch était de déplacer le champ Commentaire dans un autre onglet car certains dialogues deviennent vraiment trop longs. Sur mon portable, je n'ai plus accès au tiers du dialogue de création/modification d'une table (ce qui est gênant pour cliquer sur le bouton OK). Aucune technicité requise pour ce patch, juste cinq heures à passer à créer le nouvel onglet, à déplacer le texte statique et le champ texte dans ce nouvel onglet, et à revoir les placements de contrôles, pour chaque dialogue sur les propriétés des objets. Je ne sais pas comment, j'ai perdu la moitié de mon patch. Cependant, Dave est plutôt contre pour au moins deux bonnes raisons :

• deux dialogues ont un grand nombre d'onglets, ce qui rend leur gestion plus douloureuse qu'autre chose ;
• il existait une règle sur la création de dialogues, règle que je ne connaissais (car planqué dans une ancienne branche, et oublié depuis là-bas)... Dave l'a d'ailleurs ajouté à la page Wiki sur le développement de pgAdmin.

Bref, patch abandonné.

Conclusion

/me content

La plupart de mes travaux de samedi dernier ont donné un résultat direct, soit sur wxWidgets soit sur pgAdmin. J'ai encore plein d'idées à mettre en place. J'ai d'ailleurs envoyé deux mails pour parler de deux gros projets :

• le premier est de revoir les dialogues pour qu'ils soient facilement redimensionnables... ajouter un onglet n'améliore évidemment pas la situation ;
• le second concerne la fenêtre d'état du serveur.

Du boulot en prévision

pgAdmin affichait quelques informations sur les statistiques. J'ai ajouté les nouvelles colonnes de la 8.3 (« live tuples », « dead tuples », « HOT updated tuples »), ainsi que les horodatages sur le VACUUM et l'ANALYZE dans les statistiques disponibles à partir de la liste des tables. Cela donne ces deux jolis screenshots :

et

Deux patchs appliqués coup sur coup, je suis plutôt content de moi maintenant, il faudrait voir à faire en sorte que les colonnes se dimensionnent automatiquement suivant le texte placé dans la colonne.

Allez hop, un nouveau patch pour pgAdmin. Depuis la version 8.2 de PostgreSQL, il existe une instruction SQL permettant de réaffecter tous les objets du rôle à un autre. Il s'agit de REASSIGN OWNED. Une autre instruction du même acabit a été ajoutée : DROP OWNED, qui permet de supprimer les objets appartenant à un utilisateur. Pour l'instant, pgAdmin ne proposait pas d'interface pour ces deux types d'action. Ça faisait partie de mes vieux TODO et j'ai profité de cette semaine pour m'y mettre.

Après un clic droit sur un rôle, le menu contextuel propose un nouvel élément : « Reassign/Drop Owned... ».

Une nouvelle fenêtre s'affiche permettant de choisir entre une réaffectation et une suppression des objets du rôle sélectionné.

Après sélection de l'action, du nouveau rôle si besoin est et de la base où exécuter la commande, la fenêtre se ferme et l'action est exécutée.

Simple et rapide. Il m'aura quand même fallu pratiquement trois jours, principalement pour comprendre comment ajouter la nouvelle fenêtre Prochain patch, la gestion du changement de schéma dans les objets.

J'ai réalisé dernièrement quelques patchs pour pgAdmin. Auparavant, j'utilisais Kate pour accéder aux codes source, faire mes modifs, etc. J'ai ré-installé KDevelop, histoire de voir si cet outil me permettrait de coder plus rapidement. J'avoue que pour l'instant ça marche plutôt bien, j'en suis assez content. Cependant, je suis loin d'utiliser beaucoup de fonctionnalités spécifiques de KDevelop. En fait, je m'en sers surtout comme d'un Kate évolué, spécialisé dans l'édition de code source. Enfin bon, tout ça pour dire que KDevelop me plaît bien et que c'est mon principal outil pour lire le code source de pgAdmin et de PostgreSQL.

Beaucoup de bonnes conférences aujourd'hui, principalement celles des hackers PostgreSQL.

Josh a ouvert le bal avec une conférence sur les nouveautés de PostgreSQL 8.3. Il a d'abord confirmé qu'il fallait de plus en plus de temps pour valider les patchs que pour les écrire... du coup, il y a quelques bouchons sur la voie de la 8.3 mais cela devrait quand même déboucher sur une version vraiment majeure (en tout cas plus que la 8.2). Sortie maintenant prévue en septembre/octobre (de cette année ). D'après lui, les performances de la 8.2 se situent entre MySQL5 et Oracle. En dehors de ce commentaire subjectif (à mon avis), il a entamé la liste des améliorations de la 8.3 : Hot updates (j'ai pas bien pigé le fonctionnement, mais il semble que ça ne fera gagner énormément en perfs que pour peu d'applications), amélioration du cache des requêtes, des ORDER BY...LIMIT, des checkpoints, de l'autovacuum. La réduction du volume des WAL pour les opérations COPY et CLUSTER devrait être un des points majeurs de cette version. Il y aurait aussi une grosse amélioration des parcours séquentiels dans le cas où plusieurs backends font le même seqscan en même temps mais j'avoue que là non plus je n'ai pas pigé comme cela devait fonctionner. Dans les améliorations sympas, le XML dans core, la gestion des ENUM, les curseurs qu'on peut mettre à jour, l'index advisor (que Josh lui-même n'a pas voulu expliquer ), le OLAP window (ça, ce fut une découverte pour moi, je croyais que Gavin n'avait pas eu le temps de terminer ce patch et qu'il avait donc été repoussé pour la 8.4).

Il a poursuivi sur une deuxième conf : cinq ensembles de conseils pour améliorer les performances. Absolument génial. Le contenu est déjà bien connu, certains points méritent d'être testés, mais dans l'ensemble c'est du très bon.

Hans-Jurgen Schonig a fait une prestation très remarqué. Il était marrant, simple, et compréhensible sur un sujet plutôt complexe : la réplication, et notamment la réplication multi-maître. On a eu droit à un vrai show, c'était excellent

continuent est venu faire sa pub, donc je n'en parlerais pas plus. Je me suis juste bien emmerdé pendant cette conf.

Mitani a présenté PGCluster et PGCluster2. En bref, utiliser le premier si 90% de vis requêtes sont des requêtes de lecture. Sinon utiliser le deuxième. Sachez tout de même que les performances sont assez décevantes.

La conférence d'Oleg Bartunov sur TSearch2 était géniale. Seul bémol, sa façon à passer très rapidement de slide en slide, parfois même en marche arrière... difficile de suivre dans ces conditions. Néanmoins, il a abordé beaucoup de points sur les différentes possibilités de TSearch2 et ajouté quelques infos sur la version qui sera incluse dans la 8.3. Il faut absolument que je récupère les slides d'Oleg (il me semble qu'il a utilisé celles de sa présentation lors de PGCon2007).

La pause déjeuner m'a permis de discuter beaucoup avec Dave Page pendant que Jean-Paul se faisait interviewer avec de nombreux hackers. Nous avons échangé quelques idées sur ce qu'il fallait faire pour la prochaine version de pgAdmin. J'ai du boulot en vue... Attendez-vous aussi à la première beta vendredi de cette semaine ou peu après.

L'après-midi a été moins intéressante, peut-être aussi est-ce dû à la fatigue. David Fetter a fait deux conférences très intéressantes sur DBILink et PL/Perl. Je ne suis pas un adorateur de Perl mais j'ai quand même été séduit par les deux confs de David. Beaucoup d'humour, beaucoup d'infos, une envie de faire participer le public (ce qui est bien, ça a un peu réveillé tout le monde... entre le repas et la chaleur, tout le monde peinait).

Andreas a fait une conf intéressante sur son module tablelog. Je vois bien son intérêt mais aussi son gros inconvénient. Un INSERT sur une table tracée revient à deux opérations d'écriture (une pour la table tracée, une autre pour la table de log).

Il y a eu ensuite une conférence sur PostgreSQL versus MySQL. Je ne vois pas l'intérêt de ce genre de conférences, donc j'ai zappé.

La dernière conférence était vraiment excellente. Simon Riggs a tenté d'expliquer un maximum de choses sur PITR en une demi-heure. Mission impossible, mais en fait il s'est quand même bien débrouillé. J'en ai un peu discuté avec lui après. Pour moi, sa conf aurait dû durer deux heures. Enfin, l'important, c'est qu'il a réussi à démontrer la robustesse de PITR et c'est à mon avis le plus important pour les nouvelles fonctionnalités.

Après les confs, il y a eu une réunion sur la constitution d'un groupe européen. Peu de choses en sont sorties. Le plus important a été, à mon avis, qu'on se rencontre tous (enfin presque tous), qu'on ait un visage sur chaque nom, sur chaque pseudo. Ça aide à s'unir, à s'entraider. Le reste va pouvoir débuter sur la liste de discussions.

La galerie du jour...

Ça sera la grande nouveauté de la prochaine version de pgAdmin : le debugger PL/pgsql. Développé par EnterpriseDB et maintenant intégré à pgAdmin, il est testable avec une base EntrepriseDB. Le module de débuggage sera « bientôt » disponible sur le site d'EnterpriseDB. En attendant, j'ai testé cette fonctionnalité avec une version SVN toute fraîche. Et voici quelques copies d'écran, histoire de vous faire baver.

Après avoir sélectionné une fonction, un clic droit affiche un menu disposant d'un nouvel élément : Debugging. Cet élément propose deux choix : Debug et Set breakpoint. En choisissant Debug, le debugger est lancé dans sa propre fenêtre. Si la fonction comprend des arguments, une fenêtre vous demandera leur valeurs...

Une fois saisi, vous arrivez sur le debugger, prêt à exécuter la fonction :

Les dernières valeurs modifiées sont affichées en rouge dans l'onglet des variables.

L'instruction RAISE (qui ajoute un message dans les traces) va afficher aussi le message dans l'onglet « DBMS Messages ».

Pas mal, non ?

Notez qu'il est aussi possible de débugger une fonction trigger en ajoutant le fameux breakpoint.

Et voici mon troisième patch (oui, je n'ai pas encore causé du deuxième et ne suis pas sûr de le faire).

Avec la version 8.2 de PostgreSQL, le module pgstattuple comprend une nouvelle fonction permettant d'avoir quelques informations statistiques sur les index. J'avais oublié cette fonction dans mon premier patch. Du coup, je me rattrape en rajoutant cette fonctionnalité. Evidemment, le patch vérifie l'existence de la fonction au lancement de pgAdmin. Si c'est bien le cas, le menu contextuel d'un index affiche le menu « Extended statistics » comme le montre la copie d'écran ci-dessous :

Après avoir sélectionné ce menu, les statistiques supplémentaires s'affichent dans l'onglet « Statistics » :

J'ai encore moins galéré pour l'écriture de ce patch. En effet, je me suis basé sur le travail fait pour pgstattuple. Donc, un petit patch bien tranquille. Le prochain pourrait être un peu plus compliqué car il s'agit d'ajouter le support des instructions DROP/REASSIGN OWNED (donc spécifique 8.2).

Je profite de parler de pgAdmin pour dire que j'ai intégré deux nouvelles traductions (serbe et portugaise). Merci donc à Bojan Skaljac et à Hélder M. Vieira pour leur travaux sur leur .po respectif.

Voici le premier patch que j'ai écrit pour pgAdmin. Il a été appliqué par Dave, donc vous devriez avoir ça avec la version 1.8 de pgAdmin (prévu pour le premier semestre 2007).

pgstattuple est un module contrib de PostgreSQL. Il permet de savoir pour une relation donnée sa taille, son nombre de lignes (vivantes, mortes, totales), la taille de toutes les lignes vivantes et de toutes les lignes mortes. Cela peut être d'une grande aide pour un administrateur de bases de données car il peut ainsi se rendre compte de l'adéquation de sa configuration (notamment max_fsm_pages et max_fsm_relations, mais aussi tous les paramètres de l'autovacuum). Cela lui permet aussi de savoir si une table est bien proportionnée (10% de lignes mortes semble un max). S'il détecte un problème, il pourra ainsi entreprendre des actions pour que cela ne se reproduise plus.

Le patch détecte automatiquement si la contrib pgstattuple a été installée sur la base où l'utilisateur est connecté. Si c'est bien le cas, le menu contextuel d'une table affiche le menu « Extended statistics » comme le montre la copie d'écran ci-dessous :

Après avoir sélectionné ce menu, les statistiques supplémentaires s'afficheront dans l'onglet « Statistics » :

Et voilà. Je n'ai pas trop galéré pour l'écriture du patch. La lecture du code permet rapidement de savoir comment se débrouiller. Cela étant dit, mon deuxième patch a été moins simple à écrire...

Mardi soir, 23h, est arrivé PostgreSQL 8.2.0 : une excellente version de stabilisation et d'améliorations des différents outils. J'ai commencé l'écriture d'un article sur cette version sur mon wiki. N'hésitez pas à le lire et à m'indiquer ce que vous en pensez. Le manuel français est à jour. Stéphane a commencé la relecture. Vu le nombre de modifications qu'il fait, c'est vraiment important que tout soit relu (n'oubliez que, vous-aussi, vous pouvez participer). Les applications sont entièrement traduites. Bref, tout va bien si ce n'est quelques soucis avec la génération de certains types de documents. Il faut que je m'en occupe rapidement.

Une nouvelle version de pgAdmin est aussi sortie, mais ça date déjà de vendredi dernier. Elle comprend quelques correctifs de l'excellente branche 1.6. À ce sujet, j'avais écrit un article pour Linux+ DVD sur les nouveautés de cette branche. Le numéro de décembre est enfin disponible en France pour les personnes intéressées. Je suis plutôt content de mon article mais j'ai quand même un bémol : je ne sais pas ce qu'ils font avec les textes mais beaucoup d'accents ont été supprimés (alors que l'orthographe était bonne) et beaucoup ont été ajoutés (et n'auraient pas dû l'être). Bref.

C'est donc un très bon moment pour tester les deux surtout que pgAdmin 1.6.1 dispose d'un support pour PostgreSQL 8.2.0.