Le mois dernier, notre IA a refusé un déploiement. Les tests automatisés étaient verts, mais le produit n'était pas prêt : des commandes étaient trop rapprochées, l’affichage d’un message d’erreur se dégradait sur les petits écrans, et un chargement ressemblait à un plantage. Le score était de 64 sur 100. Le verdict était simple : ne pas livrer.
C'est le problème que Gadget a été conçu pour résoudre. Ce n'est pas un grand modèle de langage ajouté à un outil de test. C'est un bêta-testeur avec des yeux : un système qui exécute des parcours produit, capture ce qu'un utilisateur verrait réellement, puis demande à un modèle d’analyse d’images de juger si l’expérience est convaincante.
Cypress, Playwright et Selenium excellent pour prouver que les parcours prévus s’exécutent. Ils peuvent confirmer qu'un formulaire s'envoie, qu’une navigation aboutit, ou qu'une API renvoie le statut attendu. Mais un produit peut satisfaire toutes les assertions et rester défaillant aux yeux d'un utilisateur.
La question restante porte sur l’affichage et l’expérience vécue : est-ce que cela a l'air correct, est-ce lisible, est-ce qu'un utilisateur hésiterait, et l'interface est-elle entrée dans un état que personne n'a pensé à vérifier ? Le contrôle qualité manuel détecte ces problèmes, mais il est difficile de le répéter pour chaque proposition de modification, chaque taille d’écran et chaque version à publier.
Gadget conserve ce qui fonctionne dans les tests E2E. Il utilise Playwright pour naviguer, cliquer, remplir et vérifier. La différence vient après chaque étape : le moteur de test attend que la page se stabilise, réalise une capture de la page entière, puis envoie la séquence à Claude en lui demandant d’évaluer le produit comme le ferait un bêta-testeur.
Le modèle analyse la mise en page, la lisibilité, les affichages défaillants, les difficultés d’utilisation et les incohérences visuelles. Il classe les problèmes par sévérité et renvoie du JSON structuré, validé avec Zod, afin que le processus puisse gérer l’erreur de manière maîtrisée quand la sortie du modèle est imparfaite au lieu de faire de l'outil le maillon faible.
D'abord, les tests sont écrits en YAML pour que les responsables produit, les équipes qualité et les designers puissent décrire des parcours sans écrire de TypeScript. Ensuite, les sélecteurs suivent ce que voient les utilisateurs : libellés, textes indicatifs des champs et noms accessibles plutôt que des sélecteurs fragiles. Les fichiers de test restent ainsi plus proches du parcours voulu que du détail d'implémentation.
Troisièmement, les captures d'écran sont une partie centrale du pipeline. En mode audit, chaque étape est capturée, mais seulement après l'inactivité réseau et un court délai de stabilisation, car un modèle d’analyse d’images ne peut pas distinguer une interface réellement cassée d'une page prise en plein chargement si le pipeline ne lui donne pas une image exploitable.
Quatrièmement, le prompt de revue est cadré de façon stricte. L'IA reçoit l'instruction de ne pas critiquer la couverture de test, la robustesse d'un mot de passe, la politique de sécurité ou les pages de destination hors du parcours testé. Le travail de prompt le plus difficile consistait souvent à dire au modèle chargé de la revue quoi ignorer. Cinquièmement, le niveau de préparation du produit est notée plutôt que réduite à un booléen : problèmes critiques, avertissements, défauts mineurs et améliorations retirent des points à une base de 100.
La boucle d'audit est directe : analyser le fichier YAML, interpoler les variables, lancer Chromium, exécuter chaque étape, capturer les écrans, demander à Claude une revue de bêta-test, valider la réponse, calculer le score global de préparation, puis produire des rapports pour les humains et les systèmes d’intégration continue. Console, JSON, HTML, JUnit et annotations GitHub servent chacun une partie du même processus.
Il existe aussi une seconde boucle. Gadget peut lire un git diff et générer des tests YAML ciblés sur les fonctionnalités modifiées, valider ces tests contre le schéma, puis les lancer immédiatement si besoin. Un agent écrit les tests ; un autre analyse l’apparence réelle du produit pendant leur exécution.
Le cadrage du prompt a compté davantage que le choix du modèle. Le temps de stabilisation a compté plus que prévu. La sortie structurée était non négociable. YAML a abaissé la barrière de contribution pour les personnes qui ne développent pas de logiciels. Et le score a changé les conversations d'équipe : au lieu de débattre abstraitement de le niveau de préparation du produit, tout le monde pouvait regarder le même nombre et les mêmes preuves visuelles.
La leçon est que les bugs coûteux ne sont pas toujours des plantages. Ce sont des expériences qui fonctionnent techniquement mais font hésiter, mal comprendre ou partir les utilisateurs. Les suites E2E traditionnelles détectent les échecs d'exécution du code. Gadget vise l'écart entre du code qui tourne et un produit réellement prêt à être utilisé.
Gadget est publié comme outil open source sous licence MIT. L’outil fonctionne localement, utilise votre propre clé API Anthropic, et envoie les captures directement depuis votre machine vers le fournisseur de modèle. Le dépôt inclut le moteur de test TypeScript, les modules d’analyse, de vérification et de génération de rapports, les prompts, des suites YAML d'exemple, des configurations CI, la documentation et des instructions de travail pour Claude Code.
Lire l'article original sur LinkedIn →
Une étude de cas sur la revue de code à l’heure des agents de développement, à partir des données de l’espace de travail Pyratz Labs du 13 août au 5 novembre 2026.
Pourquoi nous avons créé des salons chiffrés autour des sessions d’agents existantes, et comment le démon de Paseo, les questions structurées et le partage d’images rendent cette collaboration possible.
Une thèse d’investissement pour l’ère de l’intelligence : financer les technologies qui créent l’abondance, les ressources rares dont elles dépendent et les institutions réglementées qui permettent leur déploiement, tout en préservant la propriété, la liberté de choix et la capacité d’agir.