Nous avons créé une IA qui bêta-teste votre application

Ce que Gadget nous a appris sur l'écart entre des tests qui passent et des produits réellement prêts à être livrés.

Le mois dernier, notre IA a refusé un déploiement. Les tests automatisés étaient verts, mais le produit n'était pas prêt : des commandes étaient trop rapprochées, l’affichage d’un message d’erreur se dégradait sur les petits écrans, et un chargement ressemblait à un plantage. Le score était de 64 sur 100. Le verdict était simple : ne pas livrer.

C'est le problème que Gadget a été conçu pour résoudre. Ce n'est pas un grand modèle de langage ajouté à un outil de test. C'est un bêta-testeur avec des yeux : un système qui exécute des parcours produit, capture ce qu'un utilisateur verrait réellement, puis demande à un modèle d’analyse d’images de juger si l’expérience est convaincante.

Les tests de bout en bout ne répondent pas à toutes les questions

Cypress, Playwright et Selenium excellent pour prouver que les parcours prévus s’exécutent. Ils peuvent confirmer qu'un formulaire s'envoie, qu’une navigation aboutit, ou qu'une API renvoie le statut attendu. Mais un produit peut satisfaire toutes les assertions et rester défaillant aux yeux d'un utilisateur.

La question restante porte sur l’affichage et l’expérience vécue : est-ce que cela a l'air correct, est-ce lisible, est-ce qu'un utilisateur hésiterait, et l'interface est-elle entrée dans un état que personne n'a pensé à vérifier ? Le contrôle qualité manuel détecte ces problèmes, mais il est difficile de le répéter pour chaque proposition de modification, chaque taille d’écran et chaque version à publier.

Ce qui change quand les tests peuvent analyser l’écran

Gadget conserve ce qui fonctionne dans les tests E2E. Il utilise Playwright pour naviguer, cliquer, remplir et vérifier. La différence vient après chaque étape : le moteur de test attend que la page se stabilise, réalise une capture de la page entière, puis envoie la séquence à Claude en lui demandant d’évaluer le produit comme le ferait un bêta-testeur.

Le modèle analyse la mise en page, la lisibilité, les affichages défaillants, les difficultés d’utilisation et les incohérences visuelles. Il classe les problèmes par sévérité et renvoie du JSON structuré, validé avec Zod, afin que le processus puisse gérer l’erreur de manière maîtrisée quand la sortie du modèle est imparfaite au lieu de faire de l'outil le maillon faible.

Cinq choix de conception ont façonné le produit

D'abord, les tests sont écrits en YAML pour que les responsables produit, les équipes qualité et les designers puissent décrire des parcours sans écrire de TypeScript. Ensuite, les sélecteurs suivent ce que voient les utilisateurs : libellés, textes indicatifs des champs et noms accessibles plutôt que des sélecteurs fragiles. Les fichiers de test restent ainsi plus proches du parcours voulu que du détail d'implémentation.

Troisièmement, les captures d'écran sont une partie centrale du pipeline. En mode audit, chaque étape est capturée, mais seulement après l'inactivité réseau et un court délai de stabilisation, car un modèle d’analyse d’images ne peut pas distinguer une interface réellement cassée d'une page prise en plein chargement si le pipeline ne lui donne pas une image exploitable.

Quatrièmement, le prompt de revue est cadré de façon stricte. L'IA reçoit l'instruction de ne pas critiquer la couverture de test, la robustesse d'un mot de passe, la politique de sécurité ou les pages de destination hors du parcours testé. Le travail de prompt le plus difficile consistait souvent à dire au modèle chargé de la revue quoi ignorer. Cinquièmement, le niveau de préparation du produit est notée plutôt que réduite à un booléen : problèmes critiques, avertissements, défauts mineurs et améliorations retirent des points à une base de 100.

La boucle de test et d’analyse

La boucle d'audit est directe : analyser le fichier YAML, interpoler les variables, lancer Chromium, exécuter chaque étape, capturer les écrans, demander à Claude une revue de bêta-test, valider la réponse, calculer le score global de préparation, puis produire des rapports pour les humains et les systèmes d’intégration continue. Console, JSON, HTML, JUnit et annotations GitHub servent chacun une partie du même processus.

Il existe aussi une seconde boucle. Gadget peut lire un git diff et générer des tests YAML ciblés sur les fonctionnalités modifiées, valider ces tests contre le schéma, puis les lancer immédiatement si besoin. Un agent écrit les tests ; un autre analyse l’apparence réelle du produit pendant leur exécution.

Ce que nous n'avions pas anticipé

Le cadrage du prompt a compté davantage que le choix du modèle. Le temps de stabilisation a compté plus que prévu. La sortie structurée était non négociable. YAML a abaissé la barrière de contribution pour les personnes qui ne développent pas de logiciels. Et le score a changé les conversations d'équipe : au lieu de débattre abstraitement de le niveau de préparation du produit, tout le monde pouvait regarder le même nombre et les mêmes preuves visuelles.

La leçon est que les bugs coûteux ne sont pas toujours des plantages. Ce sont des expériences qui fonctionnent techniquement mais font hésiter, mal comprendre ou partir les utilisateurs. Les suites E2E traditionnelles détectent les échecs d'exécution du code. Gadget vise l'écart entre du code qui tourne et un produit réellement prêt à être utilisé.

Open source par défaut

Gadget est publié comme outil open source sous licence MIT. L’outil fonctionne localement, utilise votre propre clé API Anthropic, et envoie les captures directement depuis votre machine vers le fournisseur de modèle. Le dépôt inclut le moteur de test TypeScript, les modules d’analyse, de vérification et de génération de rapports, les prompts, des suites YAML d'exemple, des configurations CI, la documentation et des instructions de travail pour Claude Code.

Explorer le dépôt Gadget →

Lire l'article original sur LinkedIn →

PYRATZ CORP · ANALYSES ← Retour à toutes les analyses
GARDEZ LE CONTACT

Recevoir les actualités investisseurs

Communiqués, résultats et informations réglementées, directement dans votre boîte mail.

Recevez uniquement les actualités destinées aux investisseurs. Vous pouvez vous désabonner à tout moment.
© 2026 PYRATZ CORP · EURONEXT ACCESS PARIS · $MLPTZ FR0013371507