Tester une fonction IA sur plusieurs réponses plutôt qu'une belle démo

Distinguer une réussite, une répétition et une couverture des risques.

· 9 min de lecture

Une réponse réussie montre qu'un système peut produire quelque chose d'utile dans certaines conditions. Elle ne dit pas avec quelle régularité il le fera, ni sur quels cas il échouera.

Cette différence change la préparation d'une fonction IA. Il faut conserver les tests habituels de l'application et ajouter des observations sur le comportement généré : qualité, variation, erreurs, coût et conséquences dans le reste du parcours.

Définir ce qui doit rester stable

Prenons une fonction fictive qui prépare une réponse à une demande de report de séance dans une salle d’escalade. Le texte peut varier. Les conditions de report et l’interdiction d’annoncer une réservation modifiée quand rien n’a été appliqué doivent rester respectées. Aucun conseil de pratique sportive n’entre dans ce scénario inventé.

Ces critères n'ont pas tous le même contrôle. Le format et certains champs peuvent être vérifiés automatiquement. La clarté de l'explication demande une appréciation. L'état réel de la réservation doit être contrôlé dans son système, lorsqu'une action est autorisée.

Avant la génération, distinguer les variations acceptables des violations évite de traiter tout écart comme un défaut ou, à l'inverse, de tout accepter au nom du caractère probabiliste.

Une réponse courte peut être exacte et peu utile ; une réponse agréable peut être fausse. Ces dimensions demandent des critères séparés. Dans la salle fictive, l’équipe produit précise ce que la personne doit comprendre pour choisir la suite ; l’exploitation confirme les conditions applicables ; la technique décrit ce que l’outil peut réellement lire ou modifier. Aucun de ces regards ne remplace entièrement les deux autres.

Une demande de précision peut être la bonne sortie. Si la date de la séance manque, l’évaluation ne doit pas récompenser un calcul assuré sur une date inventée. Si deux documents donnent des règles différentes, il faut traiter ce conflit avant de noter une réponse sur la règle supposée correcte. La préparation de l’évaluation révèle ainsi parfois une décision produit encore ouverte.

Préparer des cas qui résistent à la démonstration

Un jeu d'évaluation doit contenir des situations ordinaires, des exceptions, des entrées incomplètes et des cas où il faut refuser ou demander une précision.

Le choix des cas relève aussi du produit : quels défauts font perdre la confiance ? Quelles actions risquent d'engager l'utilisateur ? Une moyenne de qualité peut masquer une erreur rare mais importante. Garder les catégories et la gravité visibles aide à l'éviter.

Les réponses de référence ne doivent pas forcément imposer une phrase exacte. Pour la demande fictive, on peut définir les faits indispensables, les affirmations interdites et les questions acceptables.

Voici quatre situations de départ pour ce scénario. Elles préparent l’essai ; aucune réponse n’a été générée pour ce texte.

Situation fictiveCe que le contrôle doit examinerCe qu’il ne doit pas imposer
Date connue, report autorisé selon la règle jointeExpliquer la possibilité et la prochaine étapeUne formulation unique
Date absenteDemander la précision nécessaireDeviner la séance concernée
Deux règles jointes incompatiblesSignaler le conflit et demander l’arbitrageChoisir celle qui arrange la réponse
Consultation indisponibleExpliquer la limite sans annoncer une opération réaliséeDonner l’apparence d’un succès

Ces quatre cas ne couvrent pas toute la fonction. Une personne peut employer un autre vocabulaire, joindre un document sans rapport ou revenir après une première réponse. L’équipe doit choisir les catégories qui correspondent aux conséquences redoutées. Ajouter cinquante reformulations du premier cas ne compense pas l’absence des trois autres.

La « Fiche d'évaluation d'une réponse IA avec cas et contre-exemple » prépare un cas et sa frontière. Elle utilise un autre contexte pour rendre le support réutilisable, sans reproduire ici une seconde fiche complète.

Garder plusieurs essais et leurs traces

Rejouer un même cas permet d'observer la variation. Conserve les entrées, la version du modèle, les réglages, les documents et les outils disponibles. Si cet ensemble change, la comparaison doit le dire.

La documentation d'Anthropic sur les évaluations d'agents distingue un cas de test des tentatives répétées sur ce cas. Cette séparation évite de prendre plusieurs réponses à une seule demande pour une couverture de plusieurs situations.

Il n'existe pas ici de nombre universel d'essais. Un petit lot permet de découvrir des erreurs ; il ne suffit pas à estimer précisément un événement rare. Les exigences dépendent du risque et de l'usage envisagé.

Quatre situations jouées trois fois donnent douze tentatives, pas douze situations. Si la même entrée produit deux réponses acceptables puis une affirmation interdite, ne conserve pas seulement la meilleure. La première question devient : dans quelle condition ce défaut apparaît-il et quelles conséquences aurait-il ? Le petit lot sert à découvrir cette fragilité ; il n’établit pas sa fréquence dans la population réelle.

Quand le dispositif garde un historique ou peut agir sur un état, remets l’environnement dans les conditions prévues avant chaque tentative. Sinon la troisième peut bénéficier d’une correction ou d’une action réalisée pendant la première. Un écart viendrait alors peut-être du montage de l’essai. Le produit peut aussi exiger une conversation suivie : dans ce cas, l’historique fait partie de la situation explicitement testée.

Les traces nécessaires dépendent de la question. Conserver tous les documents et échanges peut exposer davantage de données sans aider le diagnostic. « Choisir les traces utiles à l’évaluation d’un produit IA » propose de décider ce qu’il faut garder, qui peut y accéder et comment les copies seront traitées.

Choisir comment juger chaque réponse

Certains contrôles se calculent : un champ obligatoire existe, un identifiant correspond, un montant recopié reste identique. D’autres demandent de lire le sens : la réponse explique-t-elle réellement ce qui manque ? Évite de remplacer ce jugement par la seule présence d’un mot. Une phrase peut contenir « non confirmé » tout en laissant croire que l’opération a été faite.

Si un modèle aide à noter, fais examiner des exemples par une personne qui connaît le travail. Compare leurs appréciations et regarde leurs désaccords avant d’utiliser les notes à grande échelle. L’évaluateur peut se tromper aussi, préférer une réponse longue ou manquer une exception. Son score ne certifie pas la sortie.

Garde la gravité visible. Une formulation maladroite et une opération interdite n’ont pas le même poids. Une moyenne satisfaisante peut masquer cette dernière. La décision de poursuivre doit préciser les défauts qui empêchent le lancement dans le périmètre envisagé, les améliorations souhaitées et les questions encore non couvertes.

Examiner l'effet dans le parcours

Une réponse peut être bien écrite et mal servir le flux. Elle propose un remboursement impossible, pousse un utilisateur vers une étape indisponible ou produit un document que personne ne peut reprendre.

Il faut donc tester la fonction dans son contexte d'usage : entrées réelles autorisées, accès, délais, échecs d'outils et action suivante. Si le système agit, vérifier son état final. Un message d'achèvement ne démontre pas que l'action a eu lieu.

Le coût et le temps de réponse font aussi partie du jugement. Une réponse correcte qui exige plusieurs reprises peut devenir peu praticable à l'échelle.

Un essai hors du parcours peut aider à comprendre un défaut de génération. Il ne montre pas encore comment une personne réagit à l’attente, trouve la demande de précision ou reprend après une erreur. L’évaluation de la fonction et l’observation de son usage répondent à des questions différentes. Le responsable produit doit savoir laquelle manque avant de présenter le résultat comme une preuve de valeur.

Pour les actions, le protocole de « Vérifier les actions d'un agent sur un scénario d'essai » contrôle l’état final dans le système concerné. Ici, une réponse conforme est seulement l’une des pièces de cette vérification. Un message rassurant n’établit pas le déplacement d’une réservation.

Faire de chaque défaut un objet de travail

Classe les erreurs avant de changer le prompt : source manquante, récupération incorrecte, raisonnement, format, appel d'outil, règle mal définie. Corriger au mauvais étage peut masquer le problème sur un exemple et le reproduire ailleurs.

Après changement, rejoue les cas connus et quelques cas nouveaux. Conserve les limites, y compris les catégories peu couvertes. Le suivi après lancement reste nécessaire parce que les entrées et les conditions d'utilisation évoluent.

Dans le scénario, si le document fourni est ancien, modifier le ton de la réponse ne règle pas l’accès à la bonne règle. Si le contrôle rejette une demande de précision pourtant nécessaire, il faut corriger l’évaluateur. Lire ensemble l’entrée, la sortie et le motif de la note évite de prendre toute baisse de score pour une dégradation du modèle.

Pour comparer deux versions, conserve un ensemble de référence et décris les changements : modèle, instruction, récupération, données ou outils. Changer tout à la fois peut être nécessaire pour le produit, mais ne permet pas d’attribuer l’écart à une seule modification. Garde aussi des cas non utilisés pour ajuster la version ; réussir uniquement les exemples qui ont guidé les corrections ne démontre pas la même chose.

La restitution doit rendre possibles plusieurs décisions : corriger le dispositif d’essai, réduire le périmètre, poursuivre une observation limitée ou différer l’ouverture. Une catégorie critique non examinée ne devient pas acceptable parce que le tableau des autres catégories est vert.

Limites de ce que l’évaluation établit

Un jeu de cas est une sélection. Il peut être trop simple, dater d’un ancien usage ou refléter surtout les questions de l’équipe. Les retours de terrain servent à le compléter, en conservant leur contexte et les droits nécessaires à leur utilisation. Un défaut ajouté au jeu ne prouve pas à lui seul que le changement suivant est durablement meilleur.

Ces principes ne signifient pas que les tests logiciels classiques supposeraient tous un monde parfaitement déterministe. Ils ajoutent un contrôle du comportement généré aux contrôles existants, avec une conclusion limitée à ce qui a effectivement été observé.

Dans la bibliothèque

Des outils de la catégorie Systèmes. Voir toute la catégorie →

À lire ensuite

Recevoir la newsletter

Des tutos, des essais et des retours bruts sur ce que je construis. Le lien pour te désabonner est en bas de chaque édition.

L’inscription se termine sur Substack, dans un nouvel onglet.