Questions de test pour l'agent IA avant la mise en ligne

Points clés

• Un échantillonnage des réponses déjà en ligne trouve les erreurs après que les clientes et clients les ont vues ; un jeu de test les trouve avant.
• Cinq types de questions appartiennent à chaque jeu : cas standard, cas limite, question sans réponse dans la base de connaissances, information périmée et question à fausse prémisse.
• Réussi signifie : juste ET étayé par la source attendue, ou un transfert honnête à un humain. Une réponse juste avec une mauvaise source n’est pas réussie.
• Le jeu grandit à partir des demandes réelles et de chaque erreur qui est parvenue jusqu’à une cliente ; il ne rétrécit jamais.
• Le mode fantôme, dans lequel l’agent ne dépose que des brouillons, est la mesure en exploitation, pas le remplacement du jeu.

Pourquoi un échantillonnage ne suffit pas

Qui exploite un agent IA dans le support finit par contrôler ses réponses. Le chemin habituel est l’échantillonnage : chaque semaine, quelqu’un lit une partie des conversations et évalue si la réponse est correcte. Nous avons décrit cette méthode dans un article dédié à l’échantillonnage, et elle reste juste. Elle a seulement une propriété qu’il faut connaître : elle trouve les erreurs après que les clientes et clients les ont vues.

Un jeu de test inverse l’ordre. Il se compose de questions dont la bonne réponse est connue et il est posé avant la mise en ligne d’une modification de la base de connaissances. Le principe vient du développement logiciel, où les tests s’exécutent à chaque modification, et il vaut pour les modèles de langage exactement de même : Hamel Husain, qui décrit les méthodes d’évaluation pour les produits IA, exige que de tels contrôles soient rapides et bon marché, afin de pouvoir être exécutés à chaque modification¹. La raison est la même que pour le logiciel : une modification à un endroit a des effets secondaires à d’autres.

Sur une base de connaissances, ces effets secondaires sont particulièrement discrets. Un nouvel article d’aide sur la résiliation peut faire que l’agent, à une question sur la facture, cite soudain l’article de résiliation, parce que son libellé est plus proche de la question. Personne n’a touché à l’article sur la facture, et pourtant la réponse à la question sur la facture est devenue une autre. Un échantillonnage le découvre dans la semaine qui suit. Un jeu de test le découvre avant la mise en ligne.

D’où viennent les questions

Le jeu ne s’invente pas, il se collecte. La meilleure source, ce sont les demandes réelles de la boîte de réception, et pas les typiques, mais celles où le support a déjà échoué : les questions qu’il a fallu poser deux fois, les questions dont la réponse a été corrigée plus tard, les questions parties vers un humain alors que la réponse figurait dans la base de connaissances. Chacune d’elles a sa place dans le jeu.

La deuxième source, ce sont les transferts de l’agent lui-même. Quand l’agent transmet une question à l’équipe parce que la base de connaissances ne donne rien, c’est soit correct, parce qu’il n’existe vraiment pas de réponse, soit faux, parce que la réponse est là et n’a simplement pas été trouvée. Les deux cas appartiennent au jeu, avec une attente différente. Le guide d’Anthropic sur la construction de cas de test recommande explicitement de ne pas oublier les cas limites : des entrées non pertinentes ou inexistantes, des entrées trop longues, et dans le chat aussi des saisies utilisateur mauvaises ou inadaptées². Cela correspond, pour les questions de support, exactement aux cas qui sont rares dans un échantillonnage et qui devraient donc être surreprésentés dans le jeu.

Les cinq types de questions.

Un jeu composé uniquement de questions standard ne vérifie que si l’agent fonctionne un bon jour. Cinq types couvrent ce qui se passe vraiment en exploitation :

• Cas standard : une question fréquente dont la réponse figure clairement dans un article. Attente : la réponse de cet article, avec cet article comme source.
• Cas limite : une question dont la réponse doit être composée à partir de deux articles ou se trouve dans une subordonnée. Attente : la réponse composée, avec les deux sources.
• Question sans réponse dans la base de connaissances : une question pour laquelle il n’existe délibérément aucun article. Attente : transfert à un humain, pas de réponse inventée.
• Information périmée : une question sur quelque chose qui a changé, par exemple un prix ou un délai. Attente : l’état actuel, pas l’ancien, même si un ancien article existe encore.
• Question à fausse prémisse : une question qui présuppose quelque chose de faux, par exemple une fonctionnalité qui n’existe pas. Attente : l’agent contredit la prémisse au lieu de la confirmer.

Ce qui compte comme réussi

L’évaluation doit être fixée avant le premier passage, sinon elle est ajustée après coup aux réponses. Trois règles suffisent, et elles sont strictement entendues.

Premièrement : une réponse n’est réussie que si elle est correcte sur le fond ET nomme la source attendue. Une réponse juste avec une source fausse ou manquante n’est pas réussie. La raison est pratique : une réponse sans source solide, personne dans l’équipe ne peut la vérifier, et l’agent l’a alors vraisemblablement composée à partir du libellé d’un autre endroit. Au passage suivant, la même question peut se terminer autrement.

Deuxièmement : un transfert honnête à un humain est, pour les types «  sans réponse  » et «  fausse prémisse  », le résultat attendu et donc réussi. Pour les trois autres types, il n’est pas réussi, car là, la réponse figurait dans la base de connaissances. Un transfert n’est pas un laisser-passer ; il n’est juste que là où la connaissance manque.

Troisièmement : une réponse qui est juste, mais qui affirme plus que la source ne le permet, n’est pas réussie. C’est le cas qui glisse le plus souvent, parce que la réponse sonne bien. Un agent qui nomme correctement le délai de résiliation et qui invente en plus une règle de tolérance n’a pas réussi la question.

Quelle taille doit avoir le jeu

Il n’existe pas de chiffre valable pour chaque équipe, mais il y a une règle empirique qui découle de la structure de la base de connaissances : au moins une question par article que l’agent cite souvent, plus une question de chacun des types trois à cinq pour chaque domaine thématique. Pour un Centre d’aide de quarante articles en cinq domaines, cela fait environ 55 questions. Cela semble beaucoup, mais cela se collecte en un après-midi et se déroule en une demi-heure.

Anthropic recommande, pour les évaluations, de privilégier la quantité sur la qualité individuelle : plus de questions avec une évaluation automatique un peu plus grossière valent mieux que peu de questions évaluées à la main avec effort². Traduit pour une équipe de support sans propre automatisation de tests : plutôt 55 questions avec une évaluation oui/non selon les trois règles ci-dessus que 15 questions avec une échelle de un à dix. L’échelle crée des discussions, le oui/non crée une liste de travail.

Quand le jeu est exécuté.

Avant chaque mise en ligne d’une modification de la base de connaissances qui va au-delà d’une simple coquille. Nouvel article, article supprimé, chiffre modifié, structure modifiée, nouvelle source dans le crawl : chaque fois. Cela ne tient que si le passage est court, et il est court si les questions sont prêtes dans un tableau et n’ont plus qu’à être posées. Un jeu qui ne s’exécute qu’une fois par mois n’est pas un contrôle de régression, mais un inventaire.

Entretenir le jeu

Un jeu de test se périme à l'instant où la base de connaissances change, et c'est voulu : chaque modification entraîne une modification du jeu. Trois règles le gardent utilisable.

• Chaque erreur parvenue jusqu'à la cliente devient une question. Quand l'échantillonnage ou une réclamation trouve une réponse fausse, la question entre dans le jeu avec la bonne attente. Elle y reste durablement, car les erreurs qui se sont produites une fois se reproduisent.
• Une information modifiée change l'attente, pas la question. Si un prix augmente, la question sur le prix reste dans le jeu et reçoit une nouvelle réponse attendue. L'ancienne réponse devient l'attente pour « non réussi », exactement le cas que vérifie le type « information périmée ».
• Le jeu ne rétrécit jamais. Une question n'est retirée que lorsque le domaine thématique auquel elle appartient disparaît du produit. Une question réussie dix fois de suite n'est pas du lest, mais la preuve qu'un endroit est stable.

Qui tient le jeu dans un tableau a besoin de six colonnes : la question, le type, la réponse attendue en une phrase, la source attendue, le résultat du dernier passage et la date. Il ne faut pas plus d'outillage, et chercher un outil dédié est la raison la plus fréquente pour laquelle le jeu ne voit jamais le jour.

Ce que le mode fantôme apporte

Le jeu de test vérifie la base de connaissances avant la mise en ligne. Ce qu'il ne vérifie pas, c'est la variété des formulations réelles : les clientes et clients posent la même question de cent manières, avec des fautes de frappe, des demi-phrases et le contexte d'une commande précédente. C'est à cela que sert la seconde mesure, et elle a lieu en exploitation.

Chez Comlayer, elle s'appelle le mode fantôme. Dans ce réglage, l'agent ne répond pas lui-même, mais dépose pour chaque question entrante un brouillon avec ses sources dans la boîte de réception. L'équipe envoie le brouillon tel quel, le modifie ou le rejette, et la part des brouillons envoyés sans modification montre à quel point l'agent s'en sort avec les formulations réelles. Un brouillon pour lequel l'agent aurait transféré est marqué comme tel. L'agent répond exclusivement à partir des connaissances de l'espace de travail, c'est-à-dire des articles du Centre d'aide, des documents téléversés et des pages explorées de ton propre site, nomme la source de chaque réponse et transfère à l'équipe quand les connaissances ne permettent pas de répondre.

Les deux mesures se complètent, mais ne se remplacent pas. Le mode fantôme montre si l'agent est prêt à parler à de vraies personnes. Le jeu de test montre si la base de connaissances dit encore, après la dernière modification, ce qu'elle doit dire. Qui n'a que l'un ne remarque les régressions que dans la pile de brouillons, et qui n'a que l'autre ne découvre jamais comment les clientes demandent vraiment.

Questions fréquentes