Domande di test per l'agente IA prima che la conoscenza vada live

Punti chiave

• Un campione di risposte già rilasciate trova gli errori dopo che i clienti li hanno visti; un set di test li trova prima.
• Cinque tipi di domande appartengono a ogni set: caso standard, caso limite, domanda senza risposta nella base di conoscenza, informazione datata e domanda con premessa falsa.
• Superato significa: corretto E comprovato con la fonte attesa, oppure un onesto passaggio a una persona. Una risposta corretta con una fonte sbagliata non è superata.
• Il set cresce dalle richieste reali e da ogni errore che è arrivato fino alla cliente; non si riduce mai.
• La modalità ombra, in cui l'agente deposita solo bozze, è la misurazione in esercizio, non il sostituto del set.

Perché un campione non basta

Chi gestisce un agente IA nel supporto prima o poi controlla le sue risposte. La strada consueta è il campione: ogni settimana qualcuno legge una parte delle conversazioni e valuta se la risposta è corretta. Abbiamo descritto questo metodo in un nostro articolo sul campionamento, e resta valido. Ha solo una caratteristica che bisogna conoscere: trova gli errori dopo che i clienti li hanno visti.

Un set di test ribalta l'ordine. È composto da domande la cui risposta corretta è nota e viene posto prima che una modifica alla base di conoscenza venga rilasciata. Il principio viene dallo sviluppo software, dove i test girano a ogni modifica, e vale allo stesso modo per i modelli linguistici: Hamel Husain, che descrive i metodi di valutazione per i prodotti IA, esige che questi controlli siano rapidi ed economici, così da poter essere eseguiti a ogni modifica¹. La ragione è la stessa che nel software: una modifica in un punto ha effetti collaterali in altri.

In una base di conoscenza questi effetti collaterali sono particolarmente impercettibili. Un nuovo articolo dell'assistenza sulla disdetta può portare l'agente, a una domanda sulla fattura, a citare improvvisamente l'articolo sulla disdetta, perché il suo testo è più vicino alla domanda. Nessuno ha toccato l'articolo sulla fattura, eppure la risposta alla domanda sulla fattura è diventata un'altra. Un campione lo scopre nella settimana successiva. Un set di test lo scopre prima del rilascio.

Da dove provengono le domande

Il set non si inventa, si raccoglie. La migliore fonte sono le richieste vere della Inbox, e non quelle tipiche, ma quelle in cui il supporto ha già fallito una volta: domande che hanno dovuto essere poste due volte, domande con una risposta poi corretta, domande passate a una persona anche se la risposta stava nella base di conoscenza. Ognuna di esse è un candidato.

La seconda fonte sono i passaggi dell'agente stesso. Quando l'agente passa una domanda al team perché la base di conoscenza non offre nulla, o è giusto, perché davvero non esiste una risposta, o è sbagliato, perché la risposta c'è e non è stata trovata. Entrambi i casi appartengono al set, con aspettative diverse. La guida di Anthropic per la costruzione dei casi di test consiglia espressamente di non dimenticare i casi limite: input irrilevanti o inesistenti, input troppo lunghi e, nella chat, anche input utente scadenti o inappropriati². Nel supporto riguardano esattamente i casi che in un campione compaiono raramente e che nel set dovrebbero quindi essere sovrarappresentati.

I cinque tipi di domande.

Un set composto solo da domande standard verifica solo se l'agente funziona in una buona giornata. Cinque tipi coprono ciò che accade davvero in esercizio:

• Caso standard: una domanda frequente la cui risposta si trova chiaramente in un articolo. Attesa: la risposta di quell'articolo, con quell'articolo come fonte.
• Caso limite: una domanda la cui risposta deve essere composta da due articoli o si trova in una frase secondaria. Attesa: la risposta composta, con entrambe le fonti.
• Domanda senza risposta nella base di conoscenza: una domanda per la quale non esiste deliberatamente alcun articolo. Attesa: passaggio a una persona, nessuna risposta inventata.
• Informazione datata: una domanda su qualcosa che è cambiato, per esempio un prezzo o un termine. Attesa: lo stato attuale, non quello vecchio, anche se un vecchio articolo esiste ancora.
• Domanda con premessa falsa: una domanda che presuppone qualcosa di falso, per esempio una funzione che non esiste. Attesa: l'agente contraddice la premessa invece di confermarla.

Cosa si considera superato

La valutazione deve essere stabilita prima del primo giro, altrimenti viene adattata dopo ai risultati. Tre regole bastano, e vanno intese rigorosamente.

Primo: una risposta è superata solo se è corretta nel contenuto E cita la fonte attesa. Una risposta corretta con una fonte sbagliata o mancante non è superata. Il motivo è pratico: una risposta senza una fonte solida non può essere verificata da nessuno nel team, e nel dubbio l'agente l'ha composta dal testo di un altro punto. Al giro successivo la stessa domanda può andare diversamente.

Secondo: un onesto passaggio a una persona è, per i tipi «senza risposta» e «premessa falsa», il risultato atteso e quindi superato. Per gli altri tre tipi non è superato, perché lì la risposta stava nella base di conoscenza. Un passaggio non è un lasciapassare; è corretto solo dove manca la conoscenza.

Terzo: una risposta corretta ma che afferma più di quanto la fonte consenta non è superata. È il caso che più spesso sfugge, perché la risposta suona bene. Un agente che indica correttamente il termine di disdetta e vi inventa sopra una regola di buona grazia non ha superato la domanda.

Quanto deve essere grande il set

Non esiste un numero valido per ogni team, ma esiste una regola pratica che deriva dalla struttura della base di conoscenza: almeno una domanda per ogni articolo che l'agente cita spesso, più una domanda per ciascuno dei tipi da tre a cinque per ogni area tematica. Con un Centro assistenza di quaranta articoli in cinque aree si tratta di circa 55 domande. Sembra molto, ma si raccoglie in un pomeriggio e si ripercorre in mezz'ora.

Anthropic raccomanda per le valutazioni di privilegiare la quantità rispetto alla qualità individuale: più domande con una valutazione automatica un po' più grossolana sono meglio di poche valutate a mano con fatica². Per un team di supporto senza automazione di test propria, tradotto significa: meglio 55 domande con una valutazione sì-no secondo le tre regole di sopra che 15 domande con una scala da uno a dieci. La scala genera discussioni, il sì-no genera una lista di lavoro.

Quando viene eseguito il set.

Prima di ogni rilascio di una modifica alla base di conoscenza che vada oltre un refuso. Nuovo articolo, articolo eliminato, numero modificato, struttura modificata, nuova fonte nella scansione: ogni volta. Si regge solo se il giro è breve, ed è breve se le domande sono pronte in una tabella e devono solo essere poste. Un set che gira solo mensilmente non è una prova di regressione, ma un inventario.

Mantenere il set

Un set di test invecchia nel momento in cui la base di conoscenza cambia, ed è voluto: ogni modifica si porta dietro una modifica al set. Tre regole lo tengono utilizzabile.

• Ogni errore arrivato fino alla cliente diventa una domanda. Quando il campione o un reclamo trova una risposta sbagliata, la domanda entra nel set con l'attesa corretta. Vi resta in modo permanente, perché gli errori comparsi una volta ricompaiono.
• Un'informazione cambiata cambia l'attesa, non la domanda. Se un prezzo sale, la domanda sul prezzo resta nel set e riceve una nuova risposta attesa. La vecchia risposta diventa l'attesa per «non superato», esattamente il caso che il tipo «informazione datata» verifica.
• Il set non si riduce mai. Una domanda viene rimossa solo quando l'area tematica a cui appartiene scompare dal prodotto. Una domanda superata dieci volte di seguito non è zavorra, ma la prova che un punto è stabile.

Chi tiene il set in una tabella ha bisogno di sei colonne: la domanda, il tipo, la risposta attesa in una frase, la fonte attesa, il risultato dell'ultimo giro e la data. Non serve altro strumento, e cercare uno strumento dedicato è il motivo più frequente per cui il set non nasce mai.

Il contributo della modalità ombra

Il set di test verifica la base di conoscenza prima del rilascio. Ciò che non verifica è la varietà delle formulazioni reali: i clienti pongono la stessa domanda in cento modi, con refusi, mezze frasi e contesto di un ordine precedente. Per questo esiste la seconda misurazione, e avviene in esercizio.

In Comlayer si chiama modalità ombra. In questa impostazione l'agente non risponde da solo, ma deposita nella Inbox, per ogni domanda in arrivo, una bozza con le fonti. Il team invia la bozza senza modifiche, la modifica o la scarta, e la quota di bozze inviate senza modifiche mostra quanto bene l'agente se la cava con le formulazioni reali. Una bozza per cui l'agente avrebbe passato a una persona è contrassegnata come tale. L'agente risponde esclusivamente dalla conoscenza del workspace, cioè dagli articoli del Centro assistenza, dai documenti caricati e dalle pagine scansionate del tuo sito, cita la fonte di ogni risposta e passa al team quando la conoscenza non sostiene la risposta.

Le due misurazioni si completano, ma non si sostituiscono. La modalità ombra mostra se l'agente è pronto a parlare con persone vere. Il set di test mostra se la base di conoscenza, dopo l'ultima modifica, dice ancora ciò che deve dire. Chi ha solo l'una nota le regressioni solo nella pila di bozze, e chi ha solo l'altra non scopre mai come i clienti chiedono davvero.

Domande frequenti