Perguntas de teste para o agente de IA antes do lançamento

Conclusões principais

• Uma amostragem de respostas já em produção encontra os erros depois de os clientes os terem visto; um conjunto de testes encontra-os antes.
• Cinco tipos de pergunta pertencem a qualquer conjunto: caso padrão, caso limite, pergunta sem resposta na base de conhecimento, informação desatualizada e pergunta com premissa falsa.
• Aprovado significa: correto E com a fonte esperada como prova, ou uma transferência honesta para uma pessoa. Uma resposta correta com fonte errada não está aprovada.
• O conjunto cresce a partir de pedidos reais e de cada erro que chegou ao cliente; nunca encolhe.
• O modo sombra, em que o agente só cria rascunhos, é a medição em produção, não o substituto do conjunto.

Porque é que uma amostragem não chega

Quem opera um agente de IA no suporte acaba por verificar as respostas dele. O caminho habitual é a amostragem: todas as semanas alguém lê uma parte das conversas e avalia se a resposta está correta. Descrevemos este procedimento num artigo próprio sobre a amostragem, e ele continua correto. Tem apenas uma característica que é preciso conhecer: encontra os erros depois de os clientes os terem visto.

Um conjunto de testes inverte a ordem. É composto por perguntas cuja resposta correta é conhecida e é colocado antes de uma alteração à base de conhecimento ser publicada. O princípio vem da engenharia de software, onde os testes correm a cada alteração, e aplica-se igualmente aos modelos de linguagem: Hamel Husain, que descreve processos de avaliação para produtos de IA, exige que estas verificações corram de forma rápida e barata, para poderem ser executadas a cada alteração¹. A razão é a mesma do software: uma alteração num ponto tem efeitos colaterais noutros.

Numa base de conhecimento, estes efeitos colaterais são particularmente discretos. Um novo artigo de ajuda sobre a rescisão pode levar a que o agente, perante uma pergunta sobre a fatura, passe a citar de repente o artigo da rescisão, porque o texto dele está mais próximo da pergunta. Ninguém tocou no artigo das faturas e, ainda assim, a resposta à pergunta sobre a fatura tornou-se outra. Uma amostragem descobre-o na semana seguinte. Um conjunto de testes descobre-o antes da publicação.

De onde vêm as perguntas

O conjunto não se inventa, recolhe-se. A melhor fonte são os pedidos reais da caixa de entrada, e não os típicos, mas aqueles em que o suporte já falhou uma vez: perguntas que tiveram de ser feitas duas vezes, perguntas com uma resposta que foi corrigida mais tarde, perguntas que foram transferidas para uma pessoa embora a resposta estivesse na base de conhecimento. Cada uma delas é um candidato.

A segunda fonte são as próprias transferências do agente. Quando o agente entrega uma pergunta à equipa porque a base de conhecimento não dá resposta, ou está correto, porque realmente não há resposta, ou está errado, porque a resposta lá está e apenas não foi encontrada. Ambos os casos pertencem ao conjunto, com expectativas diferentes. O guia da Anthropic sobre a criação de casos de teste recomenda expressamente não esquecer os casos limite: entradas irrelevantes ou inexistentes, entradas demasiado longas e, no chat, também entradas más ou desadequadas dos utilizadores². Isto corresponde, nas perguntas de suporte, exatamente aos casos que raramente aparecem numa amostragem e que devem por isso estar sobrerrepresentados no conjunto.

Os cinco tipos de pergunta.

Um conjunto composto apenas por perguntas padrão testa apenas se o agente funciona num bom dia. Cinco tipos cobrem o que realmente acontece em produção:

• Caso padrão: uma pergunta frequente cuja resposta está claramente num artigo. Expectativa: a resposta desse artigo, com esse artigo como fonte.
• Caso limite: uma pergunta cuja resposta tem de ser composta a partir de dois artigos ou está numa frase secundária. Expectativa: a resposta composta, com as duas fontes.
• Pergunta sem resposta na base de conhecimento: uma pergunta sobre a qual deliberadamente não existe artigo. Expectativa: transferência para uma pessoa, nenhuma resposta inventada.
• Informação desatualizada: uma pergunta sobre algo que mudou, por exemplo um preço ou um prazo. Expectativa: o estado atual, não o antigo, mesmo que um artigo antigo ainda exista.
• Pergunta com premissa falsa: uma pergunta que parte de algo errado, por exemplo sobre uma função que não existe. Expectativa: o agente contradiz a premissa em vez de a confirmar.

O que conta como aprovado

A avaliação tem de estar definida antes da primeira execução, caso contrário é ajustada a posteriori às respostas. Três regras bastam, e são rigorosas a sério.

Primeira: uma resposta só está aprovada se estiver correta no conteúdo E indicar a fonte esperada. Uma resposta correta com uma fonte errada ou em falta não está aprovada. A razão é prática: uma resposta sem fonte sólida não pode ser verificada por ninguém na equipa, e o agente, na dúvida, compô-la-á a partir do texto de outro ponto. Na execução seguinte, a mesma pergunta pode correr de outra maneira.

Segunda: uma transferência honesta para uma pessoa é, nos tipos «sem resposta» e «premissa falsa», o resultado esperado e está por isso aprovada. Nos outros três tipos não está aprovada, porque aí a resposta estava na base de conhecimento. Uma transferência não é uma licença para passar; só está correta onde falta o conhecimento.

Terceira: uma resposta correta, mas que afirma mais do que a fonte dá, não está aprovada. É o caso que mais vezes escapa, porque a resposta soa bem. Um agente que indica corretamente o prazo de rescisão e inventa ainda uma regra de exceção não aprovou a pergunta.

Que tamanho deve ter o conjunto

Não há um número que sirva para todas as equipas, mas há uma regra prática que resulta da estrutura da base de conhecimento: pelo menos uma pergunta por artigo que o agente cita com frequência, mais uma pergunta dos tipos três a cinco por cada área temática. Num Centro de ajuda com quarenta artigos em cinco áreas, isso dá cerca de 55 perguntas. Parece muito, mas recolhe-se numa tarde e percorre-se em meia hora.

A Anthropic recomenda, para avaliações, dar prioridade à quantidade sobre a qualidade individual: mais perguntas com uma avaliação automática um pouco mais grosseira valem mais do que poucas, avaliadas à mão com esforço². Traduzido para uma equipa de suporte sem automatização de testes própria: antes 55 perguntas com uma avaliação de sim ou não segundo as três regras acima do que 15 perguntas com uma escala de um a dez. A escala gera discussões, o sim ou não gera uma lista de tarefas.

Quando é que o conjunto corre.

Antes de cada publicação de uma alteração à base de conhecimento que vá além de um erro de escrita. Artigo novo, artigo apagado, número alterado, estrutura alterada, nova fonte no rastreio: cada vez. Só é sustentável se a execução for curta, e ela é curta quando as perguntas estão prontas numa tabela e só têm de ser colocadas. Um conjunto que corre apenas mensalmente não é uma verificação de regressão, é um inventário.

Manter o conjunto

Um conjunto de testes fica desatualizado no momento em que a base de conhecimento muda, e é assim que deve ser: cada alteração arrasta consigo uma alteração ao conjunto. Três regras mantêm-no utilizável.

• Cada erro que chegou à cliente torna-se uma pergunta. Quando a amostragem ou uma reclamação encontra uma resposta errada, a pergunta entra no conjunto com a expectativa correta. Fica lá permanentemente, porque os erros que ocorreram uma vez voltam a ocorrer.
• Uma informação alterada muda a expectativa, não a pergunta. Se um preço sobe, a pergunta sobre o preço fica no conjunto e recebe uma nova resposta esperada. A resposta antiga passa a ser a expectativa para «não aprovado», exatamente o caso que o tipo «informação desatualizada» verifica.
• O conjunto nunca encolhe. Uma pergunta só é retirada quando a área temática a que pertence desaparece do produto. Uma pergunta aprovada dez vezes seguidas não é lastro, é a prova de que um ponto está estável.

Quem mantém o conjunto numa tabela precisa de seis colunas: a pergunta, o tipo, a resposta esperada numa frase, a fonte esperada, o resultado da última execução e a data. Não é preciso mais ferramenta, e procurar uma ferramenta própria para isso é a razão mais frequente para o conjunto nunca chegar a existir.

O que o modo sombra contribui

O conjunto de testes verifica a base de conhecimento antes da publicação. O que não verifica é a variedade das formulações reais: os clientes fazem a mesma pergunta de cem maneiras, com erros de escrita, meias frases e contexto de uma encomenda anterior. Para isso existe a segunda medição, e essa acontece em produção.

Na Comlayer chama-se modo sombra. Nesta definição, o agente não responde ele próprio, mas deposita na caixa de entrada, para cada pergunta que chega, um rascunho com fontes. A equipa envia o rascunho sem alterações, edita-o ou rejeita-o, e a percentagem de rascunhos enviados sem alterações mostra quão bem o agente lida com formulações reais. Um rascunho em que o agente teria transferido está marcado como tal. O agente responde exclusivamente a partir do conhecimento do espaço de trabalho, ou seja, dos artigos do Centro de ajuda, dos documentos carregados e das páginas rastreadas do teu próprio site, indica a fonte de cada resposta e transfere para a equipa quando o conhecimento não sustenta a resposta.

As duas medições complementam-se, mas não se substituem. O modo sombra mostra se o agente está pronto para falar com pessoas reais. O conjunto de testes mostra se a base de conhecimento, depois da última alteração, continua a dizer o que deve dizer. Quem só tem um repara nas regressões apenas na pilha de rascunhos, e quem só tem o outro nunca fica a saber como os clientes realmente perguntam.

Perguntas frequentes