Evitar alucinações no suporte: o que ajuda tecnicamente

Conclusões principais

• Os modelos de linguagem sem regulação alucinam em até 27 por cento dos casos.
• Uma camada de grounding faz descer a taxa de erro no suporte para menos de 5 por cento.
• A IA só pode responder a partir de fontes internas verificadas (RAG).
• Se faltar conhecimento, o sistema tem de transferir de imediato para uma pessoa.

As alucinações como problema estrutural

Os grandes modelos de linguagem calculam probabilidades de sequências de palavras. Não acedem a uma base de dados interna de factos verificados; escolhem, com base nos dados de treino, o token seguinte estatisticamente mais provável. Para o apoio ao cliente, este princípio matemático é um problema. Os modelos de linguagem estão otimizados para formular respostas retoricamente convincentes, independentemente de o conteúdo estar factualmente correto.

Na investigação distinguem-se duas formas principais de erro: as alucinações intrínsecas e as extrínsecas¹. As alucinações intrínsecas contradizem diretamente as informações fornecidas no contexto. As alucinações extrínsecas inventam pormenores novos que nem sequer aparecem no texto de partida, como prazos de devolução inventados ou funcionalidades de produto inexistentes. Sem medidas técnicas de proteção, os modelos de linguagem sem regulação alucinam entre 15 % e 30 % dos casos². Os prompts de sistema, por si só, não resolvem este problema, porque não desativam o princípio estocástico de base do modelo.

Arquitetura RAG para a ligação local ao conhecimento

Para reduzir drasticamente a taxa de erro no suporte, o modelo de linguagem tem de ser separado dos seus dados de treino públicos. A solução técnica para isso é a geração aumentada por recuperação (RAG). Neste procedimento, o modelo de linguagem geral é alargado com um repositório de conhecimento externo e controlado. Em vez de gerar livremente, o modelo recebe em cada pedido exatamente as secções de documento relevantes para a resposta.

A precisão de uma arquitetura RAG depende por inteiro da qualidade da preparação dos dados e do mecanismo de pesquisa. No processo de ingestão, os documentos são divididos em secções (chunks) e guardados como vetores numa base de dados concebida para a pesquisa por semelhança. A IBM aponta o chunking mal afinado como uma das fragilidades centrais das pipelines RAG clássicas: se o corte for feito em pontos fixos, a meio de uma tabela, a recuperação devolve apenas meia tabela e a exatidão da resposta perde-se³. Uma base de conhecimento bem tratada, com chunks cortados de forma limpa e fechados semanticamente, é assim a condição para que uma pipeline RAG consiga sequer baixar a taxa de alucinação face aos modelos sem regulação.

1. 01Ingestão de documentos: limpeza e estruturação automáticas dos artigos de ajuda e das regras internas.
2. 02Smart chunking: divisão dos textos em unidades de informação fechadas semanticamente, ao longo dos títulos.
3. 03Vetorização e recuperação: comparação matemática do pedido do cliente com os chunks guardados através da semelhança do cosseno.
4. 04Aumento do contexto: entrega dos chunks relevantes ao prompter como única base factual.

Grounding e citações obrigatórias

Uma arquitetura RAG só por si não chega em áreas críticas para a segurança. Mesmo que sejam recuperados da base de dados os documentos certos, o modelo de linguagem pode errar ao resumir. Por isso é necessária uma camada de verificação a jusante: a camada de grounding. Os estudos comparativos sobre a classificação de groundedness mostram que as respostas geradas podem ser classificadas de forma automatizada consoante estejam ou não cobertas pelo material de origem, e que este passo pode correr depois da geração com uma latência aceitável.

Na camada de grounding, o rascunho de resposta é decomposto em afirmações isoladas. Cada afirmação é analisada através de natural language inference (NLI) quanto a saber se pode ser derivada diretamente do documento de origem: o documento de origem serve de premissa, a afirmação parcial gerada de hipótese, e a verificação decide se a afirmação está coberta pela fonte⁴. Além disso, o modelo fica obrigado a fornecer, para cada afirmação principal, uma indicação da fonte concreta no Centro de ajuda. Esta combinação de verificação automática e obrigação de citar baixa a taxa de erro real em funcionamento para menos de 5 %².

• Análise por separação de frases: decomposição da resposta da IA em factos isolados atómicos.
• Comparação NLI: verificação lógica de cada afirmação parcial face ao chunk de contexto recuperado.
• Bloqueio automático: rejeição do rascunho de resposta em caso de contradições lógicas ou afirmações sem suporte.
• Injeção da citação: ligação à fonte de conhecimento exata diretamente no fim da resposta.

Limiares de confiança e modo sombra

Nem todos os pedidos dos clientes podem ser respondidos de forma inequívoca a partir dos documentos existentes. Para evitar informação errada, têm de ser definidos limiares técnicos (confidence thresholds). O sistema calcula um valor de confiança para cada passo de recuperação e de resposta. Se esse valor ficar abaixo do limite fixado, a resposta automática é travada e o caso é transferido para uma pessoa. Nos sistemas em produção, os limiares habituais situam-se entre 80 e 95 por cento, consoante o risco do caso de uso⁵.

Antes do arranque, é aconselhável montar um modo sombra (shadow mode). O agente de IA corre em silêncio ao lado dos processos humanos, em casos reais que vão entrando: reconhece a intenção, recupera conhecimento, recomenda uma solução e redige a resposta ao cliente com a respetiva justificação, mas não atualiza nenhum registo do caso, não envia nenhuma comunicação ao cliente e não altera nenhum estado⁶. Quem decide no plano técnico pode assim medir ao longo de várias semanas como se comporta a taxa de acerto em condições reais e calibrar os limiares sem risco para a satisfação dos clientes.

O fallback limpo: recusar em vez de adivinhar

A regra de segurança mais importante para a IA no suporte é esta: recusar fica sempre mais barato do que adivinhar. Uma resposta inventada leva a expectativas erradas dos clientes, a devoluções desnecessárias ou, no pior dos casos, a riscos jurídicos de responsabilidade. Quando o índice de contexto não fornece dados suficientemente relevantes, o sistema tem de recusar a resposta e dar uma indicação clara.

É aqui que entra o mecanismo de fallback. O agente de IA passa a conversa ao suporte humano sem quebras e entrega pelo menos um pacote estruturado com o historial completo da conversa com marcas temporais, os dados do cliente recolhidos, o perfil de CRM com contactos anteriores, o motivo concreto da escalada e os passos já tentados⁵. Assim, os clientes não têm de explicar de novo o seu assunto. Quem planeia de forma estratégica que processos se podem automatizar no apoio ao cliente e onde continua a ser precisa a competência humana constrói processos fiáveis.

• Recusa transparente: mensagem clara ao utilizador de que a informação não está disponível de momento.
• Transferência fiel ao contexto: encaminhamento de todo o chat, historial incluído, para a caixa de entrada.
• Sem ciclos sem fim: escalada imediata para pessoas de contacto reais, sem repetir perguntas correntes.
• Painel do agente: destaque da lacuna de conhecimento para a equipa de suporte.

Avaliação contínua em produção

A proteção contra alucinações não termina com o arranque do sistema. Em funcionamento, a exatidão da IA tem de ser vigiada de forma contínua. Prestam-se a isso métricas quantitativas: a taxa de recusas (refusal rate), a taxa de escalada para o suporte humano e a taxa de erro de afirmações sem suporte (unsupported claim rate). Como orientação para a transferência para pessoas, na prática valem taxas de handoff de 10 a 20 por cento com uma deflection rate de 40 a 70 por cento, sendo que uma taxa de automatização elevada só vale alguma coisa se a satisfação dos clientes se mantiver estável⁵.

Igualmente importante é um sistema de feedback sistemático. Cada resposta recusada e cada avaliação negativa de um cliente serve de sinal de que falta informação no repositório de conhecimento ou de que está desatualizada. Se as equipas de suporte avaliarem de forma dirigida as perguntas de clientes sem resposta e completarem a base de conhecimento todas as semanas, conseguem reduzir o volume de tickets e aumentar continuamente a taxa de automatização.

1. 01Controlo de qualidade por amostragem: verificação manual de 5 % das respostas automatizadas pelos responsáveis de suporte.
2. 02Avaliação de sinais de fallback: registo de todos os pedidos em que a IA parou por falta de confiança.
3. 03Identificação de lacunas: categorização das perguntas sem resposta para alargar a documentação de forma dirigida.
4. 04Otimização iterativa do modelo: revisão dos chunks e remoção de artigos de ajuda desatualizados.

Exemplo prático: uma camada de IA estritamente ligada ao conhecimento

Quem procura uma automatização fiável sem o esforço de um departamento de desenvolvimento próprio pode também comprar os mecanismos de proteção descritos como plataforma pronta. Aqui são decisivas três propriedades verificáveis: o agente de IA responde exclusivamente com base nos dados da empresa guardados, indica em cada resposta a fonte exata e recusa a resposta quando não há informação suficiente. Nesse caso, a conversa vai diretamente para a caixa de entrada partilhada.

A infraestrutura e a conservação dos dados estão pensadas para os padrões de segurança europeus. Todos os conteúdos permanecem na UE, o tratamento é feito estritamente de acordo com o RGPD e sem treino de modelos públicos de IA com os teus dados de clientes IA em conformidade com o RGPD. O modelo de preços é transparente: além de um plano Free gratuito para experimentar, ComLayer Pro oferece a partir de 49 € por mês, com 500 respostas de IA incluídas, todas as funcionalidades para equipas de suporte profissionais.

• Isolamento estrito do conhecimento: as respostas saem exclusivamente da tua base de conhecimento verificada.
• Indicação automática da fonte: ligação direta à página de ajuda correspondente sob cada resposta.
• Fallback seguro: transferência sem quebras para a equipa humana em caso de incerteza.
• Alojamento na UE e RGPD: armazenamento e tratamento por IA em centros de dados europeus, sem transmissão de dados.

Perguntas frequentes