Zapobieganie halucynacjom we wsparciu: co pomaga technicznie

Najważniejsze wnioski

• Nieuregulowane modele językowe halucynują nawet w 27 procentach przypadków.
• Warstwa groundingu obniża wskaźnik błędów we wsparciu poniżej 5 procent.
• AI może odpowiadać wyłącznie na podstawie zweryfikowanych źródeł wewnętrznych (RAG).
• Przy braku wiedzy system musi natychmiast przekazać sprawę człowiekowi.

Halucynacje jako problem strukturalny

Duże modele językowe obliczają prawdopodobieństwa ciągów słów. Nie sięgają do wewnętrznej bazy zweryfikowanych faktów, lecz na podstawie danych treningowych wybierają statystycznie najbardziej prawdopodobny kolejny token. Dla obsługi klienta ta matematyczna zasada jest problemem. Modele językowe są zoptymalizowane pod kątem formułowania retorycznie przekonujących odpowiedzi, niezależnie od tego, czy treść zgadza się z faktami.

W badaniach rozróżnia się dwie podstawowe formy błędów: halucynacje wewnętrzne i zewnętrzne¹. Halucynacje wewnętrzne wprost przeczą informacjom podanym w kontekście. Halucynacje zewnętrzne wymyślają nowe szczegóły, które w tekście źródłowym w ogóle nie występują, na przykład zmyślone terminy zwrotu albo nieistniejące funkcje produktu. Bez technicznych zabezpieczeń nieuregulowane modele językowe halucynują od 15 % do 30 % przypadków². Same prompty systemowe nie rozwiązują tego problemu, ponieważ nie wyłączają podstawowej zasady stochastycznej modelu.

Architektura RAG dla lokalnego powiązania z wiedzą

Aby drastycznie obniżyć wskaźnik błędów we wsparciu, model językowy trzeba odciąć od jego publicznych danych treningowych. Rozwiązaniem technicznym jest retrieval-augmented generation (RAG). W tym podejściu ogólny model językowy zostaje rozszerzony o zewnętrzny, kontrolowany magazyn wiedzy. Zamiast generować swobodnie, model otrzymuje przy każdym zapytaniu dokładnie te fragmenty dokumentów, które są istotne dla odpowiedzi.

Precyzja architektury RAG zależy w całości od jakości przygotowania danych i mechanizmu wyszukiwania. W procesie ingestii dokumenty są dzielone na fragmenty (chunki) i zapisywane jako wektory w bazie danych przystosowanej do wyszukiwania po podobieństwie. IBM wskazuje nieoptymalny chunking jako jedną z głównych słabości klasycznych pipeline'ów RAG: jeśli cięcie następuje w stałych punktach, w środku tabeli, retrieval zwraca tylko połowę tabeli i dokładność odpowiedzi przepada³. Zadbana baza wiedzy z czysto pociętymi, domkniętymi semantycznie fragmentami jest więc warunkiem tego, by pipeline RAG w ogóle mógł obniżyć wskaźnik halucynacji wobec modeli nieuregulowanych.

1. 01Ingestia dokumentów: automatyczne czyszczenie i strukturyzowanie wewnętrznych artykułów pomocy oraz wytycznych.
2. 02Smart chunking: podział tekstów na domknięte semantycznie jednostki informacji wzdłuż nagłówków.
3. 03Wektoryzacja i retrieval: matematyczne dopasowanie zgłoszenia klienta do zapisanych fragmentów przez podobieństwo cosinusowe.
4. 04Rozszerzenie kontekstu: przekazanie istotnych fragmentów do promptera jako jedynej podstawy faktograficznej.

Grounding i obowiązkowe cytowania

Sama architektura RAG nie wystarcza w obszarach krytycznych dla bezpieczeństwa. Nawet gdy z bazy danych zostaną pobrane właściwe dokumenty, model językowy może pomylić się przy streszczaniu. Dlatego potrzebna jest kolejna warstwa kontroli: warstwa groundingu. Badania porównawcze nad klasyfikacją groundedness pokazują, że wygenerowane odpowiedzi można automatycznie przypisać do kategorii według tego, czy pokrywa je materiał źródłowy, oraz że ten krok może działać po generowaniu przy akceptowalnym opóźnieniu.

W warstwie groundingu wersja robocza odpowiedzi zostaje rozłożona na pojedyncze twierdzenia. Każde twierdzenie jest analizowane metodą natural language inference (NLI) pod kątem tego, czy da się je wyprowadzić bezpośrednio z dokumentu źródłowego: dokument źródłowy służy jako przesłanka, wygenerowane twierdzenie cząstkowe jako hipoteza, a kontrola rozstrzyga, czy twierdzenie ma pokrycie w źródle⁴. Dodatkowo model ma obowiązek podać dla każdego głównego twierdzenia konkretne wskazanie źródła w Centrum pomocy. To połączenie automatycznej weryfikacji i przymusu cytowania obniża rzeczywisty wskaźnik błędów w bieżącej pracy poniżej 5 %².

• Analiza podziału na zdania: rozłożenie odpowiedzi AI na atomowe pojedyncze fakty.
• Dopasowanie NLI: logiczna kontrola każdego twierdzenia cząstkowego wobec pobranego fragmentu kontekstu.
• Automatyczna blokada: odrzucenie wersji roboczej odpowiedzi przy sprzecznościach logicznych lub twierdzeniach bez pokrycia.
• Wstawienie cytatu: link do dokładnego źródła wiedzy bezpośrednio na końcu odpowiedzi.

Progi pewności i tryb cienia

Nie każde zgłoszenie klienta da się jednoznacznie obsłużyć na podstawie istniejących dokumentów. Aby uniknąć błędnych informacji, trzeba zdefiniować progi techniczne (confidence thresholds). System oblicza wartość pewności dla każdego kroku pobrania i odpowiedzi. Jeśli ta wartość spadnie poniżej ustalonej granicy, automatyczna odpowiedź zostaje zatrzymana, a sprawa trafia do człowieka. W systemach produkcyjnych typowe progi mieszczą się między 80 a 95 procent, zależnie od ryzyka danego zastosowania⁵.

Przed uruchomieniem produkcyjnym warto ustawić tryb cienia (shadow mode). Agent AI działa wtedy po cichu obok procesów prowadzonych przez ludzi, na prawdziwych przychodzących sprawach: rozpoznaje intencję, pobiera wiedzę, proponuje rozwiązanie i przygotowuje odpowiedź dla klienta wraz z uzasadnieniem, ale nie aktualizuje żadnego rekordu sprawy, nie wysyła żadnej komunikacji do klienta i nie zmienia żadnego statusu⁶. Osoby decydujące o technice mogą w ten sposób przez kilka tygodni mierzyć, jak zachowuje się skuteczność w realnych warunkach, i kalibrować progi bez ryzyka dla zadowolenia klientów.

Czysty fallback: odmówić zamiast zgadywać

Najważniejsza zasada bezpieczeństwa dla AI we wsparciu brzmi: odmowa zawsze wychodzi taniej niż zgadywanie. Wymyślona odpowiedź prowadzi do błędnych oczekiwań klientów, niepotrzebnych zwrotów, a w najgorszym razie do prawnego ryzyka odpowiedzialności. Jeśli indeks kontekstu nie dostarcza wystarczająco istotnych danych, system musi odmówić odpowiedzi i dać jasną informację zwrotną.

W tym miejscu wchodzi mechanizm fallbacku. Agent AI płynnie oddaje rozmowę wsparciu prowadzonemu przez ludzi i przekazuje przy tym co najmniej uporządkowany pakiet: pełny przebieg rozmowy ze znacznikami czasu, zebrane dane klienta, profil CRM z wcześniejszymi kontaktami, konkretny powód eskalacji oraz już podjęte kroki⁵. Dzięki temu klienci nie muszą tłumaczyć swojej sprawy od nowa. Kto strategicznie planuje, które procesy da się zautomatyzować w obsłudze klienta, a gdzie potrzebna pozostaje wiedza ludzi, buduje niezawodne procesy.

• Przejrzysta odmowa: jasna wiadomość do użytkownika, że informacja obecnie nie jest dostępna.
• Przekazanie wierne kontekstowi: przesłanie całego czatu wraz z historią do skrzynki.
• Bez pętli bez końca: natychmiastowa eskalacja do prawdziwych osób kontaktowych, bez powtarzania standardowych pytań.
• Panel agenta: wyróżnienie brakującej luki w wiedzy dla zespołu wsparcia.

Bieżąca ocena w produkcji

Zabezpieczenie przed halucynacjami nie kończy się wraz ze startem systemu. W bieżącej pracy dokładność AI trzeba stale nadzorować. Nadają się do tego metryki ilościowe: wskaźnik odmów (refusal rate), wskaźnik eskalacji do wsparcia prowadzonego przez ludzi oraz wskaźnik błędów twierdzeń bez pokrycia (unsupported claim rate). Jako punkt odniesienia dla przekazania do ludzi w praktyce przyjmuje się wskaźniki handoff od 10 do 20 procent przy deflection rate od 40 do 70 procent, przy czym wysoki wskaźnik automatyzacji jest coś wart tylko wtedy, gdy zadowolenie klientów pozostaje stabilne⁵.

Równie ważny jest systematyczny system informacji zwrotnej. Każda odmówiona odpowiedź i każda negatywna opinia klienta jest sygnałem, że w magazynie wiedzy brakuje informacji albo są one nieaktualne. Jeśli zespoły wsparcia celowo analizują pytania klientów pozostawione bez odpowiedzi i co tydzień uzupełniają bazę wiedzy, mogą zmniejszyć liczbę zgłoszeń i stale podnosić wskaźnik automatyzacji.

1. 01Wyrywkowa kontrola jakości: ręczne sprawdzenie 5 % zautomatyzowanych odpowiedzi przez osoby kierujące wsparciem.
2. 02Analiza sygnałów fallbacku: rejestrowanie wszystkich zgłoszeń, przy których AI przerwała z braku pewności.
3. 03Identyfikacja luk: kategoryzowanie pytań bez odpowiedzi w celu ukierunkowanego rozszerzenia dokumentacji.
4. 04Iteracyjna optymalizacja modelu: poprawianie fragmentów i usuwanie nieaktualnych artykułów pomocy.

Przykład z praktyki: warstwa AI ściśle powiązana z wiedzą

Kto szuka niezawodnej automatyzacji bez nakładu na własny dział rozwoju, może opisane mechanizmy ochronne kupić jako gotową platformę. Decydują tu trzy sprawdzalne właściwości: agent AI odpowiada wyłącznie na podstawie zapisanych danych firmy, przy każdej odpowiedzi podaje dokładne źródło i odmawia odpowiedzi, gdy brakuje wystarczających informacji. W takim przypadku rozmowa trafia bezpośrednio do wspólnej skrzynki.

Infrastruktura i przechowywanie danych są przygotowane pod europejskie standardy bezpieczeństwa. Wszystkie treści pozostają w UE, przetwarzanie odbywa się ściśle zgodnie z RODO i bez trenowania publicznych modeli AI na twoich danych klientów AI zgodna z RODO. Model cenowy jest zbudowany przejrzyście: obok bezpłatnego planu Free do wypróbowania ComLayer Pro oferuje od 49 € miesięcznie, z 500 odpowiedziami AI w cenie, pełny zakres funkcji dla profesjonalnych zespołów wsparcia.

• Ścisła izolacja wiedzy: odpowiedzi powstają wyłącznie z twojej zweryfikowanej bazy wiedzy.
• Automatyczne wskazanie źródła: bezpośredni link do właściwej strony pomocy pod każdą odpowiedzią.
• Bezpieczny fallback: płynne przekazanie do zespołu ludzi w razie niepewności.
• Hosting w UE i RODO: przechowywanie i przetwarzanie przez AI w europejskich centrach danych, bez przekazywania danych.

Częste pytania