Pytania testowe dla agenta AI, zanim wiedza trafi na żywo

Najważniejsze wnioski

• Kontrola losowa udzielonych na żywo odpowiedzi znajduje błędy dopiero po tym, jak zobaczyli je klienci; zestaw testowy znajduje je wcześniej.
• W każdym zestawie powinno być pięć typów pytań: przypadek standardowy, przypadek brzegowy, pytanie bez odpowiedzi w bazie wiedzy, nieaktualna informacja i pytanie z fałszywą przesłanką.
• Zaliczenie oznacza: odpowiedź poprawna ORAZ poparta oczekiwanym źródłem, albo uczciwe przekazanie człowiekowi. Poprawna odpowiedź z niewłaściwym źródłem nie jest zaliczona.
• Zestaw rośnie z prawdziwych zapytań i z każdego błędu, który dotarł do klienta; nigdy nie maleje.
• Tryb cienia, w którym agent tworzy tylko wersje robocze, to pomiar w pracy, a nie zamiennik zestawu.

Dlaczego próba losowa nie wystarczy

Kto prowadzi agenta AI we wsparciu klienta, ten prędzej czy później zaczyna sprawdzać jego odpowiedzi. Typową drogą jest próba losowa: co tydzień ktoś czyta część rozmów i ocenia, czy odpowiedź jest prawidłowa. Opisaliśmy tę metodę we własnym artykule o próbie losowej i pozostaje ona słuszna. Ma jednak jedną właściwość, o której trzeba wiedzieć: znajduje błędy dopiero po tym, jak zobaczyli je klienci.

Zestaw testowy odwraca tę kolejność. Składa się z pytań, których prawidłowa odpowiedź jest znana, i jest zadawany, zanim zmiana w bazie wiedzy zostanie opublikowana. Zasada pochodzi z wytwarzania oprogramowania, gdzie testy uruchamia się przy każdej zmianie, i dla modeli językowych obowiązuje dokładnie tak samo: Hamel Husain, który opisuje metody ewaluacji produktów AI, wymaga, aby takie sprawdzenia były szybkie i tanie, żeby można było je wykonywać przy każdej zmianie¹. Powód jest ten sam co w oprogramowaniu: zmiana w jednym miejscu ma skutki uboczne w innych.

W bazie wiedzy te skutki uboczne są szczególnie niepozorne. Nowy artykuł pomocy o wypowiedzeniu umowy może sprawić, że agent przy pytaniu o fakturę nagle zacytuje artykuł o wypowiedzeniu, bo jego brzmienie leży bliżej pytania. Nikt nie tknął artykułu o fakturze, a mimo to odpowiedź na pytanie o fakturę się zmieniła. Próba losowa wykryje to w tygodniu po fakcie. Zestaw testowy wykryje to przed publikacją.

Skąd pochodzą pytania

Zestawu się nie wymyśla, tylko zbiera. Najlepszym źródłem są prawdziwe zapytania ze skrzynki, i to nie te typowe, lecz te, przy których wsparcie już kiedyś zawiodło: pytania, które trzeba było zadać dwa razy, pytania z odpowiedzią, którą później trzeba było poprawić, pytania, które trafiły do człowieka, choć odpowiedź była w bazie wiedzy. Każde z nich jest kandydatem.

Drugim źródłem są przekazania samego agenta. Gdy agent przekazuje pytanie zespołowi, bo baza wiedzy niczego nie podsuwa, to albo jest to słuszne, bo odpowiedzi naprawdę nie ma, albo błędne, bo odpowiedź jest, tylko nie została odnaleziona. Oba przypadki należą do zestawu, z różnymi oczekiwaniami. Instrukcja Anthropic dotycząca budowania przypadków testowych wyraźnie zaleca, by nie zapominać o przypadkach brzegowych: nieistotnych lub nieistniejących danych wejściowych, zbyt długich danych wejściowych, a w czacie także złych lub nietrafnych wypowiedziach użytkowników². W pytaniach wsparcia dotyczy to dokładnie tych przypadków, które w próbie losowej zdarzają się rzadko i które w zestawie powinny być więc reprezentowane ponadproporcjonalnie.

Pięć typów pytań.

Zestaw składający się wyłącznie ze standardowych pytań sprawdza tylko, czy agent działa w dobrym dniu. Pięć typów pokrywa to, co naprawdę dzieje się w pracy:

• Przypadek standardowy: częste pytanie, na które odpowiedź wprost znajduje się w jednym artykule. Oczekiwanie: odpowiedź z tego artykułu, z tym artykułem jako źródłem.
• Przypadek brzegowy: pytanie, na które odpowiedź trzeba złożyć z dwóch artykułów albo które stoi w zdaniu pobocznym. Oczekiwanie: odpowiedź złożona, z oboma źródłami.
• Pytanie bez odpowiedzi w bazie wiedzy: pytanie, o które celowo nie ma artykułu. Oczekiwanie: przekazanie człowiekowi, żadnej zmyślonej odpowiedzi.
• Nieaktualna informacja: pytanie o coś, co się zmieniło, na przykład o cenę albo termin. Oczekiwanie: stan aktualny, a nie stary, nawet jeśli stary artykuł nadal istnieje.
• Pytanie z fałszywą przesłanką: pytanie zakładające coś nieprawdziwego, na przykład o funkcję, która nie istnieje. Oczekiwanie: agent zaprzecza przesłance, zamiast ją potwierdzać.

Co uznaje się za zaliczone

Ocena musi być ustalona przed pierwszym przebiegiem, inaczej zostanie dopasowana do odpowiedzi po fakcie. Wystarczą trzy reguły, i to reguły surowe.

Po pierwsze: odpowiedź jest zaliczona tylko wtedy, gdy jest merytorycznie poprawna ORAZ podaje oczekiwane źródło. Poprawna odpowiedź z niewłaściwym lub brakującym źródłem nie jest zaliczona. Powód jest praktyczny: odpowiedzi bez wiarygodnego źródła nie może w zespole nikt sprawdzić, a agent złożył ją w razie wątpliwości z brzmienia innego miejsca. Przy kolejnym przebiegu to samo pytanie może wypaść inaczej.

Po drugie: uczciwe przekazanie człowiekowi jest przy typach „bez odpowiedzi” i „fałszywa przesłanka” oczekiwanym wynikiem, a więc zaliczeniem. Przy pozostałych trzech typach nie jest zaliczone, bo tam odpowiedź była w bazie wiedzy. Przekazanie nie jest przepustką; jest słuszne tylko tam, gdzie wiedzy brakuje.

Po trzecie: odpowiedź poprawna, ale twierdząca więcej, niż wynika ze źródła, nie jest zaliczona. To przypadek, który najczęściej się przemyka, bo odpowiedź dobrze brzmi. Agent, który prawidłowo podaje termin wypowiedzenia i dorabia do niego zasadę kulancji, nie zaliczył pytania.

Jak duży musi być zestaw

Nie ma liczby, która pasowałaby do każdego zespołu, ale jest zasada kciuka wynikająca z samej struktury bazy wiedzy: co najmniej jedno pytanie na każdy artykuł, który agent często cytuje, plus po jednym pytaniu typów od trzeciego do piątego na każdy obszar tematyczny. W Centrum pomocy z czterdziestoma artykułami w pięciu obszarach daje to około 55 pytań. Brzmi to dużo, ale zbiera się je w jedno popołudnie i przechodzi w pół godziny.

Anthropic zaleca w ewaluacjach stawiać liczbę ponad jakość pojedynczych przypadków: więcej pytań z nieco grubszą automatyczną oceną jest lepsze niż kilka pytań ocenianych pracochłonnie ręcznie². Dla zespołu wsparcia bez własnej automatyzacji testów przekłada się to tak: lepiej 55 pytań z oceną tak-nie według trzech reguł powyżej niż 15 pytań ze skalą od jednego do dziesięciu. Skala rodzi dyskusje, tak-nie rodzi listę zadań.

Kiedy zestaw jest uruchamiany.

Przed każdą publikacją zmiany w bazie wiedzy, która jest czymś więcej niż literówką. Nowy artykuł, usunięty artykuł, zmieniona liczba, zmieniona struktura, nowe źródło w crawlu: za każdym razem. Da się to utrzymać tylko wtedy, gdy przebieg jest krótki, a jest krótki, gdy pytania stoją gotowe w tabeli i trzeba je tylko zadać. Zestaw uruchamiany wyłącznie co miesiąc to nie test regresji, tylko inwentaryzacja.

Pielęgnacja zestawu

Zestaw testowy starzeje się w chwili, gdy zmienia się baza wiedzy, i tak ma być: każda zmiana pociąga za sobą zmianę w zestawie. Trzy reguły utrzymują go w użyteczności.

• Każdy błąd, który dotarł do klientki, staje się pytaniem. Gdy próba losowa albo reklamacja znajdzie błędną odpowiedź, pytanie trafia do zestawu z prawidłowym oczekiwaniem. Zostaje tam na stałe, bo błędy, które raz wystąpiły, występują ponownie.
• Zmieniona informacja zmienia oczekiwanie, nie pytanie. Gdy rośnie cena, pytanie o cenę zostaje w zestawie i dostaje nową oczekiwaną odpowiedź. Stara odpowiedź staje się oczekiwaniem dla „niezaliczone”, czyli dokładnie tym przypadkiem, który sprawdza typ „nieaktualna informacja”.
• Zestaw nigdy nie maleje. Pytanie usuwa się tylko wtedy, gdy obszar tematyczny, do którego należy, znika z produktu. Pytanie zaliczone dziesięć razy z rzędu to nie balast, lecz dowód, że jedno miejsce jest stabilne.

Kto prowadzi zestaw w tabeli, potrzebuje sześciu kolumn: pytanie, typ, oczekiwana odpowiedź w jednym zdaniu, oczekiwane źródło, wynik ostatniego przebiegu i data. Więcej narzędzi nie trzeba, a szukanie osobnego narzędzia to najczęstszy powód, dla którego zestaw nigdy nie powstaje.

Co wnosi tryb cienia

Zestaw testowy sprawdza bazę wiedzy przed publikacją. Czego nie sprawdza, to różnorodność prawdziwych sformułowań: klienci zadają to samo pytanie na sto sposobów, z literówkami, półzdaniami i kontekstem z wcześniejszego zamówienia. Do tego służy drugi pomiar, a ten odbywa się w bieżącej pracy.

W Comlayer nazywa się to trybem cienia. W tym ustawieniu agent nie odpowiada sam, lecz do każdego nadchodzącego pytania odkłada w skrzynce wersję roboczą ze źródłami. Zespół wysyła wersję roboczą bez zmian, edytuje ją albo odrzuca, a udział wersji roboczych wysłanych bez zmian pokazuje, jak dobrze agent radzi sobie z prawdziwymi sformułowaniami. Wersja robocza, przy której agent by przekazał, jest tak oznaczona. Agent odpowiada przy tym wyłącznie z wiedzy obszaru roboczego, czyli z artykułów Centrum pomocy, przesłanych dokumentów i zeskanowanych stron własnej witryny, podaje źródło każdej odpowiedzi i przekazuje zespołowi, gdy wiedza nie daje odpowiedzi.

Oba pomiary się uzupełniają, ale się nie zastępują. Tryb cienia pokazuje, czy agent jest gotowy rozmawiać z prawdziwymi ludźmi. Zestaw testowy pokazuje, czy baza wiedzy po ostatniej zmianie nadal mówi to, co ma mówić. Kto ma tylko jedno, zauważa regresje dopiero w stosie wersji roboczych, a kto ma tylko drugie, nigdy nie dowiaduje się, jak klienci naprawdę pytają.

Najczęściej zadawane pytania