Testfragen für den KI-Agenten, bevor Wissen live geht
Ein festes Set an Testfragen, das vor jeder Freigabe der Wissensbasis erneut läuft: welche Fragetypen hineingehören, was als bestanden gilt und wie das Set gepflegt wird.
Martin Semmele
Wichtige Erkenntnisse
- Eine Stichprobe live gegebener Antworten findet Fehler, nachdem Kundinnen und Kunden sie gesehen haben; ein Testset findet sie davor.
- Fünf Fragetypen gehören in jedes Set: Standardfall, Randfall, Frage ohne Antwort in der Wissensbasis, veraltete Information und Frage mit falscher Prämisse.
- Bestanden heißt: richtig UND mit der erwarteten Quelle belegt, oder eine ehrliche Übergabe an einen Menschen. Eine richtige Antwort mit falscher Quelle ist nicht bestanden.
- Das Set wächst aus echten Anfragen und aus jedem Fehler, der es bis zur Kundin geschafft hat; es schrumpft nie.
- Der Schattenbetrieb, in dem der Agent nur Entwürfe legt, ist die Messung im Betrieb, nicht der Ersatz für das Set.
Warum eine Stichprobe nicht reicht
Wer einen KI-Agenten im Support betreibt, prüft seine Antworten irgendwann. Der übliche Weg ist die Stichprobe: Jede Woche liest jemand einen Teil der Gespräche und bewertet, ob die Antwort stimmt. Wir haben dieses Verfahren in einem eigenen Beitrag zur Stichprobe beschrieben, und es bleibt richtig. Es hat nur eine Eigenschaft, die man kennen muss: Es findet Fehler, nachdem Kundinnen und Kunden sie gesehen haben.
Ein Testset dreht die Reihenfolge um. Es besteht aus Fragen, deren richtige Antwort bekannt ist, und wird gestellt, bevor eine Änderung an der Wissensbasis freigegeben wird. Das Prinzip stammt aus der Softwareentwicklung, wo Tests bei jeder Änderung laufen, und es gilt für Sprachmodelle genauso: Hamel Husain, der Evaluationsverfahren für KI-Produkte beschreibt, verlangt, dass solche Prüfungen schnell und billig laufen, damit sie bei jeder Änderung ausgeführt werden können1. Der Grund ist derselbe wie bei Software: Eine Änderung an einer Stelle hat Nebenwirkungen an anderen.
Bei einer Wissensbasis sind diese Nebenwirkungen besonders unauffällig. Ein neuer Hilfe-Artikel zur Kündigung kann dazu führen, dass der Agent bei einer Frage zur Rechnung plötzlich den Kündigungsartikel zitiert, weil dessen Wortlaut näher an der Frage liegt. Niemand hat den Rechnungsartikel angefasst, und trotzdem ist die Antwort auf die Rechnungsfrage eine andere geworden. Eine Stichprobe entdeckt das in der Woche danach. Ein Testset entdeckt es vor der Freigabe.
Woher die Fragen kommen
Das Set wird nicht erfunden, sondern gesammelt. Die beste Quelle sind echte Anfragen aus dem Posteingang, und zwar nicht die typischen, sondern die, an denen der Support schon einmal gescheitert ist: Fragen, die zweimal gestellt werden mussten, Fragen mit einer Antwort, die später korrigiert wurde, Fragen, die an einen Menschen gingen, obwohl die Antwort in der Wissensbasis stand. Jede davon ist ein Kandidat.
Die zweite Quelle sind die Übergaben des Agenten selbst. Wenn der Agent eine Frage an das Team gibt, weil die Wissensbasis nichts hergibt, ist das entweder richtig, weil es wirklich keine Antwort gibt, oder falsch, weil die Antwort da ist und nur nicht gefunden wurde. Beide Fälle gehören ins Set, mit unterschiedlicher Erwartung. Die Anleitung von Anthropic zum Aufbau von Testfällen rät ausdrücklich, Randfälle nicht zu vergessen: irrelevante oder nicht vorhandene Eingaben, überlange Eingaben, und im Chat auch schlechte oder unpassende Nutzereingaben2. Das trifft für Support-Fragen genau die Fälle, die in einer Stichprobe selten vorkommen und im Set deshalb überproportional vertreten sein sollten.
Die fünf Fragetypen.
Ein Set, das nur aus Standardfragen besteht, prüft nur, ob der Agent an einem guten Tag funktioniert. Fünf Typen decken ab, was im Betrieb wirklich passiert:
- Standardfall: eine häufige Frage, deren Antwort klar in einem Artikel steht. Erwartung: die Antwort aus diesem Artikel, mit diesem Artikel als Quelle.
- Randfall: eine Frage, deren Antwort aus zwei Artikeln zusammengesetzt werden muss oder in einem Nebensatz steht. Erwartung: die zusammengesetzte Antwort, mit beiden Quellen.
- Frage ohne Antwort in der Wissensbasis: eine Frage, zu der es bewusst keinen Artikel gibt. Erwartung: Übergabe an einen Menschen, keine erfundene Antwort.
- Veraltete Information: eine Frage zu etwas, das sich geändert hat, etwa ein Preis oder eine Frist. Erwartung: der aktuelle Stand, nicht der alte, auch wenn ein alter Artikel noch existiert.
- Frage mit falscher Prämisse: eine Frage, die etwas Falsches voraussetzt, etwa nach einer Funktion, die es nicht gibt. Erwartung: der Agent widerspricht der Prämisse, statt sie zu bestätigen.
Was als bestanden gilt
Die Bewertung muss vor dem ersten Durchlauf feststehen, sonst wird sie im Nachhinein an die Antworten angepasst. Drei Regeln reichen, und sie sind streng gemeint.
Erstens: Eine Antwort ist nur bestanden, wenn sie inhaltlich richtig ist UND die erwartete Quelle nennt. Eine richtige Antwort mit einer falschen oder fehlenden Quelle ist nicht bestanden. Der Grund ist praktisch: Eine Antwort ohne belastbare Quelle kann niemand im Team prüfen, und der Agent hat sie dann im Zweifel aus dem Wortlaut einer anderen Stelle zusammengesetzt. Beim nächsten Durchlauf kann dieselbe Frage anders ausgehen.
Zweitens: Eine ehrliche Übergabe an einen Menschen ist bei den Typen „ohne Antwort“ und „falsche Prämisse“ das erwartete Ergebnis und damit bestanden. Bei den anderen drei Typen ist sie nicht bestanden, denn dort stand die Antwort in der Wissensbasis. Eine Übergabe ist kein Freifahrtschein; sie ist nur dort richtig, wo das Wissen fehlt.
Drittens: Eine Antwort, die richtig ist, aber mehr behauptet als die Quelle hergibt, ist nicht bestanden. Das ist der Fall, der am häufigsten durchrutscht, weil die Antwort gut klingt. Ein Agent, der die Kündigungsfrist richtig nennt und dazu eine Kulanzregel erfindet, hat die Frage nicht bestanden.
| Fragetyp | Erwartetes Ergebnis | Bestanden, wenn | Nicht bestanden, wenn |
|---|---|---|---|
| Standardfall | Antwort aus Artikel A | Inhalt richtig, Quelle A genannt | Quelle fehlt oder ist ein anderer Artikel |
| Randfall | Antwort aus A und B | Beide Teile richtig, beide Quellen genannt | Nur ein Teil, oder ein Teil erfunden |
| Ohne Antwort | Übergabe an einen Menschen | Übergabe ohne erfundenen Inhalt | Irgendeine inhaltliche Antwort |
| Veraltete Information | Aktueller Stand | Neuer Wert, neue Quelle | Alter Wert, oder beide Werte nebeneinander |
| Falsche Prämisse | Widerspruch zur Prämisse | Prämisse benannt und korrigiert | Prämisse übernommen |
Wie groß das Set sein muss
Es gibt keine Zahl, die für jedes Team gilt, aber es gibt eine Faustregel, die sich aus der Struktur der Wissensbasis ergibt: mindestens eine Frage je Artikel, den der Agent häufig zitiert, plus je eine Frage der Typen drei bis fünf für jeden Themenbereich. Bei einem Hilfe-Center mit vierzig Artikeln in fünf Bereichen sind das etwa 55 Fragen. Das klingt nach viel, ist aber in einem Nachmittag gesammelt und in einer halben Stunde durchgespielt.
Anthropic empfiehlt für Evaluationen, Menge über Einzelqualität zu stellen: mehr Fragen mit einer etwas gröberen automatischen Bewertung sind besser als wenige, von Hand aufwendig bewertete2. Für ein Support-Team ohne eigene Testautomatisierung heißt das übersetzt: lieber 55 Fragen mit einer Ja-Nein-Bewertung nach den drei Regeln oben als 15 Fragen mit einer Skala von eins bis zehn. Die Skala erzeugt Diskussionen, das Ja-Nein erzeugt eine Arbeitsliste.
Wann das Set läuft.
Vor jeder Freigabe einer Änderung an der Wissensbasis, die mehr ist als ein Tippfehler. Neuer Artikel, gelöschter Artikel, geänderte Zahl, geänderte Struktur, neue Quelle im Crawl: jedes Mal. Das ist nur durchzuhalten, wenn der Durchlauf kurz ist, und er ist kurz, wenn die Fragen fertig in einer Tabelle stehen und nur noch gestellt werden müssen. Ein Set, das nur monatlich läuft, ist keine Regressionsprüfung, sondern eine Inventur.
Das Set pflegen
Ein Testset veraltet in dem Moment, in dem sich die Wissensbasis ändert, und das ist gewollt: Jede Änderung zieht eine Änderung am Set nach sich. Drei Regeln halten es brauchbar.
- Jeder Fehler, der es bis zur Kundin geschafft hat, wird zur Frage. Wenn die Stichprobe oder eine Beschwerde eine falsche Antwort findet, kommt die Frage mit der richtigen Erwartung ins Set. Sie bleibt dort dauerhaft, denn Fehler, die einmal aufgetreten sind, treten wieder auf.
- Eine geänderte Information ändert die Erwartung, nicht die Frage. Wenn ein Preis steigt, bleibt die Preisfrage im Set und bekommt eine neue erwartete Antwort. Die alte Antwort wird zur Erwartung für „nicht bestanden“ – genau der Fall, den der Typ „veraltete Information“ prüft.
- Das Set schrumpft nie. Eine Frage wird nur entfernt, wenn der Themenbereich, zu dem sie gehört, aus dem Produkt verschwindet. Eine Frage, die zehnmal in Folge bestanden wurde, ist kein Ballast, sondern der Nachweis, dass eine Stelle stabil ist.
Wer das Set in einer Tabelle führt, braucht sechs Spalten: die Frage, den Typ, die erwartete Antwort in einem Satz, die erwartete Quelle, das Ergebnis des letzten Durchlaufs und das Datum. Mehr Werkzeug ist nicht nötig, und ein eigenes Werkzeug dafür zu suchen, ist der häufigste Grund, warum das Set nie entsteht.
Was der Schattenbetrieb dazu beiträgt
Das Testset prüft die Wissensbasis vor der Freigabe. Was es nicht prüft, ist die Vielfalt echter Formulierungen: Kundinnen und Kunden stellen dieselbe Frage auf hundert Arten, mit Tippfehlern, halben Sätzen und Kontext aus einer vorherigen Bestellung. Dafür gibt es die zweite Messung, und die findet im Betrieb statt.
Bei Comlayer heißt sie Schattenbetrieb. In dieser Einstellung antwortet der Agent nicht selbst, sondern legt zu jeder eingehenden Frage einen Entwurf mit Quellen in den Posteingang. Das Team sendet den Entwurf unverändert, bearbeitet ihn oder verwirft ihn, und der Anteil der unverändert gesendeten Entwürfe zeigt, wie gut der Agent mit echten Formulierungen zurechtkommt. Ein Entwurf, bei dem der Agent übergeben hätte, ist als solcher markiert. Der Agent antwortet dabei ausschließlich aus dem Wissen des Workspace, also aus Hilfe-Artikeln, hochgeladenen Dokumenten und gecrawlten Seiten der eigenen Website, nennt zu jeder Antwort die Quelle und übergibt an das Team, wenn das Wissen die Antwort nicht hergibt.
Die beiden Messungen ergänzen sich, ersetzen sich aber nicht. Der Schattenbetrieb zeigt, ob der Agent bereit ist, mit echten Menschen zu sprechen. Das Testset zeigt, ob die Wissensbasis nach der letzten Änderung noch das sagt, was sie sagen soll. Wer nur das eine hat, merkt Regressionen erst im Entwurfsstapel, und wer nur das andere hat, merkt nie, wie Kundinnen wirklich fragen.
Häufig gestellte Fragen
Wie unterscheidet sich ein Testset von einer Stichprobe?
Die Stichprobe bewertet Antworten, die der Agent im Betrieb bereits gegeben hat, und findet Fehler im Nachhinein. Das Testset besteht aus Fragen mit bekannter richtiger Antwort und wird vor jeder Freigabe einer Änderung gestellt. Es findet Fehler, bevor Kundinnen und Kunden sie sehen.
Wie viele Testfragen braucht ein kleines Team?
Als Faustregel mindestens eine Frage je häufig zitiertem Artikel plus je eine Frage der Typen „ohne Antwort“, „veraltet“ und „falsche Prämisse“ je Themenbereich. Für ein Hilfe-Center mit vierzig Artikeln in fünf Bereichen sind das etwa 55 Fragen, die in einer halben Stunde durchgespielt sind.
Gilt eine richtige Antwort ohne Quelle als bestanden?
Nein. Eine Antwort ist nur bestanden, wenn sie richtig ist und die erwartete Quelle nennt. Ohne Quelle kann niemand im Team prüfen, woher die Antwort stammt, und beim nächsten Durchlauf kann dieselbe Frage anders ausgehen.
Wann ist eine Übergabe an einen Menschen das richtige Ergebnis?
Bei Fragen, zu denen die Wissensbasis bewusst keine Antwort enthält, und bei Fragen mit falscher Prämisse. Bei allen anderen Fragetypen stand die Antwort in der Wissensbasis, und eine Übergabe gilt dort als nicht bestanden.
Wie oft muss das Set laufen?
Vor jeder Freigabe einer Änderung an der Wissensbasis, die mehr ist als ein Tippfehler: neuer Artikel, gelöschter Artikel, geänderte Zahl, neue gecrawlte Seite. Ein Set, das nur monatlich läuft, ist eine Inventur, keine Regressionsprüfung.
Ersetzt der Schattenbetrieb das Testset?
Nein. Der Schattenbetrieb misst im laufenden Betrieb, wie gut der Agent mit echten Formulierungen zurechtkommt, über den Anteil der unverändert gesendeten Entwürfe. Das Testset prüft vor der Freigabe, ob die Wissensbasis nach einer Änderung noch das sagt, was sie sagen soll. Beide Messungen ergänzen sich.