Woran Sie merken, dass der Agent nicht entgleist: Testreihe und Audit-Export

Das kurze Urteil

Sie laden eine neue Preisliste hoch. Ab diesem Moment antwortet der Agent anders - und Sie wissen nicht, bei welchen Fragen, bis sich jemand beschwert. Das ist die unangenehmste Eigenschaft von Sprachmodellen: Sie verändern sich leise.

Deshalb kann Leeeds die Fragen speichern, die Sie am häufigsten bekommen, und sie nach jeder Materialänderung erneut abspielen. Das Ergebnis sagt nicht nur bestanden oder nicht - es sagt vor allem: Diese drei Antworten haben sich seit dem letzten Mal verschoben.

Dazu kommt der Audit-Export: eine Zeile pro gesendeter Antwort, mit dem, worauf sie antwortete, aus welchen Quellen, ob ein Mensch sie vor dem Senden umgeschrieben hat und wer sie freigegeben hat.

Warum Antworten lesen nicht reicht

Alle Antworten zu lesen funktioniert eine Woche lang. Bei zwanzig Konversationen am Tag macht das niemand, die Kontrolle schaltet sich leise ab - und genau dann ändert sich die Preisliste.

Texte zu vergleichen reicht ebenfalls nicht. Das Modell formuliert einen Satz bei jedem Lauf neu, ein Zeichen-für-Zeichen-Vergleich würde also jedes Mal eine Änderung melden. Diesen Bericht öffnet nach der zweiten Woche niemand mehr.

Verglichen wird deshalb die Substanz: die Zahlen in der Antwort und die Quellen, auf die sie sich stützt. „Der Preis beträgt 1.490 EUR“ und „Unser Preis liegt bei 1.490 EUR“ ist dasselbe. 1.990 - oder derselbe Preis plötzlich aus einem anderen Dokument - ist eine Änderung.

Wie ein Lauf aussieht

Material geändert → die Reihe stellt sich selbst in die Warteschlange → die Fragen laufen auf dem Trockenweg → Vergleich mit dem vorigen Lauf.

Ein Szenario ist Frage plus Erwartung

Sie speichern eine Frage, die Sie tatsächlich bekommen, und optional, was Sie zurück erwarten: dass eine bestimmte Quelle zitiert wird und ein bestimmter Text vorkommt. Ein Szenario wird gegen genau einen Agenten geprüft, denn der entscheidet, woraus er schöpfen darf.

Sie startet nach einer Änderung von selbst

Nach dem Hochladen von Material oder dem Bearbeiten eines Fakts stellt sich die Reihe selbst an, mit fünf Minuten Nachlauf und einer Pause zwischen Läufen - damit die Änderung von zehn Preisen einen Lauf bedeutet, nicht zehn. Von Hand startbar ist sie jederzeit.

Dabei wird nichts versendet

Jedes Szenario läuft auf demselben Trockenweg wie der Test im Agenten-Dialog. Keine E-Mail geht raus, kein Termin wird gehalten, kein Credit verbraucht. Ein Lauf ist auch mitten im Echtbetrieb sicher.

Das Ergebnis sagt, was sich bewegt hat

Neben der Zahl der bestandenen Szenarien steht die Zahl, auf die es ankommt: wie viele Antworten sich seit dem letzten Lauf geändert haben. Bei jedem Fehlschlag sehen Sie warum - fehlender Text, falsche Quelle, Risikomarkierung.

Der Export findet die einzelne Antwort

Den Audit-Export laden Sie als Tabelle für einen gewählten Zeitraum: was rausging, worauf es antwortete, aus welchen Teilen welcher Quellen, ob ein Mensch es vor dem Senden umgeschrieben hat, wer es freigab und mit welchen Risiken.

Wofür das gut ist

Vor einer Preisänderung. Reihe laufen lassen, Preisliste ändern, erneut laufen lassen. Der Unterschied ist eine Liste der Antworten, die sich bewegt haben - fünf Minuten Lesen statt zweihundert Konversationen.

Beim Start eines neuen Agenten. Zwanzig Fragen, die Sie am häufigsten bekommen, sind der billigste Weg herauszufinden, ob die Basis fertig ist, ohne das an Kunden zu testen.

Für größere und regulierte Kunden. Der Audit-Export beantwortet die Frage „Wie sind Sie zu dieser Antwort gekommen?“, die eine Rechtsabteilung früher oder später stellt. Die Spalte „überschrieben“ steht für sich, denn das ist das Erste, wonach ein Prüfer sucht.

Im Streitfall. Wenn der Agent zum ersten Mal danebenliegt, ist der Unterschied zwischen einer Firma, die weiß woraus und durch wen, und einer, die es nicht weiß, entscheidend.

Was eine Reihe typischerweise findet

Eine neue Preisliste hat eine Antwort verändert, mit der Sie nicht gerechnet haben - eine Frage zur Lieferzeit, die den Preis nebenbei erwähnte.

Ein abgelaufener Fakt: Eine Antwort, die ein Jahr lang eine Zahl trug, hat plötzlich keine mehr.

Ein ersetztes Dokument heißt anders, und die Antwort stützt sich nun auf eine andere Quelle, obwohl sie gleich klingt.

Ein Szenario, das nach dem Einschränken der Fakten auf einen bestimmten Agenten nicht mehr besteht - eine Einstellung, an die sich niemand erinnerte.

Eine Antwort, die sich auch nach der Materialänderung nicht geändert hat, weil das Material so geschrieben ist, dass der Agent es nicht findet.

Warum es so gebaut ist

Stille ist kein Beweis

Eine Änderung meldet sich

Modelle verändern sich leise. Die Reihe ist der eine Ort, an dem diese Änderung sichtbar wird, bevor ein Kunde sie sieht.

Ohne Rauschen

Zahlen und Quellen, nicht Wörter

Ein umformulierter Satz wird nicht als Änderung gemeldet, sonst würde niemand den Bericht öffnen.

Eintrittskarte nach oben

Export als Tabelle

Genau das, was größere und regulierte Kunden sehen wollen, bevor sie unterschreiben.

Was Sie mitnehmen sollten

Eine KI, der man trauen kann, ist nicht eine, die sich nie irrt. Es ist eine, bei der Sie erkennen wann, wo und warum - und es schwarz auf weiß haben.

Speichern Sie die zwanzig Fragen, die Sie am häufigsten bekommen. Das ist eine halbe Stunde Arbeit, und von da an wissen Sie von jeder Änderung.

Wissen, was eine Materialänderung mit den Antworten gemacht hat?

Speichern Sie Ihre Fragen, Leeeds spielt sie nach jeder Änderung ab.

Ich will den KI-Vertriebler

Leeeds · Akquise-Automatisierung mit KI-Vertriebler