Skąd wiesz, że agent nie oszalał: zestaw testowy i wykaz audytowy

Krótki werdykt

Wgrywasz nowy cennik. Od tej chwili agent odpowiada inaczej - a Ty nie wiesz, na które pytania, dopóki ktoś się nie poskarży. To najbardziej nieprzyjemna cecha modeli językowych: zmieniają się po cichu.

Dlatego Leeeds potrafi zapisać pytania, które dostajesz najczęściej, i odtworzyć je po każdej zmianie materiałów. Wynik nie mówi tylko „zaliczone / niezaliczone”, ale przede wszystkim: te trzy odpowiedzi zmieniły się od ostatniego razu.

Do tego dochodzi wyciąg audytowy: jeden wiersz na każdą wysłaną odpowiedź, z tym, na co odpowiadała, z jakich źródeł, czy człowiek przepisał ją przed wysłaniem i kto ją zatwierdził.

Dlaczego czytanie odpowiedzi nie wystarczy

Czytanie wszystkich odpowiedzi działa przez tydzień. Przy dwudziestu rozmowach dziennie nie robi tego nikt, kontrola po cichu się wyłącza - i właśnie wtedy zmienia się cennik.

Porównywanie tekstów też nie wystarczy. Model przeformułowuje zdanie przy każdym przebiegu, więc porównanie znak po znaku zgłaszałoby zmianę za każdym razem. Takiego raportu po drugim tygodniu nikt nie otworzy.

Dlatego porównuje się istotę: liczby w odpowiedzi i źródła, na których się opiera. „Cena to 1490 EUR” i „Nasza cena wynosi 1490 EUR” to to samo. 1990 albo ta sama cena nagle z innego dokumentu to zmiana.

Jak wygląda przebieg zestawu

Zmieniły się materiały → zestaw sam staje w kolejce → pytania idą suchą ścieżką → porównanie z poprzednim przebiegiem.

Scenariusz to pytanie i oczekiwanie

Zapisujesz pytanie, które faktycznie dostajesz, i opcjonalnie to, czego oczekujesz w odpowiedzi: że zacytuje konkretne źródło i że znajdzie się w niej konkretny tekst. Scenariusz sprawdza się wobec jednego konkretnego agenta, bo to on decyduje, z czego wolno mu czerpać.

Uruchamia się sam po zmianie

Po wgraniu materiału albo edycji faktu zestaw sam staje w kolejce, z pięciominutowym dobiegiem i przerwą między przebiegami - żeby zmiana dziesięciu cen oznaczała jeden przebieg, a nie dziesięć. Ręcznie można go uruchomić w każdej chwili.

Nic przy tym nie wychodzi

Każdy scenariusz idzie tą samą suchą ścieżką co próba w oknie agenta. Nie wychodzi żaden e-mail, nie blokuje się termin, nie schodzi kredyt. Przebieg jest bezpieczny nawet w środku ruchu produkcyjnego.

Wynik mówi, co drgnęło

Obok liczby zaliczonych scenariuszy stoi liczba, która się liczy: ile odpowiedzi zmieniło się od poprzedniego przebiegu. Przy każdej porażce widać dlaczego - brakujący tekst, złe źródło, flaga ryzyka.

Wyciąg odnajduje pojedynczą odpowiedź

Wyciąg audytowy pobierasz jako arkusz za wybrany okres: co wyszło, na co odpowiadało, z jakich fragmentów jakich źródeł, czy człowiek przepisał to przed wysłaniem, kto to zatwierdził i z jakimi ryzykami.

Do czego to służy

Przed zmianą cennika. Uruchamiasz zestaw, zmieniasz cennik, uruchamiasz ponownie. Różnicą jest lista odpowiedzi, które drgnęły - pięć minut czytania zamiast dwustu rozmów.

Przy starcie nowego agenta. Dwadzieścia pytań, które dostajesz najczęściej, to najtańszy sposób, żeby sprawdzić, czy baza jest gotowa, bez testowania tego na klientach.

Dla większych i regulowanych klientów. Wyciąg audytowy odpowiada na pytanie „jak doszliście do tej odpowiedzi”, które dział prawny prędzej czy później zada. Kolumna „przepisane” stoi osobno, bo to pierwsza rzecz, której szuka audytor.

W momencie sporu. Gdy agent po raz pierwszy się pomyli, różnica między firmą, która wie z czego i kto to puścił, a firmą, która tego nie wie, jest zasadnicza.

Co zestaw zwykle wyłapuje

Nowy cennik zmienił odpowiedź także tam, gdzie się tego nie spodziewałeś - przy pytaniu o termin dostawy, które cenę wspominało mimochodem.

Wygasły fakt: odpowiedź, która przez rok chodziła z liczbą, nagle jej nie ma.

Podmieniony dokument nazywa się inaczej i odpowiedź zaczęła opierać się na innym źródle, choć brzmi tak samo.

Scenariusz, który przestał przechodzić po zawężeniu faktów do konkretnego agenta - czyli ustawienie, którego nikt nie pamiętał.

Odpowiedź, która nie zmieniła się nawet po edycji materiału, bo materiał jest napisany tak, że agent go nie znajduje.

Dlaczego jest to zbudowane właśnie tak

Cisza to nie dowód

Zmiana sama się zgłasza

Model zmienia się po cichu. Zestaw to jedyne miejsce, gdzie tę zmianę widać wcześniej niż u klienta.

Bez szumu

Liczby i źródła, nie słówka

Przeformułowane zdanie nie jest zgłaszane jako zmiana, inaczej nikt by raportu nie otworzył.

Bilet wyżej

Wyciąg do arkusza

Dokładnie to, co więksi i regulowani klienci chcą zobaczyć, zanim podpiszą.

Co z tego wynika

AI, któremu można ufać, to nie AI, które nigdy się nie myli. To AI, przy którym wiadomo kiedy, gdzie i dlaczego - i ma się to czarno na białym.

Zapisz dwadzieścia pytań, które dostajesz najczęściej. To pół godziny pracy, a od tej chwili wiesz o każdej zmianie.

Chcesz wiedzieć, co zmiana materiałów zrobiła z odpowiedziami?

Zapisz pytania, a Leeeds odtworzy je po każdej zmianie.

Chcę handlowca AI

Leeeds · automatyzacja akwizycji z handlowcem AI