Ako spoznáte, že sa agent nezbláznil: skúšobná sada a auditný výpis

Rýchly verdikt

Nahráte nový cenník. Agent od tej chvíle odpovedá inak - a vy neviete ktorým otázkam, kým si niekto nesťažuje. To je tá najnepríjemnejšia vlastnosť jazykových modelov: menia sa ticho.

Leeeds preto vie uložiť otázky, ktoré vám chodia najčastejšie, a prehrať ich po každej zmene podkladov. Výsledok nehovorí len „prešlo/neprešlo“, ale hlavne: tieto tri odpovede sa od minula zmenili.

K tomu je auditný výpis: riadok za každú odoslanú odpoveď, s tým, na čo odpovedala, z akých zdrojov, či ju človek pred odoslaním prepísal a kto ju schválil.

Prečo nestačí odpovede čítať

Čítať všetky odpovede sa dá prvý týždeň. Pri dvadsiatich konverzáciách denne to nerobí nikto a kontrola sa ticho vypne - a presne vtedy sa zmení cenník.

Porovnávať texty tiež nestačí. Model preformuluje vetu pri každom behu, takže porovnanie znak po znaku by hlásilo zmenu zakaždým. Taký report nikto po druhom týždni neotvorí.

Preto sa porovnáva podstata: čísla v odpovedi a zdroje, o ktoré sa opiera. „Cena je 1 490 EUR“ a „Naša cena činí 1 490 EUR“ je to isté. 1 990, alebo rovnaká cena zrazu z iného dokumentu, je zmena.

Ako beh sady vyzerá

Zmenili sa podklady → sada sa sama zaradí → otázky sa prehrajú suchou cestou → porovná sa s minulým behom.

Scenár je otázka a očakávanie

Uložíte otázku, ktorá vám chodí, a voliteľne čo od odpovede čakáte: že bude citovať konkrétny zdroj a že v nej bude konkrétny text. Scenár sa skúša proti jednému konkrétnemu agentovi, pretože ten určuje, z čoho smie čerpať.

Spustí sa sama po zmene

Po nahratí podkladu alebo úprave faktu sa sada zaradí sama, s päťminútovým dobehom a pauzou medzi behmi - aby úprava desiatich cien znamenala jeden beh, nie desať. Ručne sa dá spustiť kedykoľvek.

Nič sa pritom neodosiela

Každý scenár ide po rovnakej suchej ceste ako skúška v dialógu agenta. Neodíde e-mail, nedrží sa termín, nečerpá sa kredit. Beh je bezpečný aj uprostred ostrej prevádzky.

Výsledok hovorí, čo sa pohlo

Vedľa počtu prešlých scenárov je hlavné číslo: koľko odpovedí sa zmenilo od minulého behu. Pri každej vidieť prečo neprešla - chýbajúci text, zlý zdroj, riziková vlajka.

Výpis dohľadá jednotlivú odpoveď

Auditný výpis stiahnete ako tabuľku za zvolené obdobie: čo odišlo, na čo to odpovedalo, z akých častí akých zdrojov, či to človek pred odoslaním prepísal, kto to schválil a s akými rizikami.

Na čo to je

Pred zmenou cenníka. Spustíte sadu, zmeníte cenník, spustíte znova. Rozdiel je zoznam odpovedí, ktoré sa pohli - a ten si prejdete za päť minút namiesto dvesto konverzácií.

Pri nábehu nového agenta. Dvadsať otázok, ktoré vám chodia najčastejšie, je najlacnejší spôsob, ako zistiť, či je báza hotová, bez toho, aby ste to testovali na zákazníkoch.

Pre väčších a regulovaných klientov. Auditný výpis je odpoveď na otázku „ako ste k tej odpovedi došli“, ktorú právne oddelenie položí skôr či neskôr. Stĺpec „prepísané“ je zvlášť, pretože to je prvá vec, ktorú audítor hľadá.

Vo chvíli sporu. Keď sa agent prvýkrát pomýli, rozdiel medzi firmou, ktorá vie z čoho a kto to pustil, a firmou, ktorá to nevie, je zásadný.

Čo sada typicky odhalí

Nový cenník zmenil odpoveď aj tam, kde ste to nečakali - napríklad pri otázke na dodaciu lehotu, ktorá cenu spomínala mimochodom.

Vypršaný fakt: odpoveď, ktorá rok chodila s číslom, ho zrazu nemá.

Nahradený dokument sa volá inak a odpoveď sa začala opierať o iný zdroj, aj keď znie rovnako.

Scenár, ktorý prestal prechádzať po zúžení faktov na konkrétneho agenta - teda nastavenie, ktoré si nikto nepamätal.

Odpoveď, ktorá sa nezmenila ani po úprave podkladu, pretože je napísaný tak, že ho agent nenájde.

Prečo je to postavené takto

Ticho nie je dôkaz

Zmena sa ohlási

Model sa mení ticho. Sada je jediné miesto, kde je tá zmena vidieť skôr než u zákazníka.

Bez šumu

Čísla a zdroje, nie slovíčka

Preformulovaná veta sa nehlási ako zmena, inak by report nikto neotvoril.

Vstupenka vyššie

Výpis do tabuľky

To, čo väčší a regulovaní klienti chcú vidieť, kým podpíšu.

Čo si z toho odniesť

AI, ktorej sa dá veriť, nie je AI, ktorá sa nikdy nepomýli. Je to AI, pri ktorej spoznáte kedy, kde a prečo - a máte to čierne na bielom.

Uložte dvadsať otázok, ktoré vám chodia najčastejšie. Je to pol hodiny práce a od tej chvíle o každej zmene viete.

Chcete vedieť, čo zmena podkladov urobila s odpoveďami?

Uložte si otázky a Leeeds ich prehrá po každej zmene.

Chcem AI obchodníka

Leeeds · automatizácia akvizície s AI obchodníkom