Jak poznáte, že se agent nezbláznil: zkušební sada a auditní výpis

Rychlý verdikt

Nahrajete nový ceník. Agent od té chvíle odpovídá jinak - a vy nevíte kterým otázkám, dokud si někdo nestěžuje. To je ta nejnepříjemnější vlastnost jazykových modelů: mění se tiše.

Leeeds proto umí uložit otázky, které vám chodí nejčastěji, a přehrát je po každé změně podkladů. Výsledek neříká jen „prošlo/neprošlo“, ale hlavně: tyhle tři odpovědi se od minula změnily.

K tomu je auditní výpis: řádek za každou odeslanou odpověď, s tím, na co odpovídala, z jakých zdrojů, jestli ji člověk před odesláním přepsal a kdo ji schválil.

Proč nestačí odpovědi číst

Číst všechny odpovědi jde první týden. Při dvaceti konverzacích denně to nedělá nikdo a kontrola se tiše vypne - a přesně tehdy se změní ceník.

Porovnávat texty taky nestačí. Model přeformuluje větu při každém běhu, takže srovnání znak po znaku by hlásilo změnu pokaždé. Takový report nikdo po druhém týdnu neotevře.

Proto se porovnává podstata: čísla v odpovědi a zdroje, o které se opírá. „Cena je 1 490 EUR“ a „Naše cena činí 1 490 EUR“ je totéž. 1 990, nebo stejná cena náhle z jiného dokumentu, je změna.

Jak běh sady vypadá

Změnily se podklady → sada se sama zařadí → otázky se přehrají suchou cestou → porovná se s minulým během.

Scénář je otázka a očekávání

Uložíte otázku, která vám chodí, a volitelně co od odpovědi čekáte: že bude citovat konkrétní zdroj a že v ní bude konkrétní text. Scénář se zkouší proti jednomu konkrétnímu agentovi, protože ten určuje, z čeho smí čerpat.

Spustí se sama po změně

Po nahrání podkladu nebo úpravě faktu se sada zařadí sama, s pětiminutovým doběhem a pauzou mezi běhy - aby úprava deseti cen znamenala jeden běh, ne deset. Ručně jde spustit kdykoli.

Nic se přitom neodesílá

Každý scénář jede po stejné suché cestě jako zkouška v dialogu agenta. Neodejde e-mail, nedrží se termín, nečerpá se kredit. Běh je bezpečný i uprostřed ostrého provozu.

Výsledek říká, co se pohnulo

Vedle počtu prošlých scénářů je hlavní číslo: kolik odpovědí se změnilo od minulého běhu. U každé je vidět proč neprošla - chybějící text, špatný zdroj, riziková vlajka.

Výpis dohledá jednotlivou odpověď

Auditní výpis stáhnete jako tabulku za zvolené období: co odešlo, na co to odpovídalo, z jakých částí jakých zdrojů, jestli to člověk před odesláním přepsal, kdo to schválil a s jakými riziky.

K čemu to je

Před změnou ceníku. Spustíte sadu, změníte ceník, spustíte znovu. Rozdíl je seznam odpovědí, které se pohnuly - a ten si projdete za pět minut místo dvou set konverzací.

Při náběhu nového agenta. Dvacet otázek, které vám chodí nejčastěji, je nejlevnější způsob, jak zjistit, jestli je báze hotová, aniž byste to testovali na zákaznících.

Pro větší a regulované klienty. Auditní výpis je odpověď na otázku „jak jste k té odpovědi došli“, kterou právní oddělení položí dřív nebo později. Sloupec „přepsáno“ je zvlášť, protože to je první věc, kterou auditor hledá.

Ve chvíli sporu. Když se agent poprvé splete, rozdíl mezi firmou, která ví z čeho a kdo to pustil, a firmou, která to neví, je zásadní.

Co sada typicky odhalí

Nový ceník změnil odpověď i tam, kde jste to nečekali - třeba u otázky na dodací lhůtu, která cenu zmiňovala mimochodem.

Vypršelý fakt: odpověď, která rok chodila s číslem, ho najednou nemá.

Nahrazený dokument se jmenuje jinak a odpověď se začala opírat o jiný zdroj, i když zní stejně.

Scénář, který přestal procházet po zúžení faktů na konkrétního agenta - tedy nastavení, které si nikdo nepamatoval.

Odpověď, která se nezměnila ani po úpravě podkladu, protože je napsaný tak, že ho agent nenajde.

Proč je to postavené takhle

Ticho není důkaz

Změna se ohlásí

Model se mění tiše. Sada je jediné místo, kde je ta změna vidět dřív než u zákazníka.

Bez šumu

Čísla a zdroje, ne slovíčka

Přeformulovaná věta se nehlásí jako změna, jinak by report nikdo neotevřel.

Vstupenka výš

Výpis do tabulky

To, co větší a regulovaní klienti chtějí vidět, než podepíšou.

Co si z toho odnést

AI, které se dá věřit, není AI, které se nikdy nesplete. Je to AI, u kterého poznáte kdy, kde a proč - a máte to černé na bílém.

Uložte dvacet otázek, které vám chodí nejčastěji. Je to půl hodiny práce a od té chvíle o každé změně víte.

Chcete vědět, co změna podkladů udělala s odpověďmi?

Uložte si otázky a Leeeds je přehraje po každé změně.

Chci AI obchodníka

Leeeds · automatizace akvizice s AI obchodníkem