Comment savoir que l’agent n’a pas déraillé : série de tests et export d’audit

Le verdict rapide

Vous chargez un nouveau tarif. À partir de cet instant l’agent répond autrement - et vous ignorez à quelles questions jusqu’à ce que quelqu’un se plaigne. C’est la propriété la plus inconfortable des modèles de langage : ils changent en silence.

Leeeds sait donc enregistrer les questions que vous recevez le plus souvent et les rejouer après chaque changement de matériel. Le résultat ne dit pas seulement réussi ou échoué : il dit surtout que ces trois réponses ont bougé depuis la dernière fois.

À côté se trouve l’export d’audit : une ligne par réponse envoyée, avec ce à quoi elle répondait, à partir de quelles sources, si un humain l’a réécrite avant l’envoi et qui l’a validée.

Pourquoi lire les réponses ne suffit pas

Lire toutes les réponses tient une semaine. À vingt conversations par jour, personne ne le fait, le contrôle s’éteint en silence - et c’est exactement là que le tarif change.

Comparer les textes ne suffit pas non plus. Le modèle reformule une phrase à chaque passage : une comparaison caractère par caractère signalerait un changement à tous les coups. Ce rapport-là, plus personne ne l’ouvre après la deuxième semaine.

On compare donc la substance : les chiffres de la réponse et les sources sur lesquelles elle s’appuie. « Le prix est de 1 490 EUR » et « Notre prix s’élève à 1 490 EUR », c’est pareil. 1 990, ou le même prix venu soudain d’un autre document, c’est un changement.

À quoi ressemble un passage

Le matériel a changé → la série se met elle-même en file → les questions passent par la voie sèche → comparaison avec le passage précédent.

Un scénario, c’est une question et une attente

Vous enregistrez une question que vous recevez vraiment, et éventuellement ce que vous attendez en retour : qu’une source précise soit citée et qu’un texte précis apparaisse. Un scénario est testé contre un agent précis, car c’est lui qui décide dans quoi il a le droit de puiser.

Elle démarre d’elle-même après un changement

Après le chargement d’un matériel ou la modification d’un fait, la série se met en file toute seule, avec cinq minutes de décantation et une pause entre les passages - pour que modifier dix prix fasse un passage, pas dix. À la main, elle démarre quand vous voulez.

Rien n’est envoyé pendant ce temps

Chaque scénario emprunte la même voie sèche que l’essai dans la fenêtre de l’agent. Aucun e-mail ne part, aucun créneau n’est retenu, aucun crédit n’est consommé. Un passage reste sûr en plein trafic réel.

Le résultat dit ce qui a bougé

À côté du nombre de scénarios réussis se trouve le chiffre qui compte : combien de réponses ont changé depuis le dernier passage. Pour chaque échec, on voit pourquoi - texte manquant, mauvaise source, drapeau de risque.

L’export retrouve une réponse précise

L’export d’audit se télécharge en tableur pour une période choisie : ce qui est parti, à quoi cela répondait, à partir de quelles parties de quelles sources, si un humain l’a réécrit avant l’envoi, qui l’a validé et avec quels risques.

À quoi cela sert

Avant un changement de tarif. Vous lancez la série, changez le tarif, relancez. La différence est une liste de réponses qui ont bougé - cinq minutes de lecture au lieu de deux cents conversations.

Au démarrage d’un nouvel agent. Vingt questions parmi celles que vous recevez le plus sont le moyen le moins cher de savoir si la base est prête, sans le tester sur des clients.

Pour des clients plus grands et régulés. L’export d’audit répond au « comment êtes-vous arrivés à cette réponse » qu’un service juridique pose tôt ou tard. La colonne « réécrit » est à part, car c’est la première chose que cherche un auditeur.

En cas de litige. Quand l’agent se trompe pour la première fois, l’écart entre une entreprise qui sait à partir de quoi et par qui, et une qui l’ignore, est décisif.

Ce qu’une série attrape d’ordinaire

Un nouveau tarif a changé une réponse à laquelle vous ne pensiez pas - une question de délai qui mentionnait le prix au passage.

Un fait expiré : une réponse qui portait un chiffre depuis un an n’en a soudain plus.

Un document remplacé porte un autre nom et la réponse s’appuie désormais sur une autre source, même si elle se lit pareil.

Un scénario qui ne passe plus après que les faits ont été restreints à un agent précis - un réglage dont personne ne se souvenait.

Une réponse qui n’a pas changé même après modification du matériel, parce qu’il est écrit d’une façon que l’agent ne trouve pas.

Pourquoi c’est construit ainsi

Le silence n’est pas une preuve

Le changement s’annonce

Les modèles changent en silence. La série est le seul endroit où ce changement se voit avant qu’un client ne le voie.

Sans bruit

Des chiffres et des sources, pas des mots

Une phrase reformulée n’est pas signalée comme un changement ; sinon personne n’ouvrirait le rapport.

Un billet vers le haut

Un export en tableur

Exactement ce que les clients plus grands et régulés veulent voir avant de signer.

Ce qu’il faut en retenir

Une IA digne de confiance n’est pas une IA qui ne se trompe jamais. C’est une IA dont on sait quand, où et pourquoi - noir sur blanc.

Enregistrez les vingt questions que vous recevez le plus souvent. C’est une demi-heure de travail, et à partir de là vous êtes au courant de chaque changement.

Savoir ce qu’un changement de matériel a fait aux réponses ?

Enregistrez vos questions : Leeeds les rejoue après chaque changement.

Je veux le commercial IA

Leeeds · automatisation de l’acquisition avec un commercial IA