Comment les conversations sont-elles évaluées par l'IA ?

À quoi ça sert ?

Chaque conversation terminée est évaluée par l'IA selon vos critères : chaque critère reçoit une réponse oui/non ou un score, et la conversation obtient un score global de 0 à 100. Chaque résultat s'accompagne de son raisonnement, de ce sur quoi il s'appuie et de la fiabilité de ces données. Utilisez-le par exemple pour présélectionner des conversations ou décider quels visiteurs recontacter en premier.

L'« Analyse du sentiment », dans le même onglet, lit les messages écrits par le visiteur à l'agent et indique si chacun est positif, neutre ou négatif et si le visiteur est frustré (voir plus bas).

Les résultats apparaissent dans l'onglet « Analyse » de l'agent et dans les détails de la conversation ; les visiteurs ne les voient jamais.

Que lit l'évaluation ?

Pour chaque conversation terminée, l'évaluation lit :

• Les réponses du visiteur aux étapes.
• Ce que le visiteur a écrit à l'agent dans les étapes Assistant IA.
• Si vous le choisissez, le contenu des documents et images envoyés par le visiteur dans les étapes Envoi de fichier. Pour cela, activez l'interrupteur « Évaluer aussi le contenu des fichiers envoyés » (voir plus bas). Les fichiers de plus de 90 jours ne sont pas lus.

Les messages de l'agent ne sont lus que pour le contexte : ce que dit l'agent ne compte pas comme une information du visiteur. Ce que le visiteur a seulement dit dans la conversation compte comme sa propre déclaration ; ce n'est pas considéré comme aussi fiable qu'une réponse à une étape ou qu'une information dans un document.

Activer l'évaluation

1. Ouvrez l'onglet « Évaluation » dans l'éditeur de flux.
2. Activez l'interrupteur à droite de la carte « Évaluation par l'IA ». Tant qu'il est désactivé, les critères sont conservés mais masqués, et les conversations terminées ne sont pas notées.
3. Pour que les fichiers soient lus aussi, activez l'interrupteur « Évaluer aussi le contenu des fichiers envoyés » qui apparaît sur la carte. Il est désactivé par défaut. Les évaluations qui lisent des fichiers consomment plus de crédits.
4. Cliquez sur « Ajouter un critère ». Dans la fenêtre, écrivez le nom du critère (« Critère », par exemple Santé financière), choisissez le « Type d'évaluation » (voir plus bas) et remplissez les « Instructions d'évaluation » : décrivez à quoi l'IA doit faire attention pour ce critère, et quelle réponse, quelle partie de la conversation ou quelle information d'un fichier regarder. Cliquez sur « Enregistrer » dans la fenêtre pour ajouter le critère à la liste.
5. Ajoutez d'autres critères au besoin, puis enregistrez l'agent avec « Enregistrer » dans l'éditeur.
6. Sur un agent publié, cliquez sur « Publier ». L'évaluation fait partie de la version de l'agent : le nouveau réglage s'applique aux conversations qui commencent après la publication.

Chaque critère apparaît dans la liste avec son numéro, son nom, la première ligne de ses instructions et son type (« Oui / Non » ou quelque chose comme « 0–10 points »), plus son nombre de références. Pour en modifier un, cliquez sur sa ligne ou son crayon : la même fenêtre s'ouvre ; gardez vos changements avec « Enregistrer » ou abandonnez-les avec « Annuler ».

Si l'évaluation est activée sans critères, les conversations ne sont pas notées. Tant que l'évaluation est activée, l'agent ne peut pas être enregistré si un critère n'a pas de nom ou d'instructions ; sa ligne affiche un badge « Incomplet ».

Seuls les propriétaires et les administrateurs peuvent modifier les réglages d'évaluation et d'analyse du sentiment ; les autres rôles peuvent seulement voir l'onglet. Tout le monde peut voir les résultats.

Type d'évaluation

Le sélecteur « Type d'évaluation » dans la fenêtre du critère définit comment il reçoit sa réponse. Les nouveaux critères démarrent en « Oui / Non ».

• « Oui / Non » : le résultat est « Réussite », « Échec » ou « Inconnu ». « Inconnu » signifie que les données ne suffisaient pas pour décider, et il n'est pas compté dans le score global. Bien pour des questions comme « La question du visiteur a-t-elle reçu une réponse à la fin de la conversation ? »
• « Score » : le critère est noté de 0 jusqu'au nombre saisi dans « Score maximal ». Le minimum est toujours 0 ; le maximum peut être un nombre entier de 1 à 100, et les nouveaux critères à score démarrent à 10. Dans « Grille de notation (facultatif) », vous pouvez décrire comment attribuer les points, par exemple « Donne 1 point pour un accueil, 1 pour la compréhension du problème et jusqu'à 3 pour la qualité de la résolution. »

Les critères ajoutés avant le choix d'un type fonctionnent comme des critères « Score » avec un maximum de 100 ; leurs résultats ne changent pas.

Documents et liens de référence

Dans la fenêtre d'un critère, vous pouvez ajouter des « Références » facultatives, comme le guide de notation de votre organisation :

• « Importer un document (PDF, DOCX, TXT, MD) » : jusqu'à 10 Mo.
• « Lien de référence » : saisissez l'adresse et cliquez sur « Récupérer ».

Chaque critère peut avoir un document et un lien ; les 3 000 premiers caractères de chacun sont utilisés.

Le texte de la référence va au modèle avec les instructions ; le fichier lui-même n'est pas conservé. Pour supprimer un critère, cliquez sur la corbeille de sa ligne ; s'il a des instructions ou une référence, une confirmation vous est d'abord demandée. L'agent publié ne change pas tant que vous n'enregistrez pas et ne publiez pas.

Lire les résultats

L'évaluation s'exécute en arrière-plan une fois la conversation terminée. Les résultats apparaissent à deux endroits :

• La vue « Évaluations » de l'onglet « Analyse » : le score moyen et la répartition des scores. La liste est triée du score le plus élevé ; chaque ligne montre le visiteur, le score global, un résumé de 1 à 2 phrases écrit par l'IA et la date. Cliquez sur une ligne pour ouvrir le résultat par critère avec son raisonnement et sa fiabilité (« Confirmé par les données », « Partiel / déclaratif », « Aucune donnée »). Le raisonnement et le résumé sont écrits dans la langue principale de l'agent. La vue d'ensemble montre aussi le « Score d'adéquation moyen ».
• Les détails de la conversation : les mêmes résultats et raisonnements sous « Évaluation par l'IA » dans l'onglet « Analyse » ; le « Score global » apparaît aussi en haut de l'onglet « Résumé ».

Les critères oui/non affichent un badge : « Réussite » en vert, « Échec » en rouge, « Inconnu » en gris. Les critères à score affichent les points sous la forme « 4 / 5 » (juste le nombre quand le maximum est 100) ; dans la fenêtre ouverte depuis la liste « Évaluations », une barre apparaît aussi en dessous.

Le score global de la conversation est la moyenne sur une échelle de 0 à 100 : un critère à score compte pour ses points divisés par son maximum (4 sur 5 compte pour 80), « Réussite » compte pour 100 et « Échec » pour 0. Les résultats « Inconnu » et les critères que l'évaluation n'a pas pu renvoyer sont exclus.

Dans la fenêtre ouverte en cliquant sur une ligne de la liste « Évaluations », le graphique de comparaison ne montre que les critères à score ; les critères oui/non sont listés en dessous avec leur badge.

Le résultat de chaque critère indique « Basé sur » : il s'appuie sur une réponse (« Réponse : … »), un message du visiteur (« Message 3 ») ou un fichier (« Fichier : … »). Dans les détails de la conversation, cliquez sur une pastille de message pour faire défiler jusqu'à ce message.

Si le visiteur revient sur une conversation terminée et écrit à nouveau, ou si une nouvelle réponse arrive, la conversation est réévaluée quand elle se termine à nouveau et le nouveau score remplace l'ancien. Une conversation est évaluée au plus 3 fois au total.

Les critères qui n'ont pas pu être notés sont listés à part. Si aucune conversation n'a été notée, l'analyse affiche « L'évaluation est désactivée » ou « Aucune évaluation pour le moment » ; les propriétaires et administrateurs voient aussi un lien « Configurer l'évaluation ».

Crédits

Chaque évaluation consomme des crédits (lecture de fichiers comprise). Une conversation est évaluée au plus 3 fois, et le coût apparaît comme « Évaluation » dans le détail des crédits de la conversation. Si vous n'avez plus de crédits, l'évaluation et l'analyse du sentiment ne s'exécutent pas.

Analyse du sentiment

L'IA lit chaque message écrit par le visiteur à l'agent et le note de deux façons : sentiment (« Très négatif », « Négatif », « Neutre », « Positif », « Très positif ») et frustration (« Aucune », « Faible », « Modérée », « Élevée »). Vous voyez ainsi dans quelles conversations le visiteur a écrit négativement ou s'est senti frustré.

L'interrupteur de la carte « Analyse du sentiment » est activé par défaut pour chaque agent. Pour le désactiver, faites-le dans l'onglet « Évaluation », puis cliquez sur « Enregistrer » et, sur un agent publié, sur « Publier ». Comme l'évaluation, elle fait partie de la version de l'agent : le nouveau réglage s'applique aux conversations qui commencent après la publication.

L'analyse s'exécute en arrière-plan quand la conversation se termine ou que le visiteur cesse d'écrire pendant 30 minutes. Elle ne fonctionne que dans les parties où le visiteur parle à l'agent (étape Assistant IA) ; les réponses aux autres étapes ne sont pas lues.

Le résultat apparaît dans deux onglets des détails de la conversation :

• Dans la liste en haut de l'onglet « Résumé », la ligne « Sentiment » (selon le dernier message du visiteur) et la ligne « Frustration » (selon le pire moment du visiteur).
• Dans l'onglet « Analyse », un graphique message par message : survolez un point pour voir le message et ses notes ; cliquez pour faire défiler jusqu'à ce message.
• Dans le même onglet, « Pire moment : message 3 » : cliquez pour faire défiler jusqu'à ce message.

Dans la transcription, les messages négatifs ou frustrés reçoivent un petit badge en dessous.

L'analyse consomme des crédits (la note sous la carte le rappelle) ; le coût apparaît comme « Analyse du sentiment » dans le détail des crédits de la conversation. Les visiteurs n'en voient jamais rien.

Visiteurs frustrés

Quand l'analyse du sentiment est activée, l'agent remarque aussi pendant la conversation que le visiteur est frustré : quand il s'agace, se plaint de devoir redemander la même chose ou veut parler à une personne. Il n'y a pas d'interrupteur séparé ; sur ce message, la réponse de l'agent peut consommer un peu plus de crédits.

À ce moment-là :

• L'agent s'excuse brièvement et répond de façon courte et claire. S'il peut prendre des demandes (l'outil de demande est activé, ou l'étape mène à une étape de demande), il propose une fois de transmettre le sujet à votre équipe.
• Votre équipe reçoit la notification « Visiteur frustré », avec un lien vers la conversation. Elle est envoyée une fois par conversation ; choisissez où elle va sur la page Alertes et notifications.
• La frustration de la conversation passe à « Élevée » : un badge rouge « Frustration : Élevée » apparaît dans la liste Conversations. Une fois l'analyse exécutée, le niveau est fixé d'après les notes des messages.

Cela fonctionne dans les conversations sur votre site web et via le lien de partage.