Wie werden Gespräche von der KI bewertet?

Wofür ist sie da?

Jedes abgeschlossene Gespräch wird von der KI anhand Ihrer Kriterien bewertet: Jedes Kriterium wird mit Ja/Nein beantwortet oder bewertet, und das Gespräch bekommt einen Gesamtwert von 0 bis 100. Zu jedem Ergebnis gehören die Begründung, die Grundlage und wie verlässlich diese Daten sind. Nutzen Sie das zum Beispiel, um Gespräche vorzusortieren oder zu entscheiden, bei welchen Besuchern Sie sich zuerst melden.

Die „Stimmungsanalyse“ im selben Tab liest die Nachrichten, die der Besucher an den Agenten geschrieben hat, und zeigt, ob jede Nachricht positiv, neutral oder negativ ist und ob der Besucher frustriert ist (siehe unten).

Die Ergebnisse erscheinen im Tab „Analyse“ des Agenten und in den Gesprächsdetails; Besucher sehen sie nie.

Was liest die Bewertung?

Für jedes abgeschlossene Gespräch liest die Bewertung:

• Die Antworten des Besuchers auf die Schritte.
• Was der Besucher in KI-Assistent-Schritten an den Agenten geschrieben hat.
• Auf Wunsch den Inhalt der Dokumente und Bilder, die der Besucher in Datei-Upload-Schritten hochgeladen hat. Dafür schalten Sie „Auch den Inhalt hochgeladener Dateien bewerten“ ein (siehe unten). Dateien, die älter als 90 Tage sind, werden nicht gelesen.

Die Nachrichten des Agenten werden nur als Kontext gelesen: Was der Agent gesagt hat, zählt nicht als Information des Besuchers. Was der Besucher nur im Gespräch gesagt hat, zählt als seine eigene Aussage; es gilt nicht als so verlässlich wie eine Antwort auf einen Schritt oder eine Angabe in einem Dokument.

Die Bewertung einschalten

1. Öffnen Sie im Flow-Editor den Tab „Bewertung“.
2. Schalten Sie den Schalter rechts auf der Karte „KI-Bewertung“ ein. Solange er aus ist, bleiben die Kriterien gespeichert, aber ausgeblendet, und abgeschlossene Gespräche werden nicht bewertet.
3. Damit auch Dateien gelesen werden, schalten Sie den auf der Karte erscheinenden Schalter „Auch den Inhalt hochgeladener Dateien bewerten“ ein. Standardmäßig ist er aus. Bewertungen, die Dateien lesen, verbrauchen mehr Credits.
4. Klicken Sie auf „Kriterium hinzufügen“. Schreiben Sie im Fenster den Namen des Kriteriums („Kriterium“, zum Beispiel Finanzielle Lage), wählen Sie den „Bewertungstyp“ (siehe unten) und füllen Sie die „Bewertungsanweisungen“ aus: Beschreiben Sie, worauf die KI bei diesem Kriterium achten soll und welche Antwort, welcher Teil des Gesprächs oder welche Angabe in einer Datei zu betrachten ist. Klicken Sie im Fenster auf „Speichern“, um das Kriterium zur Liste hinzuzufügen.
5. Fügen Sie bei Bedarf weitere Kriterien hinzu und speichern Sie den Agenten dann mit „Speichern“ im Editor.
6. Klicken Sie bei einem veröffentlichten Agenten auf „Veröffentlichen“. Die Bewertung gehört zur Version des Agenten: Die neue Einstellung gilt für Gespräche, die nach dem Veröffentlichen beginnen.

Jedes Kriterium erscheint in der Liste mit Nummer, Name, erster Zeile der Anweisungen und Typ („Ja / Nein“ oder etwas wie „0–10 Punkte“), dazu die Zahl seiner Referenzen. Zum Bearbeiten klicken Sie auf die Zeile oder den Stift: Dasselbe Fenster öffnet sich; übernehmen Sie Änderungen mit „Speichern“ oder verwerfen Sie sie mit „Abbrechen“.

Ist die Bewertung an, aber es gibt keine Kriterien, werden Gespräche nicht bewertet. Bei aktiver Bewertung lässt sich der Agent nicht speichern, wenn ein Kriterium keinen Namen oder keine Anweisungen hat; die Zeile dieses Kriteriums zeigt das Abzeichen „Unvollständig“.

Nur Inhaber und Administratoren können die Einstellungen für Bewertung und Stimmungsanalyse ändern; andere Rollen können den Tab nur ansehen. Die Ergebnisse sehen alle.

Bewertungstyp

Die Auswahl „Bewertungstyp“ im Fenster des Kriteriums legt fest, wie es beantwortet wird. Neue Kriterien beginnen als „Ja / Nein“.

• „Ja / Nein“: Das Ergebnis ist „Erfolg“, „Fehlschlag“ oder „Unbekannt“. „Unbekannt“ bedeutet, dass die Daten für eine Entscheidung nicht reichten, und zählt nicht zum Gesamtwert. Gut für Fragen wie „Wurde die Frage des Besuchers bis zum Ende des Gesprächs beantwortet?“
• „Wert“: Das Kriterium wird von 0 bis zu der Zahl bewertet, die Sie bei „Höchstwert“ eintragen. Das Minimum ist immer 0; das Maximum kann eine ganze Zahl von 1 bis 100 sein, neue Wert-Kriterien beginnen bei 10. Unter „Bewertungsraster (optional)“ können Sie beschreiben, wie Punkte vergeben werden, zum Beispiel „Gib 1 Punkt für eine Begrüßung, 1 für das Verstehen des Anliegens und bis zu 3 dafür, wie gut es gelöst wurde.“

Kriterien, die hinzugefügt wurden, bevor man einen Typ wählen konnte, funktionieren als Kriterien vom Typ „Wert“ mit einem Maximum von 100; ihre Ergebnisse ändern sich nicht.

Referenzdokumente und Links

Im Fenster eines Kriteriums können Sie optional „Referenzen“ hinzufügen, etwa den Bewertungsleitfaden Ihrer Organisation:

• „Dokument hochladen (PDF, DOCX, TXT, MD)“: bis 10 MB.
• „Referenzlink“: Tragen Sie die Adresse ein und klicken Sie auf „Abrufen“.

Jedes Kriterium kann ein Dokument und einen Link haben; genutzt werden jeweils die ersten 3.000 Zeichen.

Der Text der Referenz geht mit den Anweisungen an das Modell; die Datei selbst wird nicht gespeichert. Um ein Kriterium zu löschen, klicken Sie auf den Papierkorb in seiner Zeile; hat es Anweisungen oder eine Referenz, werden Sie zuerst um Bestätigung gebeten. Der veröffentlichte Agent ändert sich erst, wenn Sie speichern und veröffentlichen.

Die Ergebnisse lesen

Die Bewertung läuft im Hintergrund, sobald das Gespräch abgeschlossen ist. Ergebnisse erscheinen an zwei Stellen:

• Die Ansicht „Bewertungen“ im Tab „Analyse“: der Durchschnittswert und die Werteverteilung. Die Liste ist vom höchsten Wert an sortiert; jede Zeile zeigt den Besucher, den Gesamtwert, eine von der KI geschriebene Zusammenfassung in 1–2 Sätzen und das Datum. Ein Klick auf eine Zeile öffnet das Ergebnis pro Kriterium mit Begründung und Sicherheit („Durch Daten bestätigt“, „Teilweise / Selbstauskunft“, „Keine Daten“). Begründung und Zusammenfassung werden in der Hauptsprache des Agenten geschrieben. Die Übersicht zeigt auch „Ø Eignungswert“.
• Die Gesprächsdetails: dieselben Ergebnisse und Begründungen unter „KI-Bewertung“ im Tab „Analyse“; der „Gesamtwert“ erscheint auch oben im Tab „Zusammenfassung“.

Ja/Nein-Kriterien zeigen ein Abzeichen: „Erfolg“ in Grün, „Fehlschlag“ in Rot, „Unbekannt“ in Grau. Wert-Kriterien zeigen die Punkte als „4 / 5“ (nur die Zahl, wenn das Maximum 100 ist); im aus der Liste „Bewertungen“ geöffneten Fenster erscheint darunter auch ein Balken.

Der Gesamtwert des Gesprächs ist der Durchschnitt auf einer Skala von 0–100: Ein Wert-Kriterium zählt als seine Punkte geteilt durch sein Maximum (4 von 5 zählt als 80), „Erfolg“ zählt als 100 und „Fehlschlag“ als 0. „Unbekannt“-Ergebnisse und Kriterien, die die Bewertung nicht liefern konnte, bleiben außen vor.

In dem Fenster, das sich beim Klick auf eine Zeile der Liste „Bewertungen“ öffnet, zeigt das Vergleichsdiagramm nur Wert-Kriterien; Ja/Nein-Kriterien stehen darunter mit ihrem Abzeichen.

Das Ergebnis jedes Kriteriums zeigt „Basierend auf“: Es stützt sich auf eine Antwort („Antwort: …“), eine Besuchernachricht („Nachricht 3“) oder eine Datei („Datei: …“). Klicken Sie in den Gesprächsdetails auf einen Nachrichten-Chip, um zu dieser Nachricht zu scrollen.

Kehrt der Besucher zu einem beendeten Gespräch zurück und schreibt erneut oder kommt eine neue Antwort hinzu, wird das Gespräch beim erneuten Abschluss wieder bewertet, und der neue Wert ersetzt den alten. Ein Gespräch wird insgesamt höchstens 3-mal bewertet.

Nicht bewertbare Kriterien werden getrennt aufgelistet. Wurde kein Gespräch bewertet, zeigt die Analyse „Bewertung ist deaktiviert“ oder „Noch keine Bewertungen“; Inhaber und Administratoren sehen zudem den Link „Bewertung einrichten“.

Credits

Jede Bewertung verbraucht Credits (das Lesen von Dateien eingeschlossen). Ein Gespräch wird höchstens 3-mal bewertet, und die Kosten erscheinen als „Bewertung“ in der Credit-Aufstellung des Gesprächs. Gehen Ihnen die Credits aus, laufen Bewertung und Stimmungsanalyse nicht.

Stimmungsanalyse

Die KI liest jede Nachricht, die der Besucher an den Agenten geschrieben hat, und stuft sie zweifach ein: Stimmung („Sehr negativ“, „Negativ“, „Neutral“, „Positiv“, „Sehr positiv“) und Frustration („Keine“, „Niedrig“, „Mittel“, „Hoch“). So sehen Sie, in welchen Gesprächen der Besucher negativ geschrieben hat oder frustriert war.

Der Schalter auf der Karte „Stimmungsanalyse“ ist für jeden Agenten standardmäßig an. Zum Ausschalten schalten Sie ihn im Tab „Bewertung“ aus, klicken auf „Speichern“ und bei einem veröffentlichten Agenten auf „Veröffentlichen“. Wie die Bewertung gehört sie zur Version des Agenten: Die neue Einstellung gilt für Gespräche, die nach dem Veröffentlichen beginnen.

Die Analyse läuft im Hintergrund, wenn das Gespräch endet oder der Besucher 30 Minuten nicht schreibt. Sie funktioniert nur in Teilen, in denen der Besucher mit dem Agenten spricht (Schritt KI-Assistent); Antworten auf andere Schritte werden nicht gelesen.

Das Ergebnis erscheint in zwei Tabs der Gesprächsdetails:

• In der Liste oben im Tab „Zusammenfassung“ die Zeile „Stimmung“ (nach der letzten Nachricht des Besuchers) und die Zeile „Frustration“ (nach dem schlechtesten Moment des Besuchers).
• Im Tab „Analyse“ ein Diagramm Nachricht für Nachricht: Fahren Sie über einen Punkt, um die Nachricht und ihre Einstufung zu sehen; ein Klick scrollt zu dieser Nachricht.
• Im selben Tab „Schlechtester Moment: Nachricht 3“: Ein Klick scrollt zu dieser Nachricht.

Im Transkript bekommen negative oder frustrierte Nachrichten ein kleines Abzeichen darunter.

Die Analyse verbraucht Credits (der Hinweis unter der Karte erinnert daran); die Kosten erscheinen als „Stimmungsanalyse“ in der Credit-Aufstellung des Gesprächs. Besucher sehen davon nie etwas.

Frustrierte Besucher

Bei aktiver Stimmungsanalyse bemerkt der Agent auch während des Gesprächs, wenn der Besucher frustriert ist: wenn er sich ärgert, sich beschwert, dasselbe erneut fragen zu müssen, oder mit einer Person sprechen möchte. Dafür gibt es keinen eigenen Schalter; bei dieser Nachricht kann die Antwort des Agenten etwas mehr Credits verbrauchen.

In diesem Moment:

• Der Agent entschuldigt sich kurz und antwortet knapp und klar. Kann er Anfragen annehmen (das Anfrage-Tool ist an oder der Schritt führt zu einem Schritt Anfrage), bietet er einmal an, die Sache an Ihr Team weiterzugeben.
• Ihr Team bekommt die Benachrichtigung „Frustrierter Besucher“ mit einem Link zum Gespräch. Sie wird pro Gespräch einmal gesendet; wohin, wählen Sie auf der Seite Warnungen und Benachrichtigungen.
• Die Frustration des Gesprächs wird zu „Hoch“: In der Liste „Gespräche“ erscheint das rote Abzeichen „Frustration: Hoch“. Sobald die Analyse läuft, wird die Stufe aus den Einstufungen der Nachrichten festgelegt.

Das funktioniert in Gesprächen auf Ihrer Website und über den geteilten Link.