Konuşmalar yapay zekâyla nasıl değerlendirilir?

Ne işe yarar?

Tamamlanan her konuşma, tanımladığınız başlıklara göre yapay zekâyla değerlendirilir: her başlık evet/hayır olarak cevaplanır ya da puanlanır ve konuşma 0–100 arası bir genel puan alır. Her sonucun gerekçesi, neye dayandığı ve bu verinin ne kadar güvenilir olduğu da yazılır. Örneğin konuşmaları ön elemeden geçirmek ya da hangi ziyaretçiye önce dönüleceğini belirlemek için kullanılır.

Aynı sekmedeki “Duygu analizi” ise ziyaretçinin asistana yazdığı mesajları okur; her mesajın olumlu, nötr ya da olumsuz olduğunu ve ziyaretçinin hayal kırıklığına uğrayıp uğramadığını gösterir (aşağıda).

Sonuçlar asistanın “Analitik” sekmesinde ve konuşmanın ayrıntısında görünür; ziyaretçi görmez.

Değerlendirme neyi okur?

Tamamlanan her konuşmada şunlar okunur:

• Ziyaretçinin adımlara verdiği cevaplar.
• Ziyaretçinin yapay zekâ asistanı adımlarında asistana yazdıkları.
• İsterseniz, ziyaretçinin dosya yükleme adımlarında yüklediği belgelerin ve görsellerin içeriği. Bunun için “Yüklenen dosyaların içeriğini de değerlendir” anahtarını açın (aşağıda). 90 günden eski dosyalar okunmaz.

Asistanın yazdıkları yalnız bağlam için okunur: asistanın söylediği bir şey ziyaretçinin bilgisi sayılmaz. Ziyaretçinin yalnız konuşmada söylediği bir bilgi kendi beyanı sayılır; bir adıma verdiği cevap ya da belgedeki bilgi kadar güvenilir kabul edilmez.

Değerlendirmeyi açmak

1. Akış editöründe “Değerlendirme” sekmesini açın.
2. “Yapay zekâ değerlendirmesi” kartının sağındaki anahtarı açın. Kapalıyken başlıklar saklanır ama gizlenir ve tamamlanan konuşmalar puanlanmaz.
3. Dosyaların da okunmasını istiyorsanız kartta beliren “Yüklenen dosyaların içeriğini de değerlendir” anahtarını açın. Bu anahtar varsayılan olarak kapalıdır. Dosya okuyan değerlendirme daha çok kredi harcar.
4. “Başlık ekle”ye basın. Açılan pencerede başlığın adını (“Başlık”, ör. Mali durum) yazın, “Değerlendirme türü”nü seçin (aşağıda) ve “Değerlendirme talimatı”nı doldurun: yapay zekânın bu başlığı değerlendirirken neye dikkat edeceğini, hangi cevaba, konuşmada neye ya da dosyadaki hangi bilgiye bakılacağını yazın. Penceredeki “Kaydet”e basınca başlık listeye eklenir.
5. Gerekirse başka başlıklar ekleyin ve asistanı editördeki “Kaydet”le kaydedin.
6. Yayındaki asistanda “Yayınla”ya basın. Değerlendirme asistanın sürümüne girer: yeni ayar, yayından sonra başlayan konuşmalara uygulanır.

Her başlık listede numarası, adı, talimatının ilk satırı ve türüyle (“Evet / Hayır” ya da “0–10 puan” gibi) görünür; referans eklediyseniz sayısı da yazar. Düzenlemek için satıra ya da kalem düğmesine tıklayın: aynı pencere açılır, değişiklikleri “Kaydet”le onaylayın ya da “Vazgeç”le bırakın.

Değerlendirme açık ama hiç başlık yoksa konuşmalar puanlanmaz. Değerlendirme açıkken adı ya da talimatı boş bir başlık varsa asistan kaydedilmez; o başlığın satırında “Eksik” rozeti görünür.

Değerlendirme ve duygu analizi ayarlarını yalnız sahip ve yönetici değiştirebilir; diğer roller sekmeyi yalnız görür. Sonuçları herkes görür.

Değerlendirme türü

Başlığın penceresindeki “Değerlendirme türü” seçimi, başlığın nasıl cevaplanacağını belirler. Yeni başlık “Evet / Hayır” olarak gelir.

• “Evet / Hayır”: sonuç “Başarılı”, “Başarısız” ya da “Belirlenemedi” olur. “Belirlenemedi”, verinin karar vermeye yetmediği anlamına gelir ve genel puana katılmaz. “Ziyaretçinin sorusu konuşmanın sonunda cevaplandı mı?” gibi sorular için uygundur.
• “Puan”: başlık 0 ile “En yüksek puan” kutusuna yazdığınız sayı arasında puanlanır. En düşük puan her zaman 0'dır; en yüksek puan 1 ile 100 arasında bir tam sayı olabilir ve yeni puanlı başlıkta 10 gelir. “Puanlama ölçütü (isteğe bağlı)” kutusuna puanın nasıl verileceğini yazabilirsiniz; örneğin “Selamlaşmaya 1, sorunu doğru anlamaya 1, çözümün ne kadar iyi olduğuna göre 3 puana kadar verin.”

Tür seçimi gelmeden önce eklenmiş başlıklar, en yüksek puanı 100 olan “Puan” başlığı olarak çalışır; sonuçları değişmez.

Referans belge ve bağlantı

Başlığın penceresinde isteğe bağlı “Referanslar” ekleyebilirsiniz; örneğin kurumunuzun değerlendirme cetveli ya da kılavuzu:

• “Belge yükle (PDF, DOCX, TXT, MD)”: en fazla 10 MB.
• “Referans bağlantı”: adresi yazıp “Getir”e basın.

Her başlıkta bir belge ve bir bağlantı olabilir; her birinin ilk 3.000 karakteri kullanılır.

Referansın metni talimatla birlikte modele gider; dosyanın kendisi saklanmaz. Bir başlığı silmek için satırındaki çöp kutusu düğmesine basın; başlıkta talimat ya da referans varsa önce onay istenir. Canlı asistan siz kaydedip yayınlayana kadar değişmez.

Sonuçları okumak

Değerlendirme, konuşma tamamlanınca arka planda çalışır. Sonuçlar iki yerde görünür:

• “Analitik” sekmesindeki “Değerlendirmeler” görünümü: ortalama puan ve puan dağılımı. Liste en yüksek puandan sıralanır; her satırda ziyaretçi, genel puan, yapay zekânın yazdığı 1–2 cümlelik özet ve tarih görünür. Satıra tıklayınca başlık başlık sonuç, gerekçe ve güven düzeyi (“Veriyle doğrulandı”, “Kısmi / beyana dayalı”, “Veri yok”) açılır. Gerekçeler ve özet asistanın ana dilinde yazılır. Genel bakışta da “Ortalama uygunluk puanı” görünür.
• Konuşmanın ayrıntısı: aynı sonuçlar ve gerekçeler “Analiz” sekmesindeki “Yapay zekâ değerlendirmesi” bölümünde; “Genel puan” ayrıca “Özet” sekmesinin en üstünde görünür.

Evet/hayır başlıklarında sonuç rozetle görünür: “Başarılı” yeşil, “Başarısız” kırmızı, “Belirlenemedi” gri. Puanlı başlıklarda puan “4 / 5” biçiminde yazar (en yüksek puan 100 ise yalnız puan); “Değerlendirmeler” listesinden açılan pencerede altında bir çubuk da görünür.

Konuşmanın genel puanı, başlıkların 0–100 ölçeğindeki ortalamasıdır: puanlı başlık, puanın en yüksek puana bölümüyle sayılır (5 üzerinden 4, 80 sayılır); “Başarılı” 100, “Başarısız” 0 sayılır. “Belirlenemedi” sonuçlar ve değerlendirmenin sonuç döndüremediği başlıklar ortalamaya katılmaz.

“Değerlendirmeler” listesinde bir satıra tıklayınca açılan penceredeki karşılaştırma grafiğinde yalnız puanlı başlıklar yer alır; evet/hayır başlıkları altta rozetleriyle listelenir.

Her başlığın sonucunda “Dayanak” yazar: sonuç bir cevaba (“Cevap: …”), ziyaretçinin bir mesajına (“3. mesaj”) ya da bir dosyaya (“Dosya: …”) dayanır. Konuşmanın ayrıntısında mesaj etiketine tıklayınca konuşma o mesaja kayar.

Ziyaretçi bitmiş bir konuşmaya dönüp yeniden yazarsa ya da yeni bir cevap gelirse, konuşma yeniden bittiğinde tekrar değerlendirilir ve yeni puan eskisinin yerini alır. Bir konuşma toplamda en fazla 3 kez değerlendirilir.

Puanlanamayan başlıklar ayrıca belirtilir. Hiç puanlanmış konuşma yoksa Analitik'te “Değerlendirme kapalı” ya da “Henüz değerlendirme yok” yazar; “Değerlendirmeyi ayarla” bağlantısı sahip ve yöneticiye görünür.

Kredi

Her değerlendirme kredi harcar (dosya okuma dahil). Bir konuşma en çok 3 kez değerlendirilir ve harcama konuşmanın kredi dökümünde “Değerlendirme” olarak görünür. Krediniz bittiyse değerlendirme ve duygu analizi çalışmaz.

Duygu analizi

Ziyaretçinin asistana yazdığı her mesaj yapay zekâyla okunur ve iki açıdan puanlanır: duygu (“Çok olumsuz”, “Olumsuz”, “Nötr”, “Olumlu”, “Çok olumlu”) ve hayal kırıklığı (“Yok”, “Düşük”, “Orta”, “Yüksek”). Böylece hangi konuşmalarda ziyaretçinin olumsuz yazdığını ya da hayal kırıklığına uğradığını görürsünüz.

“Duygu analizi” kartının anahtarı her asistanda varsayılan olarak açıktır. Kapatmak için “Değerlendirme” sekmesinde bu kartın sağındaki anahtarı kapatın, “Kaydet”e ve yayındaki asistanda “Yayınla”ya basın. Değerlendirme gibi asistanın sürümüne girer: yeni ayar, yayından sonra başlayan konuşmalara uygulanır.

Analiz, konuşma bitince ya da ziyaretçi 30 dakika yazmayınca arka planda çalışır. Yalnız ziyaretçinin asistanla konuştuğu bölümlerde çalışır (yapay zekâ asistanı adımı); diğer adımlara verilen cevaplar okunmaz.

Sonuç, konuşmanın ayrıntısında iki sekmede görünür:

• “Özet” sekmesinin en üstündeki listede “Duygu” satırı (ziyaretçinin son mesajına göre) ve “Hayal kırıklığı” satırı (ziyaretçinin en kötü anına göre).
• “Analiz” sekmesinde mesaj mesaj grafik: bir noktanın üzerine gelince o mesajı ve puanlarını görürsünüz; tıklayınca konuşma o mesaja kayar.
• Aynı sekmede “En kötü an: 3. mesaj”: tıklayınca konuşma o mesaja kayar.

Konuşma dökümünde olumsuz olan ya da hayal kırıklığı gösteren mesajların altında küçük bir rozet çıkar.

Analiz kredi harcar (kartın altındaki not da bunu hatırlatır); harcama, konuşmanın kredi dökümünde “Duygu analizi” olarak görünür. Ziyaretçi bunların hiçbirini görmez.

Hayal kırıklığı yaşayan ziyaretçi

Duygu analizi açıkken asistan, ziyaretçinin hayal kırıklığı yaşadığını konuşma sürerken de fark eder: ziyaretçi sinirlendiğinde, aynı şeyi yeniden sormak zorunda kaldığından yakındığında ya da bir insanla görüşmek istediğinde. Bunun için ayrı bir anahtar yoktur; o mesajda asistanın cevabı biraz daha fazla kredi harcayabilir.

O an:

• Asistan kısaca özür diler, kısa ve net cevap verir. Talep alabiliyorsa (talep aracı açıksa ya da adımın talep adımına yönlendirmesi varsa) konuyu ekibinize iletmeyi bir kez önerir.
• Ekibinize “Hayal kırıklığı yaşayan ziyaretçi” bildirimi gider, konuşmaya bağlantıyla. Bildirim konuşma başına bir kez gider; nereye gideceğini Uyarılar ve bildirimler sayfasından seçersiniz.
• Konuşmanın hayal kırıklığı “Yüksek” olur: Konuşmalar listesinde kırmızı “Hayal kırıklığı: Yüksek” rozeti çıkar. Analiz yapılınca seviye mesajların puanından kesinleşir.

Web sitenizdeki ve paylaşım bağlantısındaki konuşmalarda çalışır.