¿Cómo evalúa la IA las conversaciones?

¿Para qué sirve?

La IA evalúa cada conversación completada según los criterios que defines: cada criterio se responde con sí/no o se puntúa, y la conversación recibe una puntuación general de 0 a 100. Cada resultado incluye su razonamiento, en qué se basa y lo fiables que son esos datos. Por ejemplo, úsalo para preseleccionar conversaciones o decidir a qué visitantes contactar primero.

El «Análisis de sentimiento» de la misma pestaña lee los mensajes que el visitante escribió al agente y muestra si cada uno es positivo, neutral o negativo y si el visitante está frustrado (ver abajo).

Los resultados aparecen en la pestaña «Analítica» del agente y en los detalles de la conversación; los visitantes nunca los ven.

¿Qué lee la evaluación?

En cada conversación completada, la evaluación lee:

• Las respuestas del visitante a los pasos.
• Lo que el visitante escribió al agente en los pasos Asistente de IA.
• Si lo eliges, el contenido de los documentos e imágenes que el visitante subió en los pasos Subida de archivo. Para incluirlos, activa «Evaluar también el contenido de los archivos subidos» (ver abajo). Los archivos de más de 90 días no se leen.

Los mensajes del propio agente solo se leen como contexto: lo que dijo el agente no cuenta como información del visitante. Lo que el visitante solo dijo en la conversación cuenta como su propia declaración; no se considera tan fiable como una respuesta a un paso o un dato de un documento.

Activar la evaluación

1. Abre la pestaña «Evaluación» en el editor de flujos.
2. Activa el interruptor a la derecha de la tarjeta «Evaluación con IA». Mientras está desactivado, los criterios se conservan pero se ocultan, y las conversaciones completadas no se puntúan.
3. Para que también se lean los archivos, activa el interruptor «Evaluar también el contenido de los archivos subidos» que aparece en la tarjeta. Está desactivado por defecto. Las evaluaciones que leen archivos consumen más créditos.
4. Haz clic en «Añadir criterio». En la ventana, escribe el nombre del criterio («Criterio», por ejemplo, Salud financiera), elige el «Tipo de evaluación» (ver abajo) y rellena «Instrucciones de evaluación»: describe en qué debe fijarse la IA al evaluar este criterio y qué respuesta, parte de la conversación o dato de un archivo debe mirar. Haz clic en «Guardar» en la ventana para añadir el criterio a la lista.
5. Añade más criterios si hace falta y guarda el agente con «Guardar» en el editor.
6. En un agente publicado, haz clic en «Publicar». La evaluación forma parte de la versión del agente: el nuevo ajuste se aplica a las conversaciones que empiezan después de publicar.

Cada criterio aparece en la lista con su número, su nombre, la primera línea de sus instrucciones y su tipo («Sí / No» o algo como «0–10 puntos»), además de cuántas referencias tiene. Para editar uno, haz clic en su fila o en el lápiz: se abre la misma ventana; conserva los cambios con «Guardar» o descártalos con «Cancelar».

Si la evaluación está activada pero no hay criterios, las conversaciones no se puntúan. Con la evaluación activada, el agente no se puede guardar si un criterio no tiene nombre o instrucciones; su fila muestra la insignia «Incompleto».

Solo los propietarios y administradores pueden cambiar los ajustes de evaluación y análisis de sentimiento; los demás roles solo pueden ver la pestaña. Todos pueden ver los resultados.

Tipo de evaluación

El selector «Tipo de evaluación» de la ventana del criterio define cómo se responde. Los criterios nuevos empiezan como «Sí / No».

• «Sí / No»: el resultado es «Éxito», «Fallo» o «Desconocido». «Desconocido» significa que los datos no bastaban para decidir, y no cuenta para la puntuación general. Sirve para preguntas como «¿Se respondió la pregunta del visitante al final de la conversación?»
• «Puntuación»: el criterio se puntúa de 0 hasta el número que indiques en «Puntuación máxima». El mínimo es siempre 0; el máximo puede ser un número entero de 1 a 100, y los criterios nuevos de puntuación empiezan en 10. En «Rúbrica de puntuación (opcional)» puedes describir cómo se dan los puntos, por ejemplo, «Da 1 punto por saludar, 1 por entender el problema y hasta 3 por lo bien que se resolvió.»

Los criterios añadidos antes de poder elegir un tipo funcionan como criterios «Puntuación» con un máximo de 100; sus resultados no cambian.

Documentos y enlaces de referencia

En la ventana de un criterio puedes añadir «Referencias» opcionales, como la guía de puntuación de tu organización:

• «Subir documento (PDF, DOCX, TXT, MD)»: hasta 10 MB.
• «Enlace de referencia»: introduce la dirección y haz clic en «Obtener».

Cada criterio puede tener un documento y un enlace; se usan los primeros 3000 caracteres de cada uno.

El texto de la referencia va al modelo con las instrucciones; el archivo en sí no se guarda. Para eliminar un criterio, haz clic en la papelera de su fila; si tiene instrucciones o una referencia, se te pide confirmación primero. El agente activo no cambia hasta que guardas y publicas.

Leer los resultados

La evaluación se ejecuta en segundo plano cuando se completa la conversación. Los resultados aparecen en dos lugares:

• La vista «Evaluaciones» de la pestaña «Analítica»: la puntuación media y la distribución de puntuaciones. La lista se ordena desde la puntuación más alta; cada fila muestra al visitante, la puntuación general, un resumen de 1–2 frases escrito por la IA y la fecha. Haz clic en una fila para abrir el resultado por criterio con su razonamiento y fiabilidad («Confirmado por datos», «Parcial / autodeclarado», «Sin datos»). El razonamiento y el resumen se escriben en el idioma principal del agente. La vista general también muestra la «Puntuación media de ajuste».
• Los detalles de la conversación: los mismos resultados y razonamientos en «Evaluación con IA» de la pestaña «Análisis»; la «Puntuación general» también aparece arriba en la pestaña «Resumen».

Los criterios sí/no muestran una insignia: «Éxito» en verde, «Fallo» en rojo, «Desconocido» en gris. Los criterios de puntuación muestran los puntos como «4 / 5» (solo el número si el máximo es 100); en la ventana abierta desde la lista «Evaluaciones», también aparece una barra debajo.

La puntuación general de la conversación es la media en una escala de 0 a 100: un criterio de puntuación cuenta como sus puntos divididos por su máximo (4 de 5 cuenta como 80), «Éxito» cuenta como 100 y «Fallo» como 0. Los resultados «Desconocido» y los criterios que la evaluación no pudo devolver quedan fuera.

En la ventana que se abre al hacer clic en una fila de la lista «Evaluaciones», el gráfico comparativo solo muestra criterios de puntuación; los criterios sí/no aparecen debajo con su insignia.

El resultado de cada criterio muestra «Basado en»: se apoya en una respuesta («Respuesta: …»), un mensaje del visitante («Mensaje 3») o un archivo («Archivo: …»). En los detalles de la conversación, haz clic en una etiqueta de mensaje para desplazarte hasta él.

Si el visitante vuelve a una conversación terminada y escribe de nuevo, o llega una respuesta nueva, la conversación se evalúa otra vez cuando termina de nuevo y la nueva puntuación sustituye a la anterior. Una conversación se evalúa como máximo 3 veces en total.

Los criterios que no se pudieron puntuar se muestran aparte. Si no se ha puntuado ninguna conversación, Analítica muestra «La evaluación está desactivada» o «Aún no hay evaluaciones»; los propietarios y administradores también ven el enlace «Configurar la evaluación».

Créditos

Cada evaluación consume créditos (incluida la lectura de archivos). Una conversación se evalúa como máximo 3 veces, y el coste aparece como «Evaluación» en el desglose de créditos de la conversación. Si te quedas sin créditos, la evaluación y el análisis de sentimiento no se ejecutan.

Análisis de sentimiento

La IA lee cada mensaje que el visitante escribió al agente y lo valora de dos formas: sentimiento («Muy negativo», «Negativo», «Neutral», «Positivo», «Muy positivo») y frustración («Ninguna», «Baja», «Moderada», «Alta»). Así ves en qué conversaciones el visitante escribió de forma negativa o se frustró.

El interruptor de la tarjeta «Análisis de sentimiento» está activado por defecto en cada agente. Para desactivarlo, hazlo en la pestaña «Evaluación», haz clic en «Guardar» y, en un agente publicado, en «Publicar». Igual que la evaluación, forma parte de la versión del agente: el nuevo ajuste se aplica a las conversaciones que empiezan después de publicar.

El análisis se ejecuta en segundo plano cuando termina la conversación o el visitante deja de escribir durante 30 minutos. Solo funciona en las partes en que el visitante habla con el agente (paso Asistente de IA); las respuestas a otros pasos no se leen.

El resultado aparece en dos pestañas de los detalles de la conversación:

• En la lista superior de la pestaña «Resumen», la fila «Sentimiento» (según el último mensaje del visitante) y la fila «Frustración» (según el peor momento del visitante).
• En la pestaña «Análisis», un gráfico mensaje a mensaje: pasa el cursor sobre un punto para ver el mensaje y sus valoraciones; haz clic para desplazarte hasta él.
• En la misma pestaña, «Peor momento: mensaje 3»: haz clic para desplazarte hasta ese mensaje.

En la transcripción, los mensajes negativos o con frustración llevan una pequeña insignia debajo.

El análisis consume créditos (la nota bajo la tarjeta lo recuerda); el coste aparece como «Análisis de sentimiento» en el desglose de créditos de la conversación. Los visitantes nunca ven nada de esto.

Visitantes frustrados

Con el análisis de sentimiento activado, el agente también nota durante la conversación que el visitante está frustrado: cuando se molesta, se queja de tener que preguntar lo mismo otra vez o quiere hablar con una persona. No hay un interruptor aparte; en ese mensaje, la respuesta del agente puede consumir algunos créditos más.

En ese momento:

• El agente se disculpa brevemente y responde de forma corta y clara. Si puede tomar solicitudes (la herramienta de solicitudes está activada o el paso lleva a un paso de solicitud), ofrece una vez pasar el asunto a tu equipo.
• Tu equipo recibe la notificación «Visitante frustrado», con un enlace a la conversación. Se envía una vez por conversación; elige adónde va en la página Alertas y notificaciones.
• La frustración de la conversación pasa a «Alta»: aparece una insignia roja «Frustración: Alta» en la lista Conversaciones. Cuando se ejecuta el análisis, el nivel se fija según las valoraciones de los mensajes.

Funciona en las conversaciones de tu sitio web y a través del enlace compartido.