Como as conversas são avaliadas pela IA?

Para que serve?

Toda conversa concluída é avaliada pela IA com base nos critérios que você define: cada critério é respondido com sim/não ou pontuado, e a conversa recebe uma pontuação geral de 0 a 100. Cada resultado traz seu raciocínio, em que se baseia e o quanto esses dados são confiáveis. Use, por exemplo, para fazer uma triagem das conversas ou decidir quais visitantes contatar primeiro.

A “Análise de sentimento”, na mesma aba, lê as mensagens que o visitante escreveu ao agente e mostra se cada uma é positiva, neutra ou negativa e se o visitante está frustrado (veja abaixo).

Os resultados aparecem na aba “Análise” do agente e nos detalhes da conversa; os visitantes nunca os veem.

O que a avaliação lê?

Em cada conversa concluída, a avaliação lê:

• As respostas do visitante às etapas.
• O que o visitante escreveu ao agente nas etapas Assistente de IA.
• Se você escolher, o conteúdo dos documentos e imagens que o visitante enviou nas etapas Envio de arquivo. Para incluí-los, ative a chave “Avaliar também o conteúdo dos arquivos enviados” (veja abaixo). Arquivos com mais de 90 dias não são lidos.

As mensagens do próprio agente são lidas só como contexto: algo que o agente disse não conta como informação do visitante. Algo que o visitante só disse na conversa conta como declaração dele; não é tratado como tão confiável quanto uma resposta a uma etapa ou um dado em um documento.

Ativar a avaliação

1. Abra a aba “Avaliação” no editor de fluxos.
2. Ative a chave à direita do card “Avaliação por IA”. Enquanto estiver desativada, os critérios ficam guardados, mas ocultos, e as conversas concluídas não são pontuadas.
3. Para que os arquivos também sejam lidos, ative a chave “Avaliar também o conteúdo dos arquivos enviados” que aparece no card. Ela vem desativada. Avaliações que leem arquivos usam mais créditos.
4. Clique em “Adicionar critério”. Na janela, escreva o nome do critério (“Critério”, por exemplo, Saúde financeira), escolha o “Tipo de avaliação” (veja abaixo) e preencha “Instruções de avaliação”: descreva a que a IA deve prestar atenção ao avaliar esse critério e qual resposta, parte da conversa ou dado em um arquivo observar. Clique em “Salvar” na janela para adicionar o critério à lista.
5. Adicione mais critérios se precisar e salve o agente com “Salvar” no editor.
6. Em um agente publicado, clique em “Publicar”. A avaliação faz parte da versão do agente: a nova configuração vale para conversas iniciadas depois de publicar.

Cada critério aparece na lista com número, nome, primeira linha das instruções e tipo (“Sim / Não” ou algo como “0–10 pontos”), além de quantas referências tem. Para editar um, clique na linha ou no lápis: a mesma janela abre; mantenha as alterações com “Salvar” ou descarte com “Cancelar”.

Se a avaliação estiver ativada, mas sem critérios, as conversas não são pontuadas. Com a avaliação ativada, o agente não pode ser salvo se um critério não tiver nome ou instruções; a linha dele mostra o selo “Incompleto”.

Só proprietários e administradores podem alterar as configurações de avaliação e análise de sentimento; as outras funções só podem ver a aba. Todos podem ver os resultados.

Tipo de avaliação

O seletor “Tipo de avaliação” na janela do critério define como ele é respondido. Critérios novos começam como “Sim / Não”.

• “Sim / Não”: o resultado é “Sucesso”, “Falha” ou “Desconhecido”. “Desconhecido” significa que os dados não bastaram para decidir, e não conta na pontuação geral. Bom para perguntas como “A pergunta do visitante foi respondida até o fim da conversa?”
• “Pontuação”: o critério é pontuado de 0 até o número informado em “Pontuação máxima”. O mínimo é sempre 0; o máximo pode ser um número inteiro de 1 a 100, e novos critérios de pontuação começam em 10. Em “Rubrica de pontuação (opcional)”, você pode descrever como os pontos são dados, por exemplo, “Dê 1 ponto pela saudação, 1 por entender o problema e até 3 pela qualidade da solução.”

Critérios adicionados antes de ser possível escolher um tipo funcionam como critérios “Pontuação” com máximo de 100; os resultados deles não mudam.

Documentos e links de referência

Na janela de um critério, você pode adicionar “Referências” opcionais, como o guia de pontuação da sua organização:

• “Enviar documento (PDF, DOCX, TXT, MD)”: até 10 MB.
• “Link de referência”: informe o endereço e clique em “Buscar”.

Cada critério pode ter um documento e um link; são usados os primeiros 3.000 caracteres de cada um.

O texto da referência vai para o modelo com as instruções; o arquivo em si não é armazenado. Para excluir um critério, clique na lixeira da linha dele; se ele tiver instruções ou uma referência, será preciso confirmar primeiro. O agente no ar só muda quando você salva e publica.

Ler os resultados

A avaliação roda em segundo plano depois que a conversa é concluída. Os resultados aparecem em dois lugares:

• A visualização “Avaliações” na aba “Análise”: a pontuação média e a distribuição de pontuações. A lista é ordenada da maior pontuação; cada linha mostra o visitante, a pontuação geral, um resumo de 1–2 frases escrito pela IA e a data. Clique em uma linha para abrir o resultado por critério com raciocínio e confiança (“Confirmado por dados”, “Parcial / autodeclarado”, “Sem dados”). O raciocínio e o resumo são escritos no idioma principal do agente. A visão geral também mostra a “Pontuação média de adequação”.
• Os detalhes da conversa: os mesmos resultados e raciocínios em “Avaliação por IA” na aba “Análise”; a “Pontuação geral” também aparece no topo da aba “Resumo”.

Critérios sim/não mostram um selo: “Sucesso” em verde, “Falha” em vermelho, “Desconhecido” em cinza. Critérios de pontuação mostram os pontos como “4 / 5” (só o número quando o máximo é 100); na janela aberta pela lista “Avaliações”, também aparece uma barra abaixo deles.

A pontuação geral da conversa é a média em uma escala de 0 a 100: um critério de pontuação conta como seus pontos divididos pelo máximo (4 de 5 conta como 80), “Sucesso” conta como 100 e “Falha” como 0. Resultados “Desconhecido” e critérios que a avaliação não conseguiu retornar ficam de fora.

Na janela que abre ao clicar em uma linha da lista “Avaliações”, o gráfico comparativo mostra só critérios de pontuação; critérios sim/não aparecem abaixo com o selo.

O resultado de cada critério mostra “Com base em”: ele se apoia em uma resposta (“Resposta: …”), uma mensagem do visitante (“Mensagem 3”) ou um arquivo (“Arquivo: …”). Nos detalhes da conversa, clique em uma etiqueta de mensagem para rolar até ela.

Se o visitante voltar a uma conversa encerrada e escrever de novo, ou chegar uma nova resposta, a conversa é avaliada outra vez quando terminar de novo e a nova pontuação substitui a antiga. Uma conversa é avaliada no máximo 3 vezes no total.

Critérios que não puderam ser pontuados são listados à parte. Se nenhuma conversa foi pontuada, a Análise mostra “A avaliação está desativada” ou “Ainda não há avaliações”; proprietários e administradores também veem o link “Configurar avaliação”.

Créditos

Toda avaliação usa créditos (inclusive a leitura de arquivos). Uma conversa é avaliada no máximo 3 vezes, e o custo aparece como “Avaliação” no detalhamento de créditos da conversa. Se seus créditos acabarem, a avaliação e a análise de sentimento não rodam.

Análise de sentimento

A IA lê cada mensagem que o visitante escreveu ao agente e a classifica de duas formas: sentimento (“Muito negativo”, “Negativo”, “Neutro”, “Positivo”, “Muito positivo”) e frustração (“Nenhuma”, “Baixa”, “Moderada”, “Alta”). Assim você vê em quais conversas o visitante escreveu de forma negativa ou ficou frustrado.

A chave do card “Análise de sentimento” vem ativada em todo agente. Para desligar, desative-a na aba “Avaliação”, clique em “Salvar” e, em um agente publicado, em “Publicar”. Como a avaliação, ela faz parte da versão do agente: a nova configuração vale para conversas iniciadas depois de publicar.

A análise roda em segundo plano quando a conversa termina ou o visitante para de escrever por 30 minutos. Ela só funciona nas partes em que o visitante fala com o agente (etapa Assistente de IA); respostas a outras etapas não são lidas.

O resultado aparece em duas abas dos detalhes da conversa:

• Na lista no topo da aba “Resumo”, a linha “Sentimento” (com base na última mensagem do visitante) e a linha “Frustração” (com base no pior momento do visitante).
• Na aba “Análise”, um gráfico mensagem por mensagem: passe o cursor sobre um ponto para ver a mensagem e as classificações; clique para rolar até ela.
• Na mesma aba, “Pior momento: mensagem 3”: clique para rolar até essa mensagem.

Na transcrição, mensagens negativas ou com frustração ganham um pequeno selo abaixo.

A análise usa créditos (a nota abaixo do card lembra disso); o custo aparece como “Análise de sentimento” no detalhamento de créditos da conversa. Os visitantes nunca veem nada disso.

Visitantes frustrados

Com a análise de sentimento ativada, o agente também percebe durante a conversa quando o visitante está frustrado: quando se irrita, reclama de ter que perguntar a mesma coisa de novo ou quer falar com uma pessoa. Não há uma chave separada para isso; nessa mensagem, a resposta do agente pode usar um pouco mais de créditos.

Nesse momento:

• O agente pede desculpas rapidamente e responde de forma curta e clara. Se puder receber solicitações (a ferramenta de solicitação está ativada ou a etapa leva a uma etapa de solicitação), oferece uma vez passar o assunto para sua equipe.
• Sua equipe recebe a notificação “Visitante frustrado”, com um link para a conversa. Ela é enviada uma vez por conversa; escolha para onde vai na página Alertas e notificações.
• A frustração da conversa passa a “Alta”: um selo vermelho “Frustração: Alta” aparece na lista Conversas. Quando a análise roda, o nível é definido pelas classificações das mensagens.

Funciona em conversas no seu site e pelo link de compartilhamento.