Introdução

O relatório Base de Classificação é uma amostra dos atendimentos do bot. Esse relatório é gerado por meio de cálculos estatísticos e exibe alguns atendimentos do período selecionado.

Extraindo uma amostra, é possível analisar as interações dos usuários com o bot, evidenciando comportamentos incorretos e oportunidades de melhoria, como respostas incorretas e assuntos não contemplados na base de conhecimento.

Como alguns bots possuem grande quantidade de atendimentos durante o mês, o relatório Base de Classificação permite a verificação da performance do cérebro do bot sem a necessidade de análises extensas sobre cada atendimento realizado no período. Após a análise, é possível visualizar uma comparação entre os indicadores da amostra analisada e o total da base de atendimentos do período.

O relatório também conta com um percentual de confiabilidade e uma margem de erro para os indicadores analisados.

Extração

Para extrair o relatório, deve-se informar qual o período desejado, assim como qual a origem, canal e audiência dos atendimentos que se deseja analisar. 

Também é possível definir um contexto específico para ser analisado.

Defina o tamanho da amostra ao clicar no botão "Estimar", que exibirá uma quantidade de atendimentos necessários de serem analisados para que os dados sejam estatisticamente válidos, ou seja, com um grau de confiabilidade de 95% e margem de erro entre 3% e 7%.

Preencha os campos e clique na opção "Download" para extrair seu relatório.

Campos para extração do relatório

E o que significam os campos?

• Origem: 

Por onde o usuário iniciou o atendimento. (ex: Página principal do site, área logada ou área não logada);

• Canal:

Define qual canal de contato foi utilizado pelo usuário. (ex: Site Web, Whatsapp e Facebook); 

• Audiência: 

Identifica a audiência dos atendimentos que serão analisados. (ex: Clientes e Não Clientes)

• Contexto:

Define se a análise será feita sobre um contexto específico. (ex: Respostas para público interno ou externo);

• Período: 

Determina o período que será analisado. (ex: 01/05/2022 a 15/05/2022);

• Tamanho de amostra (opcional): 

Define a quantidade de atendimentos que serão analisados. Ao clicar no botão "Estimar", o sistema sugere uma quantidade de atendimentos que deverão ser analisados com base no total de atendimentos do período.

Análise

Esse relatório possui seis abas, cada uma responsável por uma atividade específica.

• Listas;
• Capa;
• Log Amostra;
• Indicadores quantitativos;
• Indicadores qualitativos;
• Semântico.

Listas

Nesta aba, estão presentes as classificações que serão realizadas sobre as interações, quais serão as ações de tratativa e qual a avaliação do comentário.

Classificações de acordo com cada campo da análise.

Capa

A capa do relatório traz informações importantes sobre a análise.

Capa da Base de Classificação.

Informações presentes:

• Nome do bot;
• Grau de Confiabilidade;
• Margem de Erro;
• Inicio do Período;
• Fim do Período;
• Base (Total de atendimentos do período);
• Amostra (Número de atendimentos que serão analisados).

Log amostra

Essa é a parte do relatório onde será feita a classificação das interações de acordo com a resposta apresentada pelo bot.

As cores do índice da tabela definem se as informações são sobre a base de atendimento, ou se são campos onde devemos preencher durante a análise.

Capa da Base de Classificação.

Para facilitar a visualização, os termos na cor Azul são itens referentes a base de atendimentos. Os escritos em Verde são campos da análise, que devem ser preenchidos.

• CHAVE_CHAT: Identificador do atendimento;
• ID_LOG: Identificador da interação;
• PERGUNTA: Pergunta realizada pelo usuário;
• ID_RESPOSTA: Número da resposta apresentada ao usuário;
• RESPOSTA: Conteúdo da resposta apresentada ao usuário;
• ADEQUADA: Campo para preenchimento sobre adequação da resposta;
  • SIM: Respostas Adequadas;
  • Falso positivo: Respostas incorretas;
  • Falso negativo: Perguntas que o bot não entendeu, mas o assunto está na base de conhecimento.
• AÇÃO: Campo para preenchimento sobre a ação necessária;
  • Treinar pergunta: Para que a pergunta seja entendida corretamente,  se faz necessário adicionar a pergunta do usuário ao conjunto semântico;
  • Dicionário: Para que a pergunta seja entendida corretamente, se faz necessário um ajuste no dicionário;
  • Criar resposta: Caso o assunto perguntado não esteja contemplado na base de conhecimento;
  • Ajustar resposta: A resposta necessita de ajustes de fraseologia;
  • Não tratar: Sem ações necessárias.
• ID_RESP_CORRETA: Utiliza-se no caso de respostas incorretas. O campo define o número da resposta correta que deveria ser apresentada.
• OBS_ANALISE: Campo livre para adicionar observações sobre a análise da interação.
• PERGUNTA_PARA_CADASTRO: Utiliza-se no caso de respostas incorretas. Pergunta que será adicionada ao semântico da resposta correta. 
• ID_CLIENTE: Número único utilizado como identificador do usuário (ex: CPF ou E-mail).
• RETIDO: Identifica se o usuário foi transferido ao atendimento humano ou não (Transferido: 1 / Retido: 0).
• DATA_PERGUNTA: Data em que a interação foi realizada.
• HORA_PERGUNTA: Horário em que a interação foi realizada.
• RESPONDEDOR: Nome do bot.
• ORIGEM: Origem do usuário que realizou a interação.
• CHANNEL: Canal utilizado pelo usuário para realizar a interação.
• NR_ENGINE: Número identificador do mecanismo utilizado pelo bot para encontrar a resposta apresentada.
• DS_ENGINE: Nome do mecanismo utilizado pelo bot para encontrar a resposta apresentada.
• NR_ORIGEM_PERGUNTA: Número de identificação da origem da pergunta do usuário. 
• ORIGEM_PERGUNTA: Nome da origem da pergunta do usuário (Livre, Redirecionamento, Saiba mais automático e Lista de sugestão).
• TIPO_RESPOSTA: Identifica se a pergunta foi respondida ou não respondida.
• DS_TARGET: Nome da audiência do usuário que realizou a interação (ex: Cliente e Não Cliente).

Indicadores Quantitativos

A aba de Indicadores Quantitativos contabiliza o número de interações, relacionando com os principais assuntos da Base e da Amostra.

Os dados na tabela roxa, denominada "Base", representam os dados reais do total de atendimentos do período analisado.

Os dados na tabela laranja, denominada "Amostra", exibe os dados da amostra analisada.

Indicadores Qualitativos

A aba de indicadores qualitativos é preenchida após a classificação do relatório, na aba "Log Amostra".

Assim como a aba de indicadores quantitativos, há a separação entre dados da Base e da Amostra, diferenciado pelas cores roxa e laranja.

Essa aba traz diversas informações sobre as interações com o bot e seu comportamento, assim como traz a visão do comportamento dos usuários ao utilizar o bot.

Semântico

Esta aba traz uma visão aprofundada sobre o funcionamento do bot, porcentagens de respostas respondidas tanto no total da Base quanto sobre os dados da Amostra.

Também é possível analisar as porcentagens de Semântico Geral, Semântico Qualitativo e Semântico de IA.

Semântico Geral: Cálculo básico que considera perguntas respondidas menos as "não respondidas", demonstrando o percentual de acurácia do bot no total de respostas.

Semântico Qualitativo: Considera apenas as perguntas que foram respondidas corretamente, de acordo com a análises e classificações realizadas. Identifica a assertividade do bot. 

Semântico de IA: Identifica o percentual de pergunta livres que foram respondidas corretamente, ou seja, perguntas que foram digitadas pelo usuário e compreendidas corretamente pelo bot.