Para poder verificar a eficácia do seu modelo de análise, o Cockpit conta com dois dashboards específicos para o Studio de Análise.
Dashboard principal
Neste dashboard estão contempladas todas as informações sobre a performance do modelo de Análise e sua eficácia.
Veja abaixo o significado de cada indicador:
Acurácia
Mede a quantidade de acertos, ou seja, o percentual de acertos sobre todas as interações.
No exemplo, o modelo conseguiu localizar algum sentimento em 89,19% das interações.
Precisão
Este indicador mostra a eficiência do modelo, calculando os sentimentos encontrados acima do percentual de confiança sobre o total de erros.
No exemplo, 97,94% dos sentimentos encontrados nas interações foram classificados corretamente e acima do percentual de confiança.
Recall
Este indicador exibe um comparativo entre o total de sentimentos presentes nas interações e os sentimentos encontrados pelo bot.
No exemplo, entre todos os sentimentos enviados ao bot, 90,48% foi classificado acima do percentual de confiança.
Verdadeiros positivos
Sentimentos encontrados acima do percentual de confiança. No exemplo, foi utilizado um percentual de 70% para confiança.
Verdadeiros negativos
Sentimentos encontrados abaixo do percentual de confiança.
Falsos positivos
Percentual de sentimentos classificados de forma incorreta, ou seja, quando o bot erra o tipo de sentimento na interação.
Este indicador só sofrerá alterações caso o usuário informe ao bot que o sentimento classificado foi incorreto, por meio da reclassificação.
Falsos negativos
Este indicador informa a parcela de sentimentos que foram identificados abaixo do percentual de confiança, mas que deveriam ter sido identificados acima da nota.
Ou seja, casos onde o bot não identifique um sentimento na interação com certeza, mas que deveria ter identificado, de acordo com o material que foi utilizado no treinamento.
Dashboard de Evolução
Este dashboard exibe todos os indicadores que vimos acima, porém em uma visão levando em consideração o período filtrado.
Esse tipo de indicador é fundamental para entendermos como o modelo de análise está evoluindo, também é possível identificar quais ações devem ser tomadas de acordo com qual indicador queremos que haja uma evolução.
Dessa forma, ao analisar os gráficos, podemos ter a noção de quanto o modelo de análise é efetivo e identificar comportamentos incomuns em determinados dias.