Para poder verificar a eficácia do seu modelo de análise, o Cockpit conta com dois dashboards específicos para o Studio de Análise.

Dashboard principal

Neste dashboard estão contempladas todas as informações sobre a performance do modelo de Análise e sua eficácia.

Veja abaixo o significado de cada indicador:

Acurácia

Mede a quantidade de acertos, ou seja, o percentual de acertos sobre todas as interações.

No exemplo, o modelo conseguiu localizar algum sentimento em 89,19% das interações.

Precisão

Este indicador mostra a eficiência do modelo, calculando os sentimentos encontrados acima do percentual de confiança sobre o total de erros.

No exemplo, 97,94% dos sentimentos encontrados nas interações foram classificados corretamente e acima do percentual de confiança.

Recall

Este indicador exibe um comparativo entre o total de sentimentos presentes nas interações e os sentimentos encontrados pelo bot.

No exemplo, entre todos os sentimentos enviados ao bot, 90,48% foi classificado acima do percentual de confiança.

Verdadeiros positivos

Sentimentos encontrados acima do percentual de confiança e que estão corretos. No exemplo, foi utilizado um percentual de 70% para confiança.

Verdadeiros negativos

Sentimentos encontrados abaixo do percentual de confiança.

Falsos positivos

Percentual de sentimentos classificados de forma incorreta, ou seja, quando o bot erra o tipo de sentimento na interação. 

Este indicador só sofrerá alterações caso o usuário informe ao bot que o sentimento classificado foi incorreto, por meio da reclassificação.

Falsos negativos

Este indicador informa a parcela de sentimentos que foram identificados abaixo do percentual de confiança, mas que estavam corretos e deveriam ter sido identificados acima da nota.

Ou seja, casos onde o bot identifique um sentimento na interação corretamente, mas sem o grau de confiança. 

Este indicador só sofrerá alterações caso o usuário informe ao bot que o sentimento classificado foi correto mas abaixo na nota de corte, por meio da reclassificação.


Dashboard de Evolução

Este dashboard exibe todos os indicadores que vimos acima, porém em uma visão levando em consideração o período filtrado.

Esse tipo de indicador é fundamental para entendermos como o modelo de análise está evoluindo, também é possível identificar quais ações devem ser tomadas de acordo com qual indicador queremos que haja uma evolução.


Dessa forma, ao analisar os gráficos, podemos ter a noção de quanto o modelo de análise é efetivo e identificar comportamentos incomuns em determinados dias.