Un saluto a tutte e tutti,
sto progettando il chatbot di Regione Toscana e avrei bisogno della community per un confronto sulle metriche che misureranno sia le performance del bot che l’esperienza utente.
Alcune specifiche del progetto, che verrà rilasciato nella versione 1.0 in estate:
- Il bot darà risposte su bandi e opportunità, servizi e competenze digitali
- Le funzionalità per il primo rilascio saranno: feedback positivo, feedback negativo, copia messaggio.
Tenendo presente questi vincoli, ho preparato una prima lista di metriche.
Cosa potrei aggiungere o modificare? Grazie per il vostro feedback.
| Metrica | Dettaglio |
|---|---|
| Contenimento | La percentuale di conversazioni gestite interamente dall’assistente AI con successo, completando l’obiettivo dell’utente |
| Numero di Passaggi | I passaggi sono il numero di conversazioni che vengono passate ad un operatore o alle quali il bot risponde con risorse generiche (contatti, link). Perché avvengono i passaggi? Ci saranno dei casi in cui il bot non potrà completare l’obiettivo dell’utente (non riusce a classificare l’intento oppure non supera la soglia di confidenza per dare la risposta). Questa metrica misura il numero di passaggi. |
| Reazione al passaggio | Quale azione compie l’utente dopo che il bot ha risposto con un passaggio verso operatore o risorse generiche |
| Copertura | La percentuale di intenti o argomenti che l’assistente è in grado di gestire. |
| Tempo di risoluzione | Il tempo necessario per l’assistente per risolvere la richiesta dell’utente. Dobbiamo tenere conto che ci possono essere più interazioni per la raccolta di attributi. |
| Utilizzo per sessione | Quante volte l’assistente è utilizzato dagli utenti in una sessione di navigazione |
| Utilizzo per periodo | Quante volte l’assistente è utilizzato dagli utenti in un determinato periodo |
| Stickiness | Quanto a lungo gli utenti continuano a utilizzare l’assistente nel tempo. |
| Conversation starters | Quanti click per ogni opzione dei conversation starters (i suggerimenti di conversazione) |
| Abbandono - conversation starter | Quante volte l’utente abbandona la conversazione dopo l’uso di un conversation starter |
| Abbandono - out of context | Se l’utente fa domande inappropriate o fuori contesto, il bot risponderà in modo da riportare la conversazione sul suo dominio (es. bandi e opportunità). Questa metrica misura quante volte l’utente abbandona la conversazione dopo la risposta di out of context del bot |
| Features - Feedback positivi | Numero di click sul tasto di feedback positivo |
| Features - Feedback negativi | Numero di click sul tasto di feedback negativo |
| Reazione al feedback negativo | Se l’utente clicca sul tasto di feedback negativo, il bot chiederà maggiori dettagli, come nell’esempio che segue. Perché valuti negativamente questa conversazione? - risposta sbagliata - risposta incompleta - linguaggio e tono non appropriati - altro Questa metrica traccia l’opzione cliccata dall’utente in relazione alla risposta data in precedenza dal bot |
| Features - Copia messaggio | Numero di click sul tasto copia. |