Le percentuali di automazione con l'IA sono confrontabili solo se la definizione che c'è dietro è pubblica. Questa è la nostra, per intero: le stesse regole che governano il codice del prodotto, alla lettera. Quando vedi un numero di Saazly, è questo metodo ad averlo prodotto, e puoi verificarci su di esso.
Le metriche che pubblichiamo
La home page mostra due metriche diverse dallo stesso periodo mobile di 30 giorni del nostro cliente di riferimento Ernst P. Misurano cose diverse e hanno denominatori diversi, per questo i numeri differiscono.
- Quota di chat in cui l'IA risponde per prima. Di tutte le chat che hanno ricevuto almeno una risposta nel periodo, contiamo quelle in cui la prima risposta è arrivata dall'IA e non da una persona. Il denominatore sono le chat con almeno una risposta.
- Chat in cui l'IA ha dato una risposta completa. Il numero di chat del periodo in cui l'IA ha fornito almeno una risposta completa che ha superato il requisito di evidenza. Il denominatore sono tutte le chat avviate nel periodo, comprese quelle rimaste senza risposta. Una persona può aver partecipato alla stessa chat, quindi la metrica non significa che il caso sia stato risolto senza umani.
Entrambe le metriche vengono ricalcolate ogni notte e pubblicate sempre con fonte e periodo accanto al numero.
La definizione di risolto dall'IA
Nei report dei clienti una conversazione conta come risolta dall'IA solo quando tutte e quattro le condizioni sono soddisfatte:
- L'IA ha risposto con una risposta vera, non con un rinvio o delle scuse.
- Nessuna persona è dovuta intervenire dopo: nessun operatore ha risposto, nessun passaggio è stato richiesto e nessuna assegnazione è avvenuta dopo la risposta dell'IA.
- La conversazione si è conclusa: il visitatore l'ha chiusa, oppure è rimasta in silenzio per 24 ore ed è stata chiusa automaticamente dopo 72.
- Il cliente non ha riaperto il caso: una riapertura azzera la classificazione.
Il denominatore
Le quote si calcolano su tutte le conversazioni del periodo in cui l'IA era attiva e ha avuto la possibilità di rispondere, mai su una selezione scelta a mano. Il traffico filtrato dei bot non entra in nessun numero: classifichiamo i crawler noti a livello di rete e contiamo solo persone.
Tre livelli che non mescoliamo mai
- Completamente automatico: l'IA ha risolto il caso da sola secondo la definizione sopra.
- Assistito dall'IA: l'IA ha scritto una bozza che una persona ha modificato o approvato prima dell'invio.
- Umano: un operatore ha gestito il caso.
Un titolo che fonde i tre livelli in un solo numero non dice nulla. Li riportiamo separatamente, sempre con periodo e canale.
Cosa non affermiamo mai
- Non chiamiamo mai una visita alla pagina di conferma ordine un acquisto verificato o un ricavo.
- Non pubblichiamo mai un multiplo senza definizione, denominatore, canale e periodo.
- Non presentiamo mai una correlazione come causa: che due cose vadano insieme non prova che una abbia prodotto l'altra.
- I numeri nelle risposte della nostra IA ai clienti finali richiedono evidenza nel materiale del cliente stesso prima di poter essere detti.
Verificaci
La definizione sopra è la stessa regola codificata nel prodotto, e il report di ogni cliente mostra i propri numeri rispetto a esattamente questo metodo. Lo stato operativo è sempre visibile sulla pagina di stato, e come trattiamo i dati è descritto in GDPR e sicurezza.