Saazly

Cómo medimos la automatización

Los porcentajes de automatización con IA solo son comparables cuando la definición que hay detrás es pública. Esta es la nuestra al completo: las mismas reglas que gobiernan el código de nuestro producto, literalmente. Cuando veas una cifra de Saazly, este es el método que la produjo, y puedes comprobarnos contra él.

Las métricas que publicamos

La página de inicio muestra dos métricas distintas del mismo periodo móvil de 30 días de nuestro cliente de referencia Ernst P. Miden cosas distintas y tienen denominadores distintos, por eso las cifras difieren.

  • Porcentaje de chats donde la IA responde primero. De todos los chats que recibieron al menos una respuesta durante el periodo, contamos aquellos donde la primera respuesta vino de la IA y no de una persona. El denominador son los chats con al menos una respuesta.
  • Chats donde la IA dio una respuesta completa. El número de chats del periodo donde la IA entregó al menos una respuesta completa que superó el requisito de evidencia. El denominador son todos los chats iniciados en el periodo, incluidos los que nunca recibieron respuesta. Una persona puede haber participado en el mismo chat, así que la métrica no significa que el caso se resolviera sin humanos.

Ambas métricas se recalculan cada noche y se publican siempre con fuente y periodo junto a la cifra.

La definición de resuelto por la IA

En los informes de cliente, una conversación cuenta como resuelta por la IA solo cuando se cumplen las cuatro condiciones:

  • La IA respondió con una respuesta real, no con una derivación ni una disculpa.
  • Ninguna persona tuvo que intervenir después: ningún operador respondió, no se pidió ningún traspaso y no hubo ninguna asignación tras la respuesta de la IA.
  • La conversación terminó: el visitante la cerró, o permaneció en silencio 24 horas y se cerró automáticamente a las 72.
  • El cliente no reabrió el caso: una reapertura anula la clasificación.

El denominador

Los porcentajes se calculan contra todas las conversaciones del periodo donde la IA estaba activada y tuvo ocasión de responder, nunca contra una selección escogida a mano. El tráfico filtrado de bots no entra en ninguna cifra: clasificamos los rastreadores conocidos a nivel de red y solo contamos personas.

Tres niveles que nunca mezclamos

  • Totalmente automático: la IA resolvió el caso sola según la definición anterior.
  • Asistido por IA: la IA escribió un borrador que una persona editó o aprobó antes de enviarlo.
  • Humano: un operador gestionó el caso.

Un titular que funde los tres niveles en una sola cifra no dice nada. Los reportamos por separado, siempre con periodo y canal.

Lo que nunca afirmamos

  • Nunca llamamos compra verificada ni ingreso a una visita a la página de confirmación de pedido.
  • Nunca publicamos un múltiplo sin definición, denominador, canal y periodo.
  • Nunca presentamos correlación como causa: que dos cosas vayan juntas no demuestra que una causara la otra.
  • Las cifras en nuestras respuestas de IA a clientes finales requieren evidencia en el propio material del cliente antes de poder decirse.

Compruébanos

La definición anterior es la misma regla codificada en el producto, y el informe de cada cliente muestra sus cifras contra exactamente este método. Puedes ver el estado operativo en la página de estado, y cómo tratamos los datos se describe en RGPD y seguridad.

Cómo medimos la automatización – Saazly