Saazly

Como medimos a automatização

As percentagens de automatização com IA só são comparáveis quando a definição por trás delas é pública. Esta é a nossa, por inteiro: as mesmas regras que governam o código do produto, à letra. Quando vê um número da Saazly, foi este método que o produziu, e pode verificar-nos contra ele.

As métricas que publicamos

A página inicial mostra duas métricas diferentes do mesmo período móvel de 30 dias do nosso cliente de referência Ernst P. Medem coisas diferentes e têm denominadores diferentes, por isso os números diferem.

  • Percentagem de chats em que a IA responde primeiro. De todos os chats que receberam pelo menos uma resposta no período, contamos aqueles em que a primeira resposta veio da IA e não de uma pessoa. O denominador são os chats com pelo menos uma resposta.
  • Chats em que a IA deu uma resposta completa. O número de chats do período em que a IA entregou pelo menos uma resposta completa que passou o requisito de evidência. O denominador são todos os chats iniciados no período, incluindo os que nunca receberam resposta. Uma pessoa pode ter participado no mesmo chat, pelo que a métrica não significa que o caso foi resolvido sem humanos.

Ambas as métricas são recalculadas todas as noites e publicadas sempre com fonte e período junto ao número.

A definição de resolvido pela IA

Nos relatórios de cliente, uma conversa só conta como resolvida pela IA quando as quatro condições estão preenchidas:

  • A IA respondeu com uma resposta verdadeira, não com um reencaminhamento nem um pedido de desculpas.
  • Nenhuma pessoa precisou de intervir depois: nenhum operador respondeu, nenhuma transferência foi pedida e nenhuma atribuição aconteceu depois da resposta da IA.
  • A conversa terminou: o visitante fechou-a, ou ficou em silêncio 24 horas e foi fechada automaticamente após 72.
  • O cliente não reabriu o caso: uma reabertura anula a classificação.

O denominador

As percentagens são calculadas sobre todas as conversas do período em que a IA estava ativa e teve oportunidade de responder, nunca sobre uma seleção escolhida a dedo. O tráfego filtrado de bots não entra em nenhum número: classificamos crawlers conhecidos ao nível da rede e contamos apenas pessoas.

Três níveis que nunca misturamos

  • Totalmente automático: a IA resolveu o caso sozinha segundo a definição acima.
  • Assistido por IA: a IA escreveu um rascunho que uma pessoa editou ou aprovou antes do envio.
  • Humano: um operador tratou do caso.

Um título que funde os três níveis num único número não diz nada. Reportamo-los separadamente, sempre com período e canal.

O que nunca afirmamos

  • Nunca chamamos compra verificada ou receita a uma visita à página de confirmação de encomenda.
  • Nunca publicamos um múltiplo sem definição, denominador, canal e período.
  • Nunca apresentamos correlação como causa: duas coisas andarem juntas não prova que uma causou a outra.
  • Os números nas respostas da nossa IA a clientes finais exigem evidência no próprio material do cliente antes de poderem ser ditos.

Verifique-nos

A definição acima é a mesma regra codificada no produto, e o relatório de cada cliente mostra os seus números contra exatamente este método. O estado operacional está sempre visível na página de estado, e a forma como tratamos os dados está descrita em RGPD e segurança.

Como medimos a automatização – Saazly