Saazly

Jak liczymy poziom automatyzacji

Procenty automatyzacji AI są porównywalne tylko wtedy, gdy definicja za nimi jest publiczna. Oto nasza w całości: te same reguły, które sterują kodem naszego produktu, dosłownie. Gdy widzisz liczbę od Saazly, wyprodukowała ją ta metoda i możesz nas z niej rozliczyć.

Miary, które publikujemy

Strona główna pokazuje dwie różne miary z tego samego kroczącego okresu 30 dni u naszego klienta referencyjnego Ernst P. Mierzą różne rzeczy i mają różne mianowniki, dlatego liczby się różnią.

  • Udział czatów, w których AI odpowiada pierwsza. Ze wszystkich czatów, które otrzymały co najmniej jedną odpowiedź w okresie, liczymy te, w których pierwsza odpowiedź pochodziła od AI, a nie od człowieka. Mianownikiem są czaty z co najmniej jedną odpowiedzią.
  • Czaty, w których AI udzieliła pełnej odpowiedzi. Liczba czatów w okresie, w których AI dostarczyła co najmniej jedną pełną odpowiedź spełniającą wymóg dowodowy. Mianownikiem są wszystkie czaty rozpoczęte w okresie, także te, które nigdy nie otrzymały odpowiedzi. Człowiek mógł uczestniczyć w tym samym czacie, więc miara nie oznacza, że sprawę rozwiązano całkiem bez człowieka.

Obie miary są przeliczane co noc i zawsze publikowane ze źródłem i okresem obok liczby.

Definicja rozwiązania przez AI

W raportach klientów rozmowa liczy się jako rozwiązana przez AI tylko wtedy, gdy spełnione są wszystkie cztery warunki:

  • AI odpowiedziała prawdziwą odpowiedzią, nie odesłaniem ani przeprosinami.
  • Żaden człowiek nie musiał potem interweniować: żaden operator nie odpowiedział, nie poproszono o przekazanie i nie nastąpiło żadne przydzielenie po odpowiedzi AI.
  • Rozmowa się zakończyła: odwiedzający ją zamknął, albo pozostała cicha przez 24 godziny i została automatycznie zamknięta po 72.
  • Klient nie otworzył sprawy ponownie: ponowne otwarcie zeruje klasyfikację.

Mianownik

Udziały liczymy względem wszystkich rozmów okresu, w których AI była włączona i miała możliwość odpowiedzieć, nigdy względem ręcznie dobranej próbki. Ruch odfiltrowany jako boty nie wchodzi do żadnej liczby: znane crawlery klasyfikujemy na poziomie sieci i liczymy tylko ludzi.

Trzy poziomy, których nigdy nie mieszamy

  • W pełni automatycznie: AI rozwiązała sprawę sama według definicji powyżej.
  • Z pomocą AI: AI napisała szkic, który człowiek zredagował lub zatwierdził przed wysłaniem.
  • Ludzkie: sprawą zajął się operator.

Nagłówek, który zlewa trzy poziomy w jedną liczbę, nie mówi nic. Raportujemy je osobno, zawsze z okresem i kanałem.

Czego nigdy nie twierdzimy

  • Nigdy nie nazywamy wizyty na stronie potwierdzenia zamówienia zweryfikowanym zakupem ani przychodem.
  • Nigdy nie publikujemy mnożnika bez definicji, mianownika, kanału i okresu.
  • Nigdy nie przedstawiamy korelacji jako przyczyny: to, że dwie rzeczy idą w parze, nie dowodzi, że jedna wywołała drugą.
  • Liczby w odpowiedziach naszej AI dla klientów końcowych wymagają dowodu we własnych materiałach klienta, zanim wolno je wypowiedzieć.

Sprawdź nas

Definicja powyżej to ta sama reguła zakodowana w produkcie, a własny raport każdego klienta pokazuje jego liczby dokładnie według tej metody. Stan działania zawsze zobaczysz na stronie statusu, a sposób, w jaki obchodzimy się z danymi, opisano w sekcjach RODO i bezpieczeństwo.

Jak liczymy poziom automatyzacji – Saazly