Ako merať úspešnosť chatbota
Spustením chatbot nekončí. Aby priniesol úžitok, treba vedieť, ako sa mu darí: na čo odpovedá dobre, kde zlyháva a či z konverzácií vznikajú obchody. Bez merania sa ťažko zlepšuje.
Ukazovatele, ktoré sledovať
- Vyriešené konverzácie: koľko otázok chatbot zodpovedal bez potreby človeka.
- Odovzdania človeku: koľko a z akých dôvodov. Príliš veľa naznačuje chýbajúce podklady, príliš málo môže znamenať, že chatbot rieši aj to, čo nemá.
- Nezodpovedané otázky: na čo chatbot nevedel odpovedať.
- Hodnotenie odpovedí: napríklad jednoduché palec hore či dole od zákazníka.
- Obchodný výsledok: dopyty, rezervácie alebo nákupy po konverzácii.
- Čas odpovede: ako rýchlo dostal zákazník odpoveď.
Čítajte konverzácie
Čísla ukážu trend, no skutočné problémy uvidíte až v konkrétnych konverzáciách. Pravidelne prechádzajte vzorku rozhovorov, najmä tých s negatívnym hodnotením alebo odovzdaných človeku. Pri tom rešpektujte ochranu osobných údajov a prístup obmedzte na nevyhnutných ľudí.
Ako chatbota zlepšovať
- doplňte podklady k otázkam, na ktoré nevedel odpovedať,
- opravte nepresné alebo zastarané informácie,
- upravte pravidlá odovzdania človeku,
- pridajte odkazy na stránky, kam majú zákazníci pokračovať.
Neprehliadnite, čo chatbot prezrádza o webe
Ak sa veľa ľudí pýta na to isté, informácia na webe chýba alebo je ťažko nájditeľná. Otázky z chatbota sú cenný zdroj na zlepšenie webu aj obsahu, viac v článku FAQ a obsah, ktorý AI rada cituje.
Testy pri zmenách
Pri každej väčšej zmene podkladov alebo modelu otestujte chatbota na súbore typických otázok. Zabránite tak tomu, aby zlepšenie v jednej oblasti zhoršilo inú. Viac o rizikách v článku Prečo si AI vymýšľa.
K chatbotom, ktoré nasadzujeme, nastavujeme aj prehľad, aby ste videli, ako pomáhajú.
