Analýza konverzačních prostředí je dozajista stejně neoddiskutovatelnou součástí jejich tvorby jako je příprava konverzačního stromu nebo vycvičení rozpoznávání přirozeného jazyka (NLP). Tím, že se chatbot spustí, práce na něm zdaleka nekončí. Je potřeba měřit, jak se chatbot chová, jak rozumí uživatelům a jak dokáže pomoct s jejich problémy. Analytika botů je proces, při kterém analyzujeme proběhlé konverzace, abychom získali právě tento vhled do toho, jakého výkonu náš chatbot dosahuje. Jedině s úplným poznáním zasazeným do kontextu je tvůrce bota schopný vyhodnotit, ve kterých oblastech funguje bot správně a naopak u kterých problematik je potřeba původní záměr upravit nebo třeba změnit úplně. A v neposlední řadě je pro spokojenost se službou, kterou si klient zaplatil, zásadní i uživatelská zkušenost.

Soustředit se na to opravdu důležité

Na začátku každého projektu by měla stát úvaha o tom, jaké klíčové metriky budeme u chatbota sledovat. Podobně jako si stanovujeme klíčové ukazatele výkonnosti (KPI) u analytiky webu nebo sociálních sítí, analogicky stanovíme i klíčové ukazatele u chatbotů. Hodnoty některých metrik se budou měřit u všech botů stejně — míra porozumění psanému textu nebo sentiment zpětné vazby budeme vždy vyhodnocovat podobně.

Jiné metriky se budou lišit podle toho, co má bot za cíl. Jinak se budeme dívat na metriku uskutečněných interakcí u marketingového bota, který se bude snažit o zvýšení prodeje nebo o budování povědomí o značce. U takového bota bude důležité sledovat, kolik času s ním uživatelé tráví. A čím větší počet interakcí na jednu konverzaci, tím lépe.

Naopak u bota, jenž pomáhá se zákaznickou podporou a který je designovaný tak, aby co nejrychleji vyřešil zákazníkův problém, bude naopak žádoucí, aby interakcí v jedné konverzaci bylo co nejméně. Tedy aby cesta od příchodu uživatele k vyřešení problému, co možná nejkratší.

Jaké metriky sledujeme ve Wingbotu?

Počet konverzací

Hodnocení této metriky bude společné napříč různými cíli chatbota. Obrazně řečeno když bude konverzací málo, bude se chatbot “nudit” a zdaleka tak nenaplní svůj potenciál.

Kolik času / peněz ušetří bot

Pokud máme údaje o tom, kolik zabere činnost, kterou bot řeší, lidskému operátorovi, můžeme za pomocí počtu konverzací přepočítat, kolik bot ušetří času (resp. financí).

Počet vygenerovaných leadů / kandidátů

Ať už se jedná o náborového nebo lead generation bota, bude nejdůležitější metrikou to, kolik kontaktů dokáže bot získat.

Průměrný počet interakcí na jednu konverzaci

Jak bylo řečeno, hodnota této metriky bude žádoucí v různých případech různě. U některých botů (např. marketingový bot, lead generation bot, apod.) bude žádoucí, aby bylo co nejvyšší. Naopak u botů pro customer care bude lepší, když bude cesta co nejkratší.

Počet konverzací se založením ticketu / míra přepojení na živého operátora

Tato metrika nepřímo ukazuje na to, jak dobře dokáže bot řešit problémy uživatele. Pokud je vysoká, ukazuje na to, že bot není schopný adekvátním způsobem poskytnout uživatelům odpovědi.

Celková míra porozumění

Tuto metriku jsme si definovali jako souhrn všech uživatelských konverzací, které proběhly úspěšně až na konec. Měříme tím to, do jaké míry byl bot schopný vyřešit problém uživatele.

Míra porozumění textu

Oproti předchozí metrice, u porozumění textu bereme ohled pouze na textové vstupy uživatelů a procentuální míru porozumění NLP.

Poměr využití tlačítek (Quick Replies) a psaného textu

Zkoumáme i to, jak uživatelé s botem reagují. Tato metrika nám ukazuje poměr textových vstupů a kliky na Quick Replies.

Míra poskytnutí zpětné vazby

Pokud to u daného chatbota dává smysl, na jeho konec umisťujeme dotaz na to, jak si chatbot vedl. Tato metrika tak ukazuje, kolik procent uživatelů dalo našemu chatbotovi zpětnou vazbu.

Sentiment zpětné vazby

Náš feedback máme rozdělený do čtyřbodové škály a tato metrika nám ukazuje, jak jsou uživatelé, kteří dali feedback, s naším botem spokojeni.

Google Analytics na steroidech pro účely chatbotů

Pokud strávíte nějaký čas rešerší, zjistíte, že nástrojů na analytiku je celá řada (Botanalytics, BotExpress.ai, ChatBase, ChatBot a další). I my jsme si ve Wingbotu některé tyto služby vyzkoušeli. Nikdy jsme ale nebyli stoprocentně spokojení s tím, co dostupné služby nabízí. Například nástroj Chatbase se snaží řešit opravdu jenom to, jak fungují konverzace a jak s botem uživatelé konverzují. Navíc lokalizace do českého jazyka je velmi nedostatečná, takže jsme tuto službu zavrhli a začali hledat jinde. A kde jsme našli náhradu? Ve skvěle padnoucím ekosystému Google Analytics, na který máme naše chatboty napojené.

Na jaké interakci uživatel začal s botem konverzovat vidíme u Landing Pages. A díky Exit Pages poznáme, kde se nám naopak ztrácí. Které všechny interakce uživatel navštívil, sledujeme přes Page Views. A takhle by se dalo pokračovat.

Základem našeho způsobu analytiky je ale mít dobře nastavené Události. Součástí Eventů jsou například údaje o tom, jak uživatel konverzací prochází (ať už skrz Quick Replies nebo psaný text). V Eventech zároveň přímo vidíme textové vstupy uživatelů. A v neposlední řadě jsme do Eventů přidali i informaci o tom, jak se daří našemu nástroji na rozpoznávání přirozeného jazyka — jak NLP zařazuje dané promluvy uživatelů do námi definovaných intentů a s jakou jistotou.

A ukázalo se, že jsme zvolili dobře: celý tenhle analytický ansámbl nám funguje výborně.

Data Studio pro lepší přehled

Protože ne každý má natolik dostatečné zkušenosti s Google Analytics, aby se v nich orientoval, a řada námi měřených údajů je důvěrná i pro naše klienty, poskytujeme našim klientům interaktivní reporty vytvořené v Data Studiu. Pokud máte dostatek trpělivosti odhalit mnohá zákoutí, která tento nástroj poskytuje, můžete jej s Google Analytics propojit a následně vytvořit vypovídající a přizpůsobitelné reporty, které se automaticky obnovují.

Kromě vypsání výše zmíněných metrik do interaktivních grafů do reportu přidáváme ještě několik stránek s možností se prokliknout do jednotlivých konverzací v našem Designéru. Děláme tak například u zmiňovaného negativního feedbacku nebo u konverzací, které spadly do fallbacku. To proto, abychom si mohli projít celý přepis konverzace a zjistit tak, jestli byl uživatel v právu, nebo jestli mu i přes poskytnutou pomoc odpověď chatbota nestačila.

Nově také zvládáme vytvořit obdobný report i v Power BI.