Michal Maňák

Využití AI pro doporučení lepších příležitostí obchodníkům v rámci CRM

Obchodníci v rámci své práce musí prioritizovat, čemu se budou věnovat. Potřebují se efektivně rozhodovat, které zákazníky prioritně oslovit a jaký by měl být ideálně další krok. Všechny příležitosti jsou důležité. Některé ale není vhodné nechat tzv. „vychladnout“, některé stačí pouze pošťouchnout.

Tento problém jsme se snažili řešit pomocí personalizovaných doporučení s využitím AI. Tato doporučení měla pomoci s prioritizací konkrétních nabídek. Doporučovala také další akce na základě celkové šance na úspěšné uzavření dané nabídky. Problém ale byl, že lidé tato doporučení v rámci CRM příliš nepoužívali. Cílem dalších iterací bylo zvýšit adopci a retenci u těchto doporučení.

Ukázka jedno z doporučeních, které jsme pro zákazníky připravili a vylepšili.

Cíle projektu

  • Zvýšit adopci AI doporučení v rámci platformy AI Sales Assistent v CRM.

Výsledek

  • Kvalitativní zlepšení srozumitelnost a důvěryhodnosti AI doporučení.
  • Příprava dalších kroků pro iterativní zlepšení AI doporučení.

Poznámka – V projektu jsme měli konkrétní KPI. Z povahy citlivosti projektu je zde však nemohu konkrétně sdělit.

Má role v projektu

  • Vedení Discovery procesu pro zlepšení AI doporučení.
  • Návrh doporučení pro zlepšení a koordinace s vývojem.

Postup

  1. Kvalitativní a kvantitativní analýza pilotní verze doporučení.
  2. Vytvoření možných variant doporučení na základě prvotního zkoumání.
  3. Porovnání pilotní verze doporučení s novou variantou s využitím kvalitativních metod.

O problému

O AI se dnešní době píše snad všude. Je to trend a společnost již investovala velké množství financí na zapojení AI technologie do svých produktů a procesů. Očekává se vysoká návratnost a pozitivní dopad na zákazníky.

Otázkou je, zda by se AI dala využít k zefektivnění práce obchodníků v rámci jejich obchodního procesu. Například když by jim pomáhala vyhrát více obchodních příležitostí za kratší dobu skrze různá doporučení. Například doporučení dalšího nejlepšího kroku, identifikace slibných příležitostí, atp. Využívali by obchodníci taková doporučení?

Společnost Pipedrive, poskytoval online CRM, viděla tuto možnost jako obrovskou příležitost a rozhodla se AI technologii zapojit v podobě různých AI doporučení pro obchodníky. Byznys stakeholders si od toho mnohé slibovali a očekávali velký dopad na klíčové metriky.

Vše bylo navrženo v rámci funkce Sales Asistent. Cílem této funkcionality bylo pomoci obchodníkům s prioritizací a pomoci jim se zaměřit na ty nejdůležitější věci. Tato funkce byla součástí CRM pro všechny uživatele. Fungoval následovně:

  • Obsahoval stovky různých doporučení – šlo o prioritizovaný seznam.
  • Jednotlivá doporučení se zobrazovala lidem v okamžik, kdy by jej mohli potřebovat.
  • Doporučení se lidem odesílala ve formě in-app notifikací, ale i souhrnů v e-mailu. (Lidé si to mohli přizpůsobit.)
Příklad toho, jak vypadal seznam doporučení v rámci funkce Sales Assistant.

S příchodem AI technologie se tedy přirozeně nabídla otázka, jak tuto technologii využít právě pro účely prioritizace příležitostí pro obchodníky. Cílem bylo zvýšit jejich pracovní efektivitu a počty vyhraných příležitostí, jejich odměny a přínos pro jejich firmu a samotné klienty.

Proto jsme přidali několik vylepšených AI doporučení, které se zaměřovaly například na doporučení:

  • Dalšího nejlepšího kroku pro skutečné vyhrání konkrétní nabídky.
  • Věnovat se slibnější obchodní příležitosti než té, které se doposud věnovali.

Viz níže uvedené příklady, například doporučení dalšího nejlepší kroku.

Doporučení dalšího nejlepší kroku.

Nebo ať se věnují slibnější příležitosti.

Doporučení lepší příležitosti.

Z různých stran tedy bylo ohledně této funkcionality velké očekávání na výsledky – zejména adopci a retenci této nové funkcionality. Nicméně první verze zůstala daleko za očekáváním. Například jsme zjistili, že:

  • Využití nových doporučení je o více než 92 % nižší než v případě jiných doporučení.
  • U vybraných zákazníků nedošlo u konkrétních příležitostí ke změně v míře úspěšného dokončení.
  • První early adopters nám například řekli, že těmto doporučením nevěří.

Na základě předběžných zjištění jsme navrhly určitá zlepšení těchto doporučení. Tato doporučení se soustředila více na:

  • Doporučení dalšího kroku pro posun do další fáze – místo vyhrání dané nabídky.
  • Doporučení slibnější obchodní příležitosti s doplněním, proč se ji věnovat.

Vytvořili jsme tedy alternativní verzi, kam jsme přidali více informací o tom, proč dané příležitosti doporučujeme.

Nová varianta doporučení dalšího nejlepší kroku.

A druhé doporučení.

Nová varianta doporučení lepší příležitosti.

Metodika

Výše zmíněné návrhy jsme následně porovnali s existujícím řešením. Potřebovali jsme lépe pochopit, jak lidé doporučením rozumí, co jim brání v použití a co je potřeba změnit. K tomu jsme využili kombinaci metod uživatelského výzkumu, konkrétně:

  1. Moderované uživatelské rozhovory prováděné přes Google Meet.
  2. Standardizované dotazování na srozumitelnost doporučení.
  3. Standardizované dotazování na pravděpodobnost využití doporučení.

V rámci rozhovoru jsme se s účastníky se bavili například o následujících tématech:

  • Jejich společnost a jejich role.
  • Jaký mají obchodní proces.
  • Jak používají dané CRM.
  • Diskuze ohledně AI technologie a jejich postoj.
  • Hodnocení doporučení.

Poznámka – Rozhovory jsme využili z toho důvodu, že jak říká Portigal (2019, str. 11), tato metoda „is also referred to by other names: user research, site visits, contextual research, design research, and ethnography, to name a few.“ Metoda byla využita z toho důvodu, jak zmiňuje Portigal (2019, str. 13), že „help you understand where (and why) your solutions will likely fail and where they will hopefully succeed.“

V rámci standardizovaného hodnocení jsme využíli zmíněné dvě otázky. Vycházeli jsme z metody SEQ. Právě pro její jednoduchost a spolehlivost (Sauro, 2012) byla tato metoda upravena pro měření srozumitelnosti ověřovaných doporučení a míry pravděpodobnosti využití doporučení.

Pro snazší odhad srozumitelnosti byla otázka upravena do podoby „Overall, how difficult or easy was this information to understand?„

  • Na škále 1-7 vyjádřili, jak obtížné či snadné bylo danému doporučení porozumět.
  • Vedle číselného hodnocení byli také všichni účastníci požádání o slovní zdůvodnění jejich hodnocení.
  • V případě hodnocení nižší než 7 jsme položili doplňující otázku – Co je potřeba udělat pro to, aby udělili nejvyšší hodnocení – tedy 7, velice snadné na porozumění.

Pro zhodnocení pravděpodobnosti následování těchto doporučení byla zmíněný otázka upravena do podoby „Overall, how likely are you to follow this suggestion?„

  • Na škále 1-7 vyjádřili tuto pravděpodobnost s tím, že 1 je very unlikely a 7 is very likely.
  • Vedle číselného hodnocení byli také všichni účastníci opět požádání o slovní zdůvodnění jejich hodnocení.
  • V případě hodnocení nižší než 7 jsme položili doplňující otázku – Co je potřeba udělat pro to, aby udělili nejvyšší hodnocení – tedy 7, very likely.

Poznámka – Jednou z možností jak zjistit náročnost určitého úkolu v rámci testování použitelnosti je metoda zvaná Single Ease Question. Je to metoda založena na hodnocení složitosti nebo jednoduchosti úkolu na 7 bodové škále (Sauro, Lewis, 2012). Účastníkovi šetření se položí otázka Overall, how easy or difficult was it to perform this task?, kdy vybírá na 7 bodové škále daný úkol hodnotí náročnost, tedy 1 is very difficult, 7 is very easy. Tato metoda funguje stejně dobře nebo lépe než jiné metody pro měření náročnosti úkolů, proto ji Sauro (2012) označuje jako metodu možnou využít v rámci jakéhokoliv dotazníku v rámci testování (Sauro, 2012).

Slovní komentáře byly využity pro lepší pochopení mentálního modelu účastníků a toho, jak doporučení zapadají do jejich pracovního procesu. Na základě číslených hodnocení ze standardizovaných dotazníků jsme vypočítaly intervaly spolehlivosti. Snahou byla možnost odhadnout podobnou míru výskytu i pro větší skupinu a pro komparaci variant doporučení.

Využili jsme k tomu standardní vzorce, viz následující tabulka.

VýpočetVzorec
Aritmetický průměr
Směrodatná odchylka
Interval spolehlivosti (Sauro, Lewis, 2012)

Získané informace jsme vyhodnocovali společně s týmem. Vše jsme dokumentovali v rámci nástroje Lucidspark a Confluence. Například následující obrázek ukazuje způsob, jakým jsme zachycovali hodnocení a komentáře účastníků:

  • Pro každého účastníka jsme komentáře zachycovali zvlášť.
  • Hodnocení jsme vizualizovali na barevné škále pro lepší orientaci a vyhodnocení.
Vybraná část mapování komentářů účastníků a jejich hodnocení jednotlivých doporučení.

Rozhovory

Jak uživatelé vnímají AI

AI je stále poměrně nová technologie. Někdo ji může vnímat jako užitečnou, někdo ji pro svou práci může brát jako hrozbu. Protože jsou nová doporučení postavená na AI, bylo důležité zjistit, jak se k ní uživatelé daného CRM staví jako k technologii obecně. Snahou bylo rozkrýt jejich mentální model — jak danou technologii vnímají. Jednou z hypotéz bylo, že mohou mít k AI negativní postoj a proto daná doporučení nepoužívají.

V rámci rozhovorů jsme zjistili, že všichni účastníci tuto technologii vnímají pozitivně a nevidí v ní žádné překážky nebo úskalí. Účastníci zmínili, že v ní vidí potenciál především jako možnost usnadnění opakujících se manuálních úkolů.

Všichni účastníci výzkumu vnímali AI pozitivně.

Co se týče samotného využívání, tak většina účastníků uvedla následující zhodnocení:

AI technologie používají pravidelně. Nikdo z účastníků neřekl, že by AI technologie vůbec nepoužíval.

AI využívají k osobním účelům. Část účastníků také doplnila, že tuto technologii již pravidelně využívá v zaměstnání k pracovním úkolům

Naši hypotézu jsme tedy vyvrátili. Pracovali jsme tak s předpokladem, že pozitivní zkušenost s AI by neměla nijak negativně ovlivnit přijetí daných doporučení.

Poznámka – S výše uvedeným závěrem jsme ale pracovali obezřetně. Například Na (2015) totiž uvádí, že „what users say they do when describing how they use a website can be surprisingly different from what they actually do.“ Na (2015) také dále uvádí, že „people censor themselves when describing how they use a website, since they don’t want to speak for everyone.“

Ověřování AI doporučení

V rámci rozhovoru jsme účastníkům ukazovali jednotlivá doporučení, která jednotlivě zhodnotil. Postup byl následující:

  • Doporučení si prohlédl a okomentoval tak, jak mu rozumí a jak jej vnímá a jaké informace obsahuje.
  • Každé doporučení postupně ohodnotil s využitím obou zmíněných standardizovaných dotazníků a doplnil vlastním komentářem (viz v částí metodika výše).

Na základě všech výsledků z hodnotících škál jsme vypočítali zmíněné intervaly spolehlivosti pro odhad míru výskytu i pro větší skupinu a pro komparaci variant doporučení.

Poznámka – Protože bylo využito rating scales na malém vzorku, k vypočtení zmíněných intervalů spolehlivosti byla využita t-distribuce. Ja zmiňuje Sauro, Lewis (2012, str. 26) „the best approach for constructing a confidence interval around numeric rating scales is to compute the mean and standard deviation of the responses and then use the t-distribution“. Dále Sauro, Lewis (2012, str. 26) zmiňují, že „the t-distribution will provide the best interval regardless of your sample size, so we recommend using it for all sample sizes.“

Jak jsem již zmínil v úvodu, původní verze doporučení vypadala takto:

Doporučení dalšího nejlepší kroku.
Doporučení lepší příležitosti.

Následné hodnocení srozumitelnosti a pravděpodobnosti využití je shrnuto následovně.

Co se týče srozumitelnosti:

  • Všichni účastníci dokázali svými slovy popsat, jakou informaci jednotlivá doporučení sdělují a co mají například udělat.
  • Co se týče srozumitelnosti, všichni účastníci ji na škále 1-7 zhodnotili jako 7.

Na základě výsledného intervalu spolehlivosti můžeme s 80-95% pravděpodobností říct, že není problém s pochopením daného doporučení. Což potvrzovaly i doplňující komentáře účasntíků.

Problematickým bodem pro všechny zapojené účastníky byla otázka toho, jak jsme k danému doporučení přišli. Konkrétně na základě jakých kritérií či faktorů byl učiněn závěr, že mají vysokou pravděpodobnost danou příležitost vyhrát.

Lidé zmiňovali problematičnost takového závěru (či odhadu) neboť model nemusí mít všechny potřebné informace, které se mohou vyskytovat mimo CRM systém. Zmínili několik následujících příkladů:

  • Některému klientovi mohla být poskytnuta jedinečná sleva, která vedla k posunu a konečnému vítězství dané nabídky.
  • Klienta mohli vzít na večeři, kde utužili jejich společné vztahy.

Všichni účastníci zmínili, že by před následováním takového doporučení se snažili o dané příležitosti získat co nejvíce informací. Takové informace ale mohou klidně být i mimo CRM.

Co se týče pravděpodobnosti využití doporučení:

  • Pro účastníky byl indikátor možnosti vyhrát danou nabídku značně problematický.
  • Většina účastníků sdělila, že i když mají s AI pozitivní a praktickou zkušenost, nebudou „slepě“ následovat všechna doporučení, která jim poskytne.

S 80% pravděpodobností vyšel interval mezi 3,18 a 4,38. Slovním hodnocením tedy vyšlo, že by dané doporučení spíše nevyužili až neutrální hodnocení. (Což odpovídalo skutečné situaci.)

Každému účastníkovi jsme ukázali ještě alternativní verzi daných doporučení. Všichni účastníci je vnímali jako zcela odlišné, ne jako jinou variantu téhož. Viz následující obrázky.

Nová varianta doporučení dalšího nejlepší kroku.
Nová varianta doporučení lepší příležitosti.

Následné hodnocení srozumitelnosti a pravděpodobnosti využití je shrnuto následovně.

Co se týče srozumitelnosti:

  • Všichni účastníci dokázali svými slovy popsat, jakou informaci jednotlivá doporučení sdělují a co mají například udělat.
  • Co se týče srozumitelnosti, všichni účastníci ji na škále 1-7 zhodnotili jako 7.

Na základě výsledného intervalu spolehlivosti můžeme s 80-95% pravděpodobností říct, že není problém s pochopením daného doporučení. Což potvrzovaly i doplňující komentáře účasntíků.

Protože byla u alternativní varianty zmínka možné výhry odstraněna a byl přidán číselný ukazatel počtu případů, u kterých daný postup fungoval v minulosti, nikdo z účastníků již nezmiňoval potřebu podrobného důkazu o tom, jak AI k danému doporučení dospěla.

Co se týče pravděpodobnosti využití doporučení:

  • Lidé byly u této varianty méně skeptičtí.
  • Nechtěli říkat, že by jej využili ve 100 % případů, ale že by jej v praxi vyzkoušeli více, než původní variantu.

S 80% pravděpodobností vyšel interval mezi 4,67 a 5,45. Slovním hodnocením tedy vyšlo, že by dané doporučení spíše využili až využili.

Výsledné zjištění a směřování doporučení

Jak ukazuje srovnání a hodnocení intervalů, lidé by alternativní verzi spíše využili až využili. Což byl oproti původní verzi značný posun, kde by doporučení spíše nevyužili až neutrální odpověď. (Což reflektoval i skutečný stav a proč jsme se vlastně do takového zkoumání pustili).

Výsledné hodnocení pravděpodobnosti využití doporučení.

Na základě předběžných výsledků jsme se rozhodli pokračovat s alternativní verzí. Ta s využitím 80% míry spolehlivosti vykazovala vyšší pravděpodobnost využití, kterou potvrdila i vyšší míra srozumitelnosti. Včetně specifických komentářů samotných účastníků výzkumu. Uvedená míra spolehlivosti může být pro podobné průzkumy naprosto dostačující (Sauro, 2015).

Poznámka – Tento způsob vyhodnocení byl využit z toho důvodu, že proces úspěšného dokončení příležitosti (tzv. deal win) může trvat delší časový úsek – od 3 měsíců až po několik let. Proto jsme se soustředili především na kvalitativní zlepšení a odstranění primárních překážek, které bránili lidem tyto doporučení používat. Následně jsme měřili jak doporučení samotná, tak i jejich dlouhodobý dopad na úspěšnost klienta a jednotlivých příležitostí.

V dalších krocích jsme se soustředili na klíčová zjištění:

  • Zaměřit se na výsledný cíl (např. šanci vyhrát danou příležitost) zvýšilo váhání dané doporučení využít bez jakéhokoliv vysvětlení nebo evidence.
  • Zatímco zaměřit se na krátkodobý cíl (např. posunout příležitost do další fáze) může pravděpodobnost využití zvýšit z důvodů nižší počáteční investice a nižšího rizika.

Na základě získaných informací jsme daná doporučení dále rozpracovali se snahou zvýšit jejich kredibilitu a úspěšnost. Například přidáním podpůrných informací a vysvětlení, proč danou nabídku zmiňujeme jako slibnou. Na základě průběžného ověřování podobným způsobem se ukázalo, že:

  • Toto řešení může pravděpodobně problém s kredibilitou vyřešit.
  • Srozumitelnost a pravděpodobnost využití doporučení se ještě o úroveň zvýší ve srovnání s alternativní variantou.

Pro řešení jsme zvažovali různé možnosti a varianty, které jsme diskutovali s uživateli:

Možná nápady na zobrazení možností více informací o daném doporučení pro vyšší důvěryhodnost.

Z čehož jsme na základě zpětné vazby vybrali asi nejlepší možné řešení s možnostmi, které jsme v té době měli. Uživatelé by mohli na rozkliknutí zobrazit všechny důležité informace, které potřebuji pro rozhodování o tom, v jakém stavu daná nabídka je a zda ji skutečně posunout do další fáze.

Jak by mohla vypadat možnost získat přehledně více informací o tom, proč je daná příležitost doporučována.

Závěr

Na základě zjištění byla vytvořena doporučení dalšího vývoje této technologie doporučování, která byla předběžně ověřena se zákazníky. Hlavním body je dostatečně uživatelům vysvětlit, jak a proč se k danému doporučení došlo.

Při návrhu podobných doporučení jsme ale museli brát v potaz ještě několik faktorů. Vyberu pouze některé. Jak například uvádí Hauck et al. (2023) ve studii systémů podobných doporučení, „recommendations that are inconsistent with users preferences can lead to dissonance (Schwind et al.,2011 v Hauck et al., 2023)„. „Furthermore, the cognitive pair ‚recommendation‘ and ‚explanation‘ can be in a dissonant relation if an explanation is inaccurate although the recommendation itself is appropriate (Figl et al.,2019 v Hauck et al., 2023)„.

Zároveň je potřeba brát v potaz fakt, že lidé mohli dát více pozitivní zpětnou vazbu než když by byli dotázání anonymně — což se nazývá tzv. Social Desirability bias (Nancarrow & Brace, 2000 in Julis, Albert, 2018). Jak uvádí Tulis, Albert (2008, str. 126) ohledně této bias, tak „respondents tend to give answers they believe will make them look better in the eyes of others or not to disappoint the evaluator.“ Proto byl tento faktor započítán mezi možná rizika a měl by být dále sledován.

Z toho důvodu jsme vytvořili strom rizik a příležitostí, ve kterém jsme zachytili vše podstatné pro další rozhodování.

Návrh analýzy rizik a příležitosti pro další rozvoj.

Také jsme ke každému doporučení přidali možnost hodnocení daného doporučení z pohledu uživatele. Tedy hodnocení důvěryhodnost, relevance a možnost slovního komentáře. Dále jsme zlepšili interní trackovací systém pro lepší vyhodnocení dlouhodobějšího dopadu doporučení na uživatelské metriky.

Zdroje

Kam se obrátit

Pokud vás během pročítání této ukázky cokoliv napadlo, neváhejte se na mě obrátit na adrese email@manakmichal.cz, případně mi napište pomocí tohoto formuláře: