Dělat závěry na základě falešně negativního výsledku je hodně drahá chyba v optimalizaci. Otestujete vaši hypotézu, test ji vyvrátí, vy ji škrtnete ze seznamu a jdete dál.
Může se ale stát, že vaše hypotéza je správná, ale test vadný.
Tady nastává zlom. Protože od té chvíle utrácíte čas i peníze za hledání příčiny někde jinde. Řeším to až moc často. Hlavně na středních e-shopech, kde se už dá pracovat se stovkami objednávek a A/B testováním.
Řeknu vám příklad ze života. Ten mě stál dost nervů a málem deset tisíc za díl, který byl v pořádku.
Klíč od auta, který přestal fungovat
Naše Volvo má bezklíčový přístup. Začalo to tím, že odemykání reagovalo zhruba v polovině případů. Prostě někdy odemklo, někdy ne.
Jako první mě napadlo, že je vybitá baterie v ovladačích. Doma jsem měl takové balení z Lidlu, takže jsem baterie vyměnil. Odemykání se nezlepšilo. Tato hypotéza u mě padla.
Následovala druhá: závada ve voze. Googlil jsem a možností bylo dost. Přijímací anténa, řídicí jednotka, něco ze systému keyless. Mechanik nejsem, proto jsem auto odvezl do servisu a nechal je tam, ať se na to podívají.
Odpoledne mi v servisu doporučili postup (chodit dál od přední části vozu, kde je nějaká snímací jednotka) a jeden klíč rovnou označili za nefunkční. Minus jeden klíč mi vadilo, ale neměl jsem náladu řešit a utrácet za nový.
Problém to ale nevyřešilo. Auto jsme museli stále častěji odemykat aplikací. Zamyslel jsem se znovu: auto odemykat nejprve šlo, potom se odemykání horšilo a po výměně baterií to bylo ještě horší… Napadlo mě, že by mohl být problém ve vyměněných bateriích.
Tak jsem koupil na Alze pořádné, dražší Varty. Jak to dopadlo? Světe div se, odemykání funguje na 100 % a druhý klíč taky!
Kde byla chyba
První test mé hypotézy vypadal jako provedený. Baterie jsem vyměnil správně. Použil jsem ale baterie, které jen vypadaly jako v pořádku.
To mě svedlo z cesty. Špatné vyhodnocení na sebe potom nabalovalo další zbytečné (drahé) kroky navíc.
Stejná past je v optimalizaci webu
Tuhle situaci vídám u klientů pravidelně. Vypadá vždycky trochu jinak, mechanismus zůstává identický.
A/B test zastavený příliš brzy. Nová varianta po čtyřech dnech nevítězí, tak ji vypnete. Vzorek ale neměl dost dat na to, aby rozdíl vůbec mohl vyjít průkazně. Standard je nechat test běžet alespoň jeden plný nákupní cyklus, typicky dva až čtyři týdny. To je důležité klientovi komunikovat. Musí mít trpělivost. Ale vím, že to někdy nejde.
Měření na špatném segmentu. Změníte produktovou stránku a výsledek hodnotíte podle konverze celého webu. Většina návštěvníků se na tu stránku ale vůbec nedostane, takže je vaše změna neovlivnila. Jejich data vám zředí výsledek do ztracena.
Rozbitý tracking. Duplicitní GA4 událost, filtr, který odřízne půlku dat, konverze měřená až po druhém kroku. Data v reportu jsou, jenom neměří to, co si myslíte. Nebo taky cookies lišta, kterou odklikne malé procento lidí. Bývá to i třeba méně jak 3 % z celého koláče návštěvnosti.
Rychlost stránky měřená jednou. Jedno spuštění PageSpeed Insights vám řekne asi tolik, co moje první výměna baterie. Terénní data z Core Web Vitals sbírají 28denní okno z reálných návštěv. Rozhodují ta, nikoliv jedno měření v „laboratoři”. Co pomalý web udělá s návštěvností a objednávkami, rozebírám v článku Pomalý web vás připraví o návštěvnost a konverze.
Jeden případ z praxe. U prodejce zahradních potřeb jsme sledovali průchodnost košíkem a data říkala, že úprava nepomohla. Pravda to nebyla. Chyba byla v měření. Tracking zaznamenával kroky v košíku nespolehlivě, takže část cesty k objednávce v číslech chyběla. Odhalila to až další kontrola sběru dat.
Po opravě měření se ukázalo, že původní hypotéza platila celou dobu. Úprava zůstala nasazená a e-shop má díky ní zhruba o 7 % objednávek víc. Další úprava ten nárůst zase trošku pokazila, ale o tom něco napíšu třeba příště.
Co s tím
Než hypotézu odepíšete, ověřte si tři věci.
- Měl test šanci uspět? Spočítejte si potřebnou velikost vzorku dopředu.
- Měřili jste to, co jste chtěli změnit? Segment musí odpovídat zásahu. Úprava košíku se vyhodnocuje na lidech, kteří do košíku došli.
- Je nástroj v pořádku? Ověřte si sběr dat nezávisle. Druhý zdroj, ruční kontrola, cokoli, co odhalí chybu v samotném měření. Velmi dobrý je vlastní CRM, kde vidíte reálná data.
Když test vyvrátí hypotézu, která technicky dává smysl, podezřívejte nejdřív test.
Jaké byly dopady
Tři týdny nespolehlivého auta, jedna zbytečná návštěva servisu a rozhodnutí objednat díl, který nebyl vadný. Fyzická podoba téhle chyby stojí desetitisíce.
Na webu vypadá levněji, protože není vidět. Škrtnutá funkční hypotéza vám nepošle fakturu, jen žere obrat dál. To ve skutečnosti bolí víc než moje drahé klíče od auta.
Máte čísla, kterým nevěříte? Napište mi, projdeme je spolu – u e-shopů z toho většinou vyjde místo, kde utíkají objednávky.
Zdroj článku: vlastní zkušenost, zkušenosti z A/B testování