Optimeeritud intelligentsuspilv: kuidas kasutada statistikamootorit A/B testi targemaks ja kiiremaks testimiseks

Kui soovite käivitada katseprogrammi, mis aitab teie ettevõtet testida ja õppida, on tõenäoline, et kasutate seda Optimeeritud luurepilv - või olete vähemalt seda vaadanud. Optimizely on mängu üks võimsamaid tööriistu, kuid nagu iga selline tööriist, võite seda ka valesti kasutada, kui te ei mõista, kuidas see toimib. 

Mis teeb Optimizely nii võimsaks? Selle funktsioonide komplekti keskmes on kolmanda osapoole tööriista kõige teadlikum ja intuitiivsem statistikamootor, mis võimaldab teil rohkem keskenduda oluliste testide otseülekannetele-ilma et peaksite muretsema, et tõlgendate oma tulemusi valesti. 

Sarnaselt traditsioonilisele pimedale uuringule meditsiinis, A / B testimise näitab juhuslikult teistsugust ravi saidilt erinevatele kasutajatele, et seejärel võrrelda iga ravi tõhusust. 

Seejärel aitab statistika teha järeldusi selle kohta, kui tõhus see ravi võib olla pikaajaliselt. 

Enamik A/B testimisvahendeid tugineb ühele kahest statistilise järelduse tüübist: sagedased või Bayesi statistika. Igal koolil on erinevaid plusse ja miinuseid - sagedase statistika kohaselt tuleb enne katse läbiviimist kindlaks määrata valimi suurus ning Bayesi statistika hoolitseb peamiselt selle eest, et teha häid suunavaid otsuseid, mitte ei mõjuta ühtegi konkreetset mõju. Optimizely ülivõim on see, et see on tänapäeval ainus tööriist, mis a parim nii maailmad lähenemist.

Lõpptulemus? Optimeeritud võimaldab kasutajatel katseid kiiremini, usaldusväärsemalt ja intuitiivsemalt käivitada.

Selle täielikuks ärakasutamiseks on aga oluline mõista, mis toimub kulisside taga. Siin on 5 statistikat ja strateegiat, mis aitavad teil Optimizely võimalusi professionaalina kasutada.

Strateegia nr 1: Mõista, et mitte kõik mõõdikud pole võrdsed

Enamiku testimisvahendite puhul on sageli tähelepanuta jäetud probleem see, et mida rohkem mõõdikuid testi käigus lisate ja jälgite, seda tõenäolisemalt näete juhusliku juhuse tõttu valesid järeldusi (statistikas nimetatakse seda „mitme testimise probleemiks” ”). Selleks, et tulemused oleksid usaldusväärsed, kasutab Optimizely rea juhtnuppe ja parandusi, et hoida selle toimumise tõenäosus võimalikult madal. 

Nendel juhtelementidel ja parandustel on Optimizely testide seadistamisel kaks mõju. Esiteks mõõdik, mille määrate omaks Esmane mõõdik saavutab statistilise olulisuse kõige kiiremini, kõik muu on konstantne. Teiseks, mida rohkem mõõdikuid katsele lisate, seda kauem kulub hilisematel mõõdikutel statistilise olulisuse saavutamiseks.

Katse kavandamisel veenduge, et teate, milline mõõdik on teie otsustusprotsessis teie tõeline põhja, muutke see esmaseks mõõdikuks. Seejärel hoidke ülejäänud mõõdikute loend lahjana, eemaldades kõik üleliigse või puudutava.

Strateegia nr 2: Looge oma kohandatud atribuudid

Optimizely pakub suurepäraselt teile mitmeid huvitavaid ja kasulikke viise oma katse tulemuste segmenteerimiseks. Näiteks saate uurida, kas teatud töötlused toimivad paremini lauaarvutites ja mobiilseadmetes, või jälgida erinevusi liiklusallikate vahel. Kui teie katseprogramm küpseb, soovite kiiresti uusi segmente-need võivad olla teie kasutusjuhtumi jaoks spetsiifilised, näiteks ühekordsete ja tellimusostude segmendid, või üldised kui „uued vs naasvad külastajad” (mis ausalt öeldes ei saa me siiani aru, miks seda karbist välja ei pakuta).

Hea uudis on see, et Optimizely projekti Javascripti välja kaudu saavad Optimizelyga tuttavad insenerid luua suvalise hulga huvitavaid kohandatud atribuute, mille järgi saab külastajaid määrata ja segmentida. Cro Metricsis oleme loonud hulga varumooduleid (nt „uued vs naasvad külastajad”), mille installime kõigile oma klientidele nende projekti Javascripti kaudu. Selle võime võimendamine on peamine erinevus küpsete meeskondade vahel, kellel on vajalikud tehnilised vahendid nende täitmiseks, ja meeskondade vahel, kes näevad vaeva eksperimenteerimise täieliku potentsiaali realiseerimiseks.

Strateegia nr 3: Avastage Optimizely statistika kiirendit

Üks sageli ülehinnatud testimisvahendi funktsioon on võimalus kasutada „mitme käega bandiite”-masinõppe algoritmi tüüpi, mis muudab dünaamiliselt seda, kus teie liiklus katse käigus jaotatakse, et saata võimalikult palju külastajaid võitjale. varieeruda kui võimalik. Mitme relvastatud bandiitide puhul on probleemiks see, et nende tulemused ei ole usaldusväärsed pikaajalise tulemuslikkuse näitajad, seega on seda tüüpi katsete kasutamise juhtum piiratud ajatundlike juhtumitega, nagu müügiedendused.

Optimaalselt on aga kõrgemate plaanide kasutajatele saadaval teist tüüpi bandiidialgoritm - Stats Accelerator (nüüd tuntud kui „Kiirendage õppimist” valik Banditsis). Selle seadistuse asemel, selle asemel, et püüda liiklust dünaamiliselt jaotada kõige paremini toimivale variatsioonile, jaotab Optimizely liikluse dünaamiliselt variatsioonidele, mis kõige tõenäolisemalt saavutavad statistilise olulisuse kõige kiiremini. Nii saate kiiremini õppida ja säilitada traditsiooniliste A/B testitulemuste korratavuse.

Strateegia nr 4: lisage emotikonid oma meetrinimedele

Esmapilgul kõlab see mõte ilmselt kohatu, isegi ebaõiglaselt. Peamine aspekt, et veenduda, et loete õigeid katse tulemusi, algab sellest, et vaatajaskond saaks küsimusest aru. 

Mõnikord võivad vaatamata meie parimatele pingutustele muutuda mõõdikute nimed segaseks (oodake - kas see mõõdik süttib tellimuse vastuvõtmisel või kui kasutaja jõuab tänulehele?) Või katses on nii palju mõõdikuid, et tulemusi üles ja alla kerida leht viib täieliku kognitiivse ülekoormuseni.

Emotikonide lisamine mõõdikute nimedele (sihtmärgid, rohelised linnukesed, isegi suur rahakott võib toimida) võib põhjustada palju paremini skannitavaid lehti. 

Usaldage meid - tulemuste lugemine on palju lihtsam.

Strateegia nr 5: Mõelge uuesti oma statistilise tähtsuse tasemele

Tulemused loetakse Optimizely katse kontekstis lõplikuks, kui need on saavutatud statistiline olulisus. Statistiline olulisus on karm matemaatiline termin, kuid sisuliselt on see tõenäosus, et teie tähelepanekud tulenevad kahe populatsiooni tegelikust erinevusest, mitte ainult juhuslikust juhusest. 

Optimizely teatatud statistilise olulisuse tasemed on „alati kehtivad“ tänu matemaatilisele kontseptsioonile järjestikune testimine - see muudab need tegelikult palju usaldusväärsemaks kui teiste testimisvahendite omad, mis on liiga vara lugedes altid igasugustele "piilumistele".

Tasub kaaluda, millist statistilise olulisuse taset peate oma testimisprogrammi jaoks oluliseks. Kuigi 95% on teadusringkondade kokkulepe, katsetame veebisaitide muudatusi, mitte vaktsiine. Teine levinud valik eksperimentaalmaailmas: 90%. Kuid kas olete nõus leppima veidi suurema ebakindlusega, et katsetusi kiiremini läbi viia ja rohkem ideid testida? Kas saaksite kasutada 85% või isegi 80% statistilist olulisust? Kui kavatsete oma riski ja tulu tasakaalu tahtlikult hinnata, võib see aja jooksul maksta eksponentsiaalseid dividende, seega mõelge see hoolikalt läbi.

Lisateave Optimizely Intelligence Cloudi kohta

Need viis kiiret põhimõtet ja ülevaadet on Optimizely kasutamise ajal uskumatult kasulikud. Nagu iga tööriista puhul, tagatakse ka see, et olete kõikidest kulisside taga olevatest kohandustest hästi aru saanud, nii et saate olla kindel, et kasutate tööriista tõhusalt ja tulemuslikult. Nende arusaamade abil saate soovitud usaldusväärseid tulemusi, kui neid vajate.