Аптымізаванае інтэлектуальнае воблака: як выкарыстоўваць статыстычны рухавік для разумнейшага і больш хуткага тэставання A/B

Аптымізаваная статыстыка рухавіка і стратэгіі тэсціравання A/B

Калі вы хочаце запусціць праграму эксперыментаў, каб дапамагчы вашаму бізнэсу праверыць і навучыцца, хутчэй за ўсё, вы карыстаецеся Аптымізаванае інтэлектуальнае воблака - ці ты хоць паглядзеў. Optimizely - адзін з самых магутных інструментаў у гульні, але, як і любы іншы інструмент, вы можаце выкарыстоўваць яго няправільна, калі не разумееце, як ён працуе. 

Што робіць Optimizely такім магутным? У аснове яго набору функцый ляжыць найбольш інфармаваны і інтуітыўна зразумелы рухавік статыстыкі ў староннім інструменце, які дазваляе вам больш засяродзіцца на праходжанні важных тэстаў-не турбуючыся, што вы няправільна інтэрпрэтуеце свае вынікі. 

Гэтак жа, як традыцыйнае сляпое даследаванне медыцыны, A / B тэставання будзе выпадковым чынам паказваць розныя лячэнне вашага сайта розным карыстальнікам, каб потым параўнаць эфектыўнасць кожнага лячэння. 

Затым статыстыка дапамагае нам рабіць высновы аб тым, наколькі эфектыўным можа быць такое лячэнне ў доўгатэрміновай перспектыве. 

Большасць інструментаў тэставання A/B абапіраюцца на адзін з двух тыпаў статыстычных высноў: частату або байесовскую статыстыку. Кожная школа мае розныя плюсы і мінусы - статыстычныя дадзеныя часта наведвальнікаў патрабуюць фіксацыі памеру выбаркі перад пачаткам эксперыменту, а байесаўская статыстыка ў асноўным клапоціцца аб прыняцці слушных рашэнняў, а не аб вызначэнні якой -небудзь адной лічбы ўздзеяння, каб назваць два прыклады. Звышдзяржава Optimizely у тым, што гэта адзіны сённяшні інструмент на рынку, які дазваляе прыняць лепшае з абодвух светаў падыходу.

Канчатковы вынік? Аптымізавана дазваляе карыстальнікам праводзіць эксперыменты хутчэй, надзейней і больш інтуітыўна.

Аднак, каб у поўнай меры выкарыстаць гэта, важна разумець, што адбываецца за кулісамі. Вось 5 ідэй і стратэгій, якія дапамогуць вам выкарыстоўваць магчымасці Optimizely як прафесіянал.

Стратэгія №1: Зразумейце, што не ўсе паказчыкі створаны аднолькава

У большасці інструментаў тэсціравання праблема, якую звычайна не заўважаюць, заключаецца ў тым, што чым больш паказчыкаў вы дадасце і адсочваеце ў рамках тэсту, тым больш верагоднасць убачыць некаторыя няправільныя высновы з -за выпадковага шанцу (у статыстыцы гэта называецца «праблема множнага тэставання» ”). Каб захаваць свае вынікі надзейнымі, Optimizely выкарыстоўвае шэраг элементаў кіравання і выпраўленняў, каб максімальна нізкія шанцы адбыцца. 

Гэтыя элементы кіравання і выпраўленні маюць два наступствы, калі вы збіраецеся наладзіць тэсты ў Optimizely. Па -першае, паказчык, які вы пазначаеце як свой Першасная метрыка хутка дасягне статыстычнай значнасці, усё астатняе сталае. Па -другое, чым больш паказчыкаў вы дадасце да эксперыменту, тым больш часу спатрэбіцца вашым наступным паказчыкам для дасягнення статыстычнай значнасці.

Плануючы эксперымент, пераканайцеся, што вы ведаеце, які паказчык будзе вашай сапраўднай поўначчу ў працэсе прыняцця рашэнняў, зрабіце гэта сваёй асноўнай метрыкай. Затым захавайце астатнюю частку спісу паказчыкаў, выдаліўшы ўсё, што занадта лішняе або датычнае.

Стратэгія №2: Стварыце ўласныя карыстальніцкія атрыбуты

Optimizely выдатна дае вам некалькі цікавых і карысных спосабаў сегментавання вынікаў эксперыменту. Напрыклад, вы можаце вывучыць, ці дзейнічаюць пэўныя метады лячэння на працоўным стале ў параўнанні з мабільнымі, або назіраць адрозненні паміж крыніцамі трафіку. Аднак па меры паспявання вашай праграмы эксперыментаў вам хутка захочацца новых сегментаў-яны могуць быць спецыфічныя для вашага выпадку выкарыстання, напрыклад, сегменты для аднаразовых пакупак у параўнанні з падпіскай, або такія агульныя, як "новыя наведвальнікі супраць вяртання" (што, шчыра кажучы, мы да гэтага часу не можам зразумець, чаму гэта не прадастаўляецца з скрынкі).

Добрая навіна заключаецца ў тым, што праз поле Project Optimizely Project, інжынеры, знаёмыя з Optimizely, могуць ствараць любую колькасць цікавых карыстацкіх атрыбутаў, па якіх наведвальнікі могуць быць прызначаны і сегментаваны. У Cro Metrics мы стварылі шэраг запасных модуляў (напрыклад, "новыя супраць вяртаюцца наведвальнікаў"), якія мы ўсталёўваем для ўсіх нашых кліентаў праз іх праект Javascript. Выкарыстанне гэтай здольнасці з'яўляецца ключавым адрозненнем паміж сталымі камандамі, якія маюць належныя тэхнічныя рэсурсы, якія дапамагаюць ім выконваць, і камандамі, якія змагаюцца за тое, каб усвядоміць увесь патэнцыял эксперыментаў.

Стратэгія №3: Дасьледуйце паскаральнік статыстыкі Optimizely

Адна з часта перавышаных функцый інструмента тэсціравання-гэта магчымасць выкарыстоўваць "шматрукіх бандытаў", тып алгарытму машыннага навучання, які дынамічна змяняецца, калі ваш трафік размяркоўваецца ў ходзе эксперыменту, каб накіраваць як мага больш наведвальнікаў на "выйгрыш" магчымыя варыяцыі. Пытанне з шматрукімі бандытамі заключаецца ў тым, што іх вынікі не з'яўляюцца надзейнымі паказчыкамі доўгатэрміновых паказчыкаў, таму варыянт выкарыстання такіх тыпаў эксперыментаў абмяжоўваецца выпадкамі, улічваючымі час, напрыклад, прасоўванне продажаў.

Аптымізавана, аднак, ёсць іншы тып бандыцкага алгарытму, даступны карыстальнікам на больш высокіх планах - Stats Accelerator (цяпер вядомы як опцыя "Паскарэнне навучання" ўнутры Bandits). У гэтай наладзе, замест спробы дынамічна вылучыць трафік для найбольш эфектыўнага варыянту, Optimizely дынамічна размяркоўвае трафік для варыяцый, якія хутчэй за ўсё дасягнуць статыстычнай значнасці. Такім чынам, вы зможаце хутчэй даведацца і захаваць паўтарэнне традыцыйных вынікаў тэставання A/B.

Стратэгія № 4: Дадайце смайлікі ў свае метрычныя назвы

На першы погляд, гэтая ідэя, верагодна, гучыць недарэчна, нават бязглузда. Аднак ключавы аспект таго, што вы чытаеце правільныя вынікі эксперыменту, пачынаецца з таго, каб ваша аўдыторыя зразумела пытанне. 

Часам, нягледзячы на ​​ўсе нашы намаганні, назвы паказчыкаў могуць збіваць з панталыку (пачакайце - ці спрацоўвае гэты паказчык, калі заказ прыняты, або калі карыстальнік пераходзіць на старонку падзякі?), Або эксперымент мае столькі паказчыкаў, якія пракручваюць вынікі ўверх і ўніз старонка прыводзіць да поўнай кагнітыўнай перагрузкі.

Даданне смайлікаў да назваў вашых паказчыкаў (мэты, зялёныя галачкі, нават вялікі мяшок грошай можа спрацаваць) можа прывесці да старонак, якія значна больш прасканаваныя. 

Паверце нам - чытаць вынікі будзе значна лягчэй.

Стратэгія №5: Перагледзьце ўзровень статыстычнай значнасці

Вынікі лічацца пераканаўчымі ў кантэксце эксперыменту Optimizely, калі яны дасягнуты статыстычная значнасць. Статыстычная значнасць - складаны матэматычны тэрмін, але па сутнасці гэта верагоднасць таго, што вашы назіранні - гэта вынік рэальнай розніцы паміж двума папуляцыямі, а не проста выпадковы шанец. 

Аптымізаваныя ўзроўні статыстычнай значнасці "заўсёды сапраўдныя" дзякуючы матэматычнай канцэпцыі, званай паслядоўнае тэставанне - гэта на самай справе робіць іх куды больш надзейнымі, чым у іншых інструментаў тэсціравання, якія схільныя да рознага роду "зазіраючых" праблем, калі вы прачытаеце іх занадта хутка.

Варта ўлічыць, які ўзровень статыстычнай значнасці вы лічыце важным для вашай праграмы тэсціравання. У той час як 95% - гэта канвенцыя ў навуковай супольнасці, мы тэстуем змены вэб -сайтаў, а не вакцыны. Яшчэ адзін распаўсюджаны выбар у эксперыментальным свеце: 90%. Але ці гатовыя вы прыняць крыху больш нявызначанасці, каб хутчэй правесці эксперыменты і праверыць больш ідэй? Вы маглі б выкарыстоўваць 85% ці нават 80% статыстычную значнасць? Наўмыснае вызначэнне балансу рызыкі і ўзнагароджання можа прынесці экспанентныя дывідэнды з цягам часу, таму добра падумайце.

Больш падрабязна пра Optimizely Intelligence Cloud

Гэтыя пяць хуткіх прынцыпаў і ідэй будуць неверагодна карыснымі для памяці пры выкарыстанні Аптымізацыі. Як і любы інструмент, ён зводзіцца да таго, што вы добра разумееце ўсе закулісныя налады, каб вы маглі пераканацца, што вы выкарыстоўваеце інструмент эфектыўна і эфектыўна. З гэтым разуменнем вы можаце атрымаць надзейныя вынікі, якія вам патрэбныя, калі яны вам спатрэбяцца. 

Што вы думаеце?

Гэты сайт выкарыстоўвае Akismet для барацьбы са спамам. Даведайцеся, як дадзеныя апрацоўваюцца каментар.