Прыкладанне: як запусціць шматмерны тэст (калькулятар памеру выбаркі MVT)

Дзве метадалогіі тэсціравання лічбавага маркетынгу і аптымізацыі карыстацкага досведу A / B тэставання і шматмернае тэставанне (MVT). Абодва падыходы накіраваны на паляпшэнне прадукцыйнасці вэб-сайта, але адрозніваюцца складанасцю і маштабам. У гэтым артыкуле будзе апісаны кожны метад, параўнаны моцныя і слабыя бакі і будуць інструкцыі па ўкараненні шматмернага тэсціравання.

Калі вы шукаеце, як правесці A/B-тэст, мы апублікавалі гэты артыкул, а таксама неабходныя калькулятары.

Як запусціць тэст A/B

Рэальны сцэнар: MVT пераўзыходзіць тэставанне A/B

Давайце разгледзім а B2B праграмная кампанія, якая прапануе інструмент для кіравання праектамі. Кампанія хоча аптымізаваць сваю старонку запыту дэманстрацыі, каб павялічыць колькасць дэма-рэгістрацый. Яны вырашылі праверыць наступныя элементы:

1. Загаловак
2. малюнак
3. Заклік да дзеяння (CTA) Кнопка

Падыход да тэставання A/B

Кампанія спачатку праводзіць асобныя тэсты A/B для кожнага элемента:

На падставе гэтых A/B-тэстаў кампанія ўкараніла б версіі-пераможцы:Павялічце прадукцыйнасць каманды на 30%», загаловак, скрыншот прыборнай панэлі праграмнага забеспячэння і кнопка CTA «Запытаць дэма». Сукупны эфект можа прывесці да павелічэння колькасці дэма-рэгістрацый на 10%.

Падыход шматмернага тэсціравання

Зараз давайце паглядзім, як шматмерны тэст можа даць розныя вынікі. Кампанія наладжвае MVT з наступнымі варыянтамі:

Гэта стварае восем магчымых камбінацый (2 х 2 х 2). Пасля выканання тэсту, вось вынікі:

Аналіз

MVT паказвае, што спалучэнне Павялічце прадукцыйнасць каманды на 30% (H2), імідж бізнес-каманды (I2) і Пачніце бясплатную пробную версію (C2) дае найлепшыя вынікі, з 18% больш у дэма-рэгістрацыях. Гэты вынік адрозніваецца ад таго, што прапанавалі A/B-тэсты, двума ключавымі спосабамі:

• Імідж бізнес-каманды лепш працуе ў спалучэнні з загалоўкам, арыентаваным на прадукцыйнасць, нягледзячы на ​​паразу ў індывідуальным A/B-тэсце. Гэта паказвае на эфект узаемадзеяння паміж загалоўкам і выявай, які не быў зафіксаваны ў тэстах A/B.
• ,en Пачніце бясплатную пробную версію CTA лепш за ўсё працуе ў гэтай камбінацыі, нават калі яна прайграла ў індывідуальным тэсце A/B.

Агульнае паляпшэнне (18%) значна вышэйшае, чым можна было чакаць ад простага аб'яднання выйгрышных элементаў з A/B-тэстаў (каля 10%).

Тлумачэнне

Сінэргію паміж элементамі ў выйгрышнай камбінацыі можна растлумачыць наступным чынам:

• ,en Павялічце прадукцыйнасць каманды на 30% загаловак дае моцнае абяцанне, якое паддаецца колькаснай ацэнцы, і прываблівае тых, хто прымае бізнес-рашэнні.
• Вобраз бізнес-каманды падмацоўвае ідэю павышэння прадукцыйнасці і сумеснай працы, робячы абяцанне больш адчувальным і блізкім.
• ,en Пачніце бясплатную пробную версію CTA зніжае бар'ер для ўваходу ў параўнанні з запыт дэма, дазваляючы патэнцыйным кліентам адчуць павышэнне прадукцыйнасці з першых вуснаў без планавання дэманстрацыі.

Гэтая камбінацыя эфектыўна распавядае згуртаваную гісторыю: вось значнае павышэнне прадукцыйнасці (загаловак), якое, як вы бачыце, прыносіць карысць вашай камандзе (малюнак), і вы можаце пачаць адчуваць гэта адразу без якіх-небудзь абавязацельстваў (CTA).

Гэты сцэнар дэманструе, як шматварыянтнае тэсціраванне можа выявіць магутныя камбінацыі элементаў, якія можна прапусціць толькі пры A/B-тэставанні. Выпрабоўваючы гэтыя элементы разам, кампанія выявіла сінэргетычны эфект, які даў лепшыя вынікі, чым аптымізацыя кожнага элемента паасобку. Гэта падкрэслівае каштоўнасць MVT у вызначэнні таго, як розныя элементы старонкі працуюць разам, каб уплываць на паводзіны карыстальнікаў і спрыяць канверсіі ў кантэксце B2B.

Складанасць шматмернага тэсціравання

Шматварыянтнае тэсціраванне па сваёй сутнасці больш складанае, чым тэставанне A/B па некалькіх прычынах:

• Некалькі зменных: MVT тэстуе некалькі змяненняў адначасова, што павялічвае колькасць магчымых камбінацый у геаметрычнай прагрэсіі.
• Большы памер выбаркі: З-за павелічэння колькасці варыяцый MVT патрабуе большага памеру выбаркі для дасягнення статыстычнай значнасці.
• Большая працягласць: Тэсты MVT звычайна выконваюцца даўжэй, чым тэсты A/B, з-за патрабаванняў да больш значнага памеру выбаркі.
• Больш складаны аналіз: Інтэрпрэтацыя вынікаў MVT можа быць складанай задачай, бо вам трэба разумець, як розныя элементы ўзаемадзейнічаюць адзін з адным.
• Рэсурсаёмістыя: Стварэнне некалькіх варыянтаў і кіраванне імі патрабуе больш часу, намаганняў і часта спецыяльных інструментаў.

Перавагі шматмернага тэсціравання

Нягледзячы на ​​сваю складанасць, шматмернае тэсціраванне дае некалькі істотных пераваг:

• Цэласная аптымізацыя: MVT дазваляе аптымізаваць некалькі элементаў старонкі адначасова, забяспечваючы больш поўнае ўяўленне аб тым, што спрыяе прадукцыйнасці.
• Эфекты ўзаемадзеяння: Адной з асноўных пераваг MVT з'яўляецца яго здольнасць раскрываць, як розныя элементы працуюць разам. Гэта можа выявіць сінэргію паміж элементамі, якія могуць быць невідавочнымі ў ізаляваных A/B-тэстах.
• Эфектыўнае тэставанне: Хоць асобныя тэсты MVT могуць заняць больш часу, яны патэнцыйна могуць замяніць некалькі паслядоўных тэстаў A/B, эканомячы час у доўгатэрміновай перспектыве.
• Нюансы Insights: MVT можа даць больш падрабязную інфармацыю аб перавагах і паводзінах карыстальнікаў, дапамагаючы вам дакладна наладзіць дызайн і стратэгіі кантэнту.

Працэс шматмернага тэсціравання

Вось пакрокавы працэс правядзення шматмернага тэсту:

1. Вызначце зменныя: Вызначце, якія элементы на вашай старонцы вы хочаце праверыць. Агульныя элементы ўключаюць загалоўкі, выявы, заклікі да дзеяння і макет.
2. Стварыце варыяцыі: Для кожнага элемента стварыце альтэрнатыўныя версіі. Памятайце, што агульная колькасць камбінацый будзе складацца з колькасці варыяцый кожнага элемента.
3. Наладзьце тэст: Выкарыстоўвайце інструмент шматмернага тэсціравання, каб наладзіць свой тэст. Гэта прадугледжвае стварэнне розных камбінацый і ўстанаўленне правілаў размеркавання трафіку.
4. Вызначыць памер выбаркі: Разлічыце неабходны памер выбаркі для дасягнення статыстычнай значнасці. Гэта будзе залежаць ад колькасці варыяцый і жаданага ўзроўню ўпэўненасці.

Каляндар памеру выбаркі шматмернага тэставання

5. Запусціце тэст: Запусціце тэст і дайце яму працаваць, пакуль ён не дасягне патрабаванага памеру выбаркі або загадзя вызначанага ліміту часу.
6. Аналіз вынікаў: Выкарыстоўвайце свой інструмент тэсціравання для аналізу прадукцыйнасці розных камбінацый. Шукайце як выйгрышныя камбінацыі, так і разуменне ўзаемадзеяння элементаў.
7. Укараніць і паўтарыць: Прымяніце выйгрышную камбінацыю да сваёй жывой старонкі і выкарыстоўвайце атрыманыя звесткі для правядзення будучых тэстаў.

Інструменты для шматмернага тэсціравання

Некалькі інструментаў могуць дапамагчы ў шматмерным тэсціраванні:

• Adobe Target: частка Adobe Experience Cloud, забяспечвае надзейныя функцыі тэсціравання і персаналізацыі.
• Optimizely: Комплексная эксперыментальная платформа, якая падтрымлівае пашыранае шматмернае тэставанне.
• Unbounce: Нягледзячы на ​​тое, што Unbounce вядомы перш за ўсё сваімі мэтавымі старонкамі, ён таксама прапануе функцыі шматмернага тэсціравання.
• VWO (Візуальны аптымізатар вэб-сайтаў): прапануе зручны інтэрфейс для наладжвання і аналізу шматмерных тэстаў.

У той час як A/B-тэставанне больш простае і хутчэйшае для рэалізацыі, шматмернае тэсціраванне прапануе больш поўны падыход да аптымізацыі. Разумеючы моцныя бакі і недахопы кожнага метаду, вы можаце выбраць правільную стратэгію тэставання для вашых канкрэтных патрэб і рэсурсаў.