SRM

SRM узнікае, калі фактычнае суадносіны карыстальнікаў, прызначаных розным варыянтам у эксперыменце, не адпавядае меркаванаму размеркаванню. Напрыклад, калі A/B-тэст павінен раўнамерна падзяліць трафік (50/50), але адзін варыянт атрымлівае значна больш або менш карыстальнікаў, гэта паказвае на праблему SRM.

SRM з'яўляецца сур'ёзнай праблемай, таму што можа сказіць вынікі эксперыменту, ускладняючы давер да дадзеных. Гэта часта паказвае на тэхнічныя праблемы, такія як памылкі ў логіцы размеркавання трафіку, няправільная рандомізацыя або праблемы з адсочваннем. Пакінуты без кантролю, SRM можа прывесці да памылковых высноў аб тым, які варыянт працуе лепш.

Каб выявіць SRM, эксперыментатары выкарыстоўваюць статыстычныя тэсты для параўнання чаканага і фактычнага каэфіцыента трафіку. Калі SRM ідэнтыфікаваны, вельмі важна прыпыніць тэст, даследаваць першапрычыну і пераканацца ў правільным размеркаванні трафіку, перш чым працягваць або перазапускаць эксперымент.