Ждать, пока A/B‑тест прокрасится, — плохая идея. Объясняю на цифрах
Фичу раскатывают 5% → 25% → 50% → 100%, а потом каждый день открывают отчёт и ждут, пока метрика «прокрасится». Выглядит безобидно, но при таком подходе ошибка первого рода растёт с 5% до 30–40%, а тесты с p = 0.07 «дожидаются» значимости в половине случаев даже без всякого эффекта. Разбираем, почему так происходит, и как смотреть в A/B‑тест сколько угодно раз и не обманывать себя: границы O’Brien‑Fleming, alpha‑spending и mSPRT. С формулами, цифрами и кодом на Python. Читать далее