А/Б тестирование требует хорошего понимания его проведения на каждом этапе, начиная с формулировки бизнес-проблемы и построении гипотезы, и заканчивая сбором и обработкой результатов и принятием решения. Представленные задачи покажут уровень моей компетентности в этой области.
Проверка системы сплитования
При проведении АА-теста важно убедиться, что система сплитования работает корректно, и ключевая метрика не отличается между группами не только в конкретно нашем АА-тесте, но и в целом.
Провести бесконечное количество АA-тестов и посмотреть, в каком количестве случаев удалось отклонить нулевую гипотезу навряд ли получится. Поэтому я буду многократно извлекать подвыборки из данных, проводить t-test, и после смотреть, в каком проценте случаев удалось отклонить нулевую гипотезу.Как результат - будет понятно, рабочая ли система сплитования или требует доработки.
Анализ данных А/Б эксперимента
Бизнес задача - компания провела эксперимент направленный на повышение CTR и хочет понять стоит ли раскатывать изменение на всех клиентов.
Линеаризация данных после А/Б эксперимента
Бизнес-задача - компания провела два независимых эксперимента по увеличению CTR.
Предварительно t-тест не дал нужного значения
P-value ни в одном из экпериментов.
Редизайн эксперимента и повторный запуск проводить не планируется. Заказчик хочет знать,
есть ли статистически значимые отличия в экспериментах.
Симуляция Монте-Карло для определения мощности будущего А/Б теста
Бизнес-задача - Заказчик в лице ML-отдела планирует выкатывать новый алгоритм, рекомендующий пользователям интересные посты. После обсуждений того, как он это делает, пришли к следующему пониманию:
Предполагая, что увеличение числа просмотров приведёт и к увеличению лайков на пользователя, возможно ли обнаружить различия в среднем количестве лайков на пользователя?