A/B-тесты с Валерием Бабушкиным | Собеседование | karpov.courses

Коротко о видео

Это учебное собеседование-разбор о том, как проверить алгоритм ценообразования в офлайн-ритейле с помощью A/B-теста. Участники обсуждают ограничения исторических данных для оценки эластичности спроса, выбор товаров и магазинов для эксперимента, бизнес-метрики и бутстреп для проверки эффекта. В финале разбирают ситуацию с недостаточной мощностью и идею сравнивать модель с «антимоделью», намеренно выбирающей решения с ожидаемым отрицательным эффектом.

Затронутые темы

Что взять на заметку

• Если в истории цены в основном только росли из-за инфляции, по таким данным нельзя надёжно восстановить реакцию спроса на снижение и повышение цены; нужны контролируемые изменения цен.
• Перед запуском стоит проверить офлайн-метрики модели и их связь с бизнес-метрикой, но это не заменяет онлайн-эксперимент.
• Для первых изменений цен разумно выбирать точки, где модель предсказывает резкий перелом кривой «цена — спрос», чтобы получить больше информации о качестве прогноза.
• Рандомизацию предлагают проводить на уровне магазинов, а итог оценивать по общей бизнес-метрике с учётом возможной каннибализации товаров; средний чек сам по себе может быть неудачной метрикой.
• Для агрегированной выручки можно заранее построить бутстреп-распределение разницы или отношения сумм в группах, затем сравнить с ним результат теста и доверительный интервал.
• При отсутствии статистической значимости не следует продолжать тест до случайного получения значимости: нужно увеличивать мощность через большую выборку, снижение дисперсии или более различимый экспериментальный эффект.
• Если цель — именно проверить способность модели различать полезные и вредные решения, обсуждается рискованный симметричный дизайн: в тесте применять прогнозируемо полезные цены, а в контроле — прогнозируемо вредные; для бизнеса такой подход требует отдельных допущений и согласования.