Открытое собеседование по статистике с Анатолием Карповым | karpov.courses

Коротко о видео

Видео состоит из двух учебных имитаций собеседования по аналитике. В первой части разбирают статистический вывод, t-тест, стандартную ошибку, смещённость дисперсии, критерий Манна—Уитни, малые и ненормальные выборки, а также проверку практически отсутствующего эффекта. Во второй части обсуждают устройство и проверку A/B-экспериментов в продукте: сплитование, A/A-тесты, прокси-метрики, эксперименты без независимых групп, последовательное тестирование, bootstrap, снижение дисперсии и CTR.

Затронутые темы

Что взять на заметку

• Статистика позволяет отвергнуть нулевую гипотезу или не найти оснований её отвергнуть; отсутствие статистической значимости само по себе не доказывает отсутствия эффекта.
• В t-тесте разность средних нормируют на стандартную ошибку среднего: она описывает разброс возможных выборочных средних и уменьшается пропорционально 1/√n.
• Чем больше дисперсия метрики, тем больше наблюдений нужно для той же точности; рост выборки даёт особенно заметный выигрыш на малых объёмах.
• Деление на n−1 в выборочной дисперсии компенсирует систематическое занижение: выборочное среднее минимизирует сумму квадратов отклонений.
• Критерий Манна—Уитни не следует сводить к сравнению медиан: в разговоре его описывают как метод, работающий с рангами.
• Для групп по 20 наблюдений нет универсального запрета на t-тест: важны свойства исходного распределения; сочетание малой выборки и сильной скошенности создаёт риск.
• Чтобы обосновать, что изменение практически безопасно, нужно заранее задать бизнес-значимый порог эффекта и учитывать мощность теста, а не ограничиваться p-value выше α.