Статистические тесты

Как сетапятся A/B тесты?

A/B-тесты проводятся путем случайного разделения пользователей на две или более группы, которым предлагаются различные версии продукта, функции или условия. Затем сравниваются метрики производительности между группами, чтобы определить, какая версия лучше. Важно правильно выбирать размер выборки, учитывать статистическую значимость результатов и контролировать внешние факторы, которые могут повлиять на результаты теста.

Опишите процесс A/B тестирования.

A/B-тестирование — это методика, при которой пользователи случайным образом разделяются на две или более группы, чтобы сравнить производительность различных версий продукта или функций. Одна группа (контрольная) получает текущую версию продукта, а другие группы (тестовые) получают измененные версии. После этого сравниваются метрики производительности между группами, чтобы определить, какие изменения оказывают наилучший эффект.

Какие методы статистического тестирования вам известны?

Некоторые методы статистического тестирования включают t-тест, анализ дисперсии (ANOVA), тест хи-квадрат, тест Манна-Уитни, корреляционный анализ, и др. Эти методы используются для проверки гипотез о различиях между группами или взаимосвязях между переменными на основе статистических данных.

Что такое параметрические и непараметрические тесты?

Параметрические тесты предполагают определенное распределение данных (например, нормальное) и используют параметры этого распределения (например, среднее значение, дисперсия) при проведении статистических тестов, таких как t-тест или анализ дисперсии (ANOVA). Непараметрические тесты не предполагают конкретного распределения данных и обычно используются для сравнения рангов или медиан двух или более выборок, например, тест Уилкоксона или тест Манна-Уитни.

Как вычислять размер выборок в A/B тесте?

Для вычисления размера выборки в A/B тесте учитываются следующие факторы:

Базовая конверсия (baseline conversion rate)
Минимальный детектируемый эффект (minimum detectable effect)
Уровень значимости (significance level)
Мощность теста (power)

Размер выборки можно рассчитать через специальные формулы или онлайн-калькуляторы, учитывающие эти параметры.

Как понять как долго проводить A/B тест?

Время проведения A/B теста зависит от ожидаемого объёма трафика и целевой метрики. Используются такие факторы как:

Размер выборки
Скорость трафика
Целевые показатели статистической значимости и мощности теста.

Часто используют формулы или инструменты для расчёта минимального времени теста на основе этих факторов.

Как будем считать эффект от нашего A/B тест?

Эффект измеряется сравнением контрольной и тестовой групп по целевым метрикам, например, конверсии. Рассчитывают относительное изменение и проверяют его на статистическую значимость с помощью t-теста или других статистических тестов.

Какие выборки будут переданы в `t-test`, что там конкретно будет (физически)?

В t-тесте выборки представляют собой данные по двум группам: контрольной и тестовой. Это могут быть, например, значения конверсий, времени на сайте или других метрик, которые мы хотим сравнить.

Что происходит внутри `t-test`?

t-test вычисляет средние значения двух выборок и проверяет гипотезу о равенстве средних значений. Также, важно учитывать дисперсию выборок для точного расчёта.

Как после `t-test` считать `p-value`?

После вычисления t-статистики и числа степеней свободы p-value находят как вероятность получить не менее экстремальное значение при нулевой гипотезе. Для двустороннего теста это 2 × P(T ≥ |t|). scipy.stats.ttest_ind возвращает и статистику, и p-value; выбор односторонней или двусторонней альтернативы задают заранее.