Статистические понятия
Что такое нулевая гипотеза? Что такое альтернативная гипотеза?
В контексте A/B тестирования:
-
Нулевая гипотеза (H₀): Это предположение о том, что никаких статистически значимых различий между контрольной (обычной) и тестовой (измененной) группами не существует. То есть любые обнаруженные различия могут быть случайными.
-
Альтернативная гипотеза (H₁ или Hₐ): Это предположение о том, что существуют статистически значимые различия между контрольной и тестовой группами. Иными словами, изменение, внесенное в тестовую группу, действительно влияет на исследуемую метрику или поведение пользователей.
Нулевая и альтернативная гипотезы являются ключевыми элементами статистического анализа результатов A/B тестирования.
Что такое p-value?
p-value представляет вероятность не менее экстремального результата статистики при верной нулевой гипотезе и выполненных предположениях теста. Его сравнивают с заранее выбранным уровнем значимости α; эти понятия различаются.
Если p-value очень маленькое (обычно меньше заданного уровня значимости, например, 0.05), то это означает, что у нас есть достаточно доказательств для отклонения нулевой гипотезы в пользу альтернативной. В этом случае мы говорим, что результаты статистически значимы. Если же p-value большое, то мы не можем отклонить нулевую гипотезу, и результаты не считаются статистически значимыми.
Что такое мощность? Почему важно учитывать мощность при анализе эксперимента?
Мощность (power) в статистике — это вероятность обнаружить статистически значимое различие, если оно существует в действительности. Чем выше мощность эксперимента, тем меньше вероятность ошибки II рода (не обнаружения реального эффекта).
Важно учитывать мощность при анализе эксперимента, потому что:
-
Обеспечение достоверности результатов: Высокая мощность позволяет достоверно обнаруживать реальные различия между группами. Это важно для принятия информированных решений на основе данных эксперимента.
-
Оптимизация размера выборки: Знание мощности помогает оптимизировать размер выборки таким образом, чтобы эксперимент был достаточно чувствителен к обнаружению эффектов, которые вы хотите изучить.
-
Эффективное планирование и проведение исследования: Учет мощности помогает на ранних стадиях исследования правильно оценить требуемые ресурсы, временные рамки и ожидаемые результаты эксперимента.
Таким образом, мощность является важным статистическим показателем, который помогает обеспечить надежность и репрезентативность результатов статистических исследований и экспериментов.
Что такое статистическая значимость?
Результат статистически значим на уровне α, если выбранный тест отвергает нулевую гипотезу по заранее заданному правилу, обычно p-value ≤ α. Это не вероятность того, что эффект реален, и не оценка его практической важности.