Качество данных

Все темы Product Analyst

Как обнаружить drift продуктовых данных во времени?

Сначала фиксируют сопоставимые временные окна и сегменты, отделяя сезонность и изменение состава трафика. Контролируют схему, пропуски, категории и объем, затем сравнивают распределения: PSI как диагностический индекс, KS для непрерывных данных, chi-square или divergence для категорий. p-value на больших данных реагирует на крошечные сдвиги, поэтому нужен размер эффекта. Change-point методы помогают локализовать момент. Drift сам по себе не доказывает ухудшение продукта, после сигнала ищут источник и сверяют downstream-метрики.

Как проверить валидность новой аналитической метки?

Сначала задают точное значение метки и независимый ground truth. На стратифицированной ручной выборке оценивают precision, recall и пропуски, а для субъективной разметки проверяют согласие оценщиков и разбирают расхождения. Смотрят coverage, стабильность по сегментам и времени, граничные случаи и источник missing labels. Инструкцию, версию логики и выборку сохраняют для воспроизводимости. После запуска мониторят долю метки и периодически повторяют аудит, потому что данные и поведение меняются.

Как расследовать аномалию в продуктовой метрике?

Сначала подтверждают аномалию: определение метрики, знаменатель, свежесть, дубли, join и изменения схемы. Затем локализуют ее по времени, версии, платформе, стране, каналу и другим независимым срезам, избегая бесконечного поиска случайных сегментов. Сверяют связанные метрики, релизы, кампании и календарные события. После гипотезы воспроизводят причинную цепочку на сырых событиях и оценивают масштаб. Итог расследования содержит причину, влияние, решение, владельца и проверку, предотвращающую повторение.