Публичное собеседование по продуктовой аналитике

Коротко о видео

Открытая сессия Podlodka моделирует собеседование продакт-менеджера по продуктовой аналитике: Роман Халкечев задаёт Владимиру Назарову последовательность математических и продуктовых кейсов и поясняет, какие навыки они проверяют. Разбираются эффект изменения структуры данных на средний чек, расчёт медианы при равномерном распределении клиентов, метрики поисковых подсказок, оценка качества лифтового ПО и ранжирование ресторанов. В финале обсуждаются эксперименты для алгоритмов назначения курьеров, где обычное A/B-разбиение невозможно из-за сетевых эффектов.

Затронутые темы

Что взять на заметку

• Рост среднего чека в каждой товарной категории сам по себе не гарантирует рост общего среднего чека: при изменении долей категорий возможен парадокс Симпсона.
• Для клиентов, равномерно распределённых по площади зоны доставки радиуса R, медианный радиус равен R/√2; медианное время получается делением этого расстояния на постоянную скорость курьера.
• Для поисковых подсказок стоит связывать метрики с задачей пользователя: измерять экономию времени или символов, использование подсказок и воронку, но учитывать сезонность длины запросов и внешние влияния.
• Качество лифтового алгоритма разумно выражать интерпретируемым временем от нажатия кнопки до прибытия, отдельно проверяя среднее, медиану и высокие перцентили; малую разницу нельзя объявлять улучшением без проверки статистической значимости.
• Ранжирование ресторанов нельзя сводить к рейтингу, времени доставки или комиссии: целевая величина — ожидаемая прибыль с учётом вероятности заказа, комиссии, среднего чека и ожидаемых затрат на доставку.
• Для алгоритмов распределения курьеров историческое проигрывание недостаточно, потому что изменение ранних назначений меняет всю дальнейшую систему. При сетевых эффектах обсуждаются геоэксперименты и switchback-эксперименты с чередованием алгоритмов во времени.