Собеседование продуктового аналитика в Авито №2: кейс-интервью

Коротко о видео

Показано открытое учебное кейс-интервью продуктового аналитика: кандидат предлагает метрику «целевого контакта», приближающую недоступный факт сделки между покупателем и продавцом. Разбираются формирование разметки из опросов, ручной разметки и бизнес-правил, признаки из чатов, звонков, объявлений и действий пользователей, а также путь от простого baseline до ML-модели. В финале интервьюер даёт подробную обратную связь по продуктовому мышлению, работе с данными, качеству модели и коммуникации с бизнесом, затем отвечает на вопросы зрителей о A/B-тестах, ML и развитии аналитика.

Затронутые темы

Что взять на заметку

• Начинать кейс стоит с бизнес-модели и пользовательской воронки: сама сделка может быть не видна платформе, поэтому нужна прокси-метрика, связанная с выручкой и GMV.
• Обычные звонки и сообщения не равны сделке: «целевой контакт» нужно определять по сценариям конкретной категории, например по договорённости о встрече, просмотру объекта или обмену контактами.
• Разметку для модели можно собирать комбинированно: через опросы пользователей, ручную разметку исторических диалогов и правила на сильных сигналах; исчезновение объявления само по себе не доказывает продажу.
• До ML разумно проверить простые бизнес-правила и регулярные выражения по текстам чатов и транскриптам звонков, а затем сравнить их с логистической регрессией и градиентным бустингом.
• Для несбалансированной классификации нельзя опираться на accuracy: нужны precision, recall и F1, а бизнесу следует объяснять их как долю верно найденных целевых действий и покрытие всех реальных целевых действий.
• Решение требует регулярного мониторинга качества, data drift и переобучения; валидировать его предлагают по известным сделкам, связи с выручкой и, при возможности, внешним рыночным данным.