Собеседование DS-инженера: ML system design

Коротко о видео

Команда AvitoTech проводит открытое собеседование по ML system design. Кандидат разбирает кейс автоматической модерации контента: предлагает разделить решения модели по вероятностным порогам на автоматический бан, ручную модерацию и пропуск. Интервьюеры уточняют компромисс между качеством, скоростью и стоимостью ручной проверки. Далее обсуждаются целевые метрики, сбор и разметка данных, создание команды валидации, запуск модели и мониторинг data drift. В финале затрагиваются проверка качества через выборки, bootstrap и доверительные интервалы. Запись показывает последовательное решение системного ML-кейса с обратной связью по ходу диалога.

Затронутые темы

Что взять на заметку

• Пороги ML-модерации задают баланс ложных срабатываний, пропусков и стоимости ручной проверки.
• Для ML-системы нужны продуктовые, модельные и операционные метрики.
• Качество данных и процесс разметки должны быть частью дизайна, а не последующим этапом.
• Data drift требует мониторинга распределений и понятного fallback-сценария.
• Доверительные интервалы помогают оценивать устойчивость метрик на выборке.