Публичное собеседование data-инженера в X5 Tech

Коротко о видео

Руководитель команды интеграции данных X5 Tech проводит настоящее интервью кандидата на вакансию Data Engineer в логистике и цепочках поставок. После самопрезентации кандидат разбирает ETL-пайплайн на ClickHouse и dbt, отвечает на вопросы о моделировании хранилища, SCD, движках MergeTree, партиционировании и ACID. В SQL-секции обсуждаются ROW_NUMBER, накопительный итог и self-join; в системном кейсе — отчётность и near-real-time аналитика из ERP/CRM. В финале интервьюер оценивает кандидата как уверенного Middle, отмечая пробелы в теории ClickHouse и архитектуре DWH.

Затронутые темы

Что взять на заметку

• Для накопительных метрик важно явно задать порядок сортировки и оконный frame: при одинаковых значениях ORDER BY поведение RANGE и ROWS различается.
• При пересчёте данных в ClickHouse нужно учитывать окно между удалением старой партиции и вставкой новой: BI-пользователь может увидеть неполные данные.
• Для near-real-time отчётности из OLTP нужно отдельно продумать доставку изменений, включая обновления и удаления, а также допустимую задержку и нагрузку на источник.
• На интервью Data Engineer проверяют не только знание инструментов, но и умение объяснять компромиссы между моделью данных, свежестью данных, производительностью и требованиями бизнеса.