Вернуться в видеотеку

Интервью на Senior Python: System Design для data pipeline и scraper

System Design-интервью на Senior Python с проектированием пайплайна S3—ClickHouse и сервиса сбора цен. Обсуждаются Kafka, надёжность, стоимость, масштабирование, прокси и хранение данных.

Источник: Python Mentor

Открыть на YouTube

Таймлайн

Коротко о видео

Кандидат проходит senior System Design-секцию. В первой задаче он проектирует загрузку крупных CSV и Parquet-файлов из S3 в ClickHouse: обсуждаются event trigger, потоковая обработка, буферизация, Kafka, consumer groups, дедупликация и batch insert. Интервьюер последовательно проверяет, какие функциональные и нефункциональные свойства теряются при отказе от очереди ради стоимости. Во второй задаче участники проектируют SaaS для мониторинга цен: уточняют SLA, объём данных, расчёт RPS, надёжность и противодействие блокировкам. Далее разбираются rate limiting, rotating proxies, Redis, autoscaling, формат сырых данных, ClickHouse и стратегия retry. В конце кандидат задаёт вопрос о Spot-инстансах и идемпотентности запусков.

Затронутые темы

Что взять на заметку

  • Связывать архитектурное решение с потерями по стоимости, масштабированию и replayability.
  • Использовать consumer groups и batch insert для параллельной загрузки данных.
  • Начинать дизайн scraper с SLA, объёмов и оценки RPS.
  • Закладывать rate limiting, прокси и backoff для внешних ограничений.
  • Проектировать идемпотентные задачи, устойчивые к прерыванию Spot-инстансов.

Рекомендуем посмотреть

58:33
BackendMiddle

Мок-собеседование с Python-разработчиком на Middle: Kafka, PostgreSQL и микросервисы

Публичное мок-собеседование с junior Python-разработчиком, который готовится к переходу на Middle. Ведущие проверяют опыт с RabbitMQ и Kafka, Python, мониторингом и масштабированием сервисов, PostgreSQL, Redis и микросервисной архитектурой, а в конце дают обратную связь по уровню.