---
title: Качество и надёжность данных
questionDates:
  q-transfer-0195: '2026-10-01'
  q-transfer-0196: '2026-10-01'
  q-transfer-0197: '2026-10-01'
seo:
  description: >-
    Тема «Качество и надёжность данных» для собеседования Data Engineer. Из
    каких измерений складывается качество данных? Где и как проверять данные в
    ETL-пайплайне?
  title: Качество и надёжность данных — Data Engineer
---

[Все темы Data Engineer](/prep/data-engineer)

## Из каких измерений складывается качество данных? [#q-transfer-0195]

Качество определяют относительно назначения датасета. Обычно измеряют полноту обязательных полей, точность относительно источника истины, согласованность между системами, актуальность, уникальность ключей и валидность формата или диапазона. Один общий процент мало полезен. Для каждого правила задают область, порог, окно измерения, владельца и действие при нарушении, потому что допустимая задержка для отчета и платежного расчета различается. У каждого правила нужны владелец, измеримый порог и заранее определенное действие при нарушении.

:::note[Ссылки для изучения]

1. [Измерения качества данных и проверяемые правила: полнота, точность, валидность и другие](https://learn.microsoft.com/ru-ru/purview/unified-catalog-data-quality-rules)
   :::

---

## Где и как проверять данные в ETL-пайплайне? [#q-transfer-0196]

Проверки ставят на границах: при приеме проверяют схему и обязательные поля, после преобразования диапазоны и бизнес-инварианты, перед публикацией уникальность, ссылочную целостность, объем и сверку агрегатов. Плохие записи можно отправить в quarantine с причиной, если контракт это разрешает. Критическое нарушение останавливает публикацию, некритическое дает предупреждение. Результаты и примеры ошибок сохраняют как данные для расследования. У каждого правила нужны владелец, измеримый порог и заранее определенное действие при нарушении.

:::note[Ссылки для изучения]

1. [Проверки внутри ETL: от источника до витрины, предупреждения и остановка пайплайна](https://habr.com/ru/companies/banki/articles/822601/)
   :::

---

## Какие сбои нужно учитывать при доставке данных? [#q-transfer-0197]

Доставка может потерять или продублировать событие, изменить порядок, задержать часть данных либо завершиться после частичной записи. Поэтому задают идентификатор сообщения, retries с backoff, идемпотентный приемник, контрольные суммы и явную фиксацию прогресса. Периодическая reconciliation сравнивает источник и приемник по счетчикам и агрегатам. Метрики lag, повторов, dead-letter и возраста данных помогают отличить задержку от потери. У каждого правила нужны владелец, измеримый порог и заранее определенное действие при нарушении.

:::note[Ссылки для изучения]

1. [Семантики доставки и границы exactly-once: отказы клиентов Kafka](https://habr.com/ru/companies/ydb/articles/972180/)
   :::