Качество и надёжность данных

Все темы Data Engineer

Из каких измерений складывается качество данных?

Качество определяют относительно назначения датасета. Обычно измеряют полноту обязательных полей, точность относительно источника истины, согласованность между системами, актуальность, уникальность ключей и валидность формата или диапазона. Один общий процент мало полезен. Для каждого правила задают область, порог, окно измерения, владельца и действие при нарушении, потому что допустимая задержка для отчета и платежного расчета различается. У каждого правила нужны владелец, измеримый порог и заранее определенное действие при нарушении.

Где и как проверять данные в ETL-пайплайне?

Проверки ставят на границах: при приеме проверяют схему и обязательные поля, после преобразования диапазоны и бизнес-инварианты, перед публикацией уникальность, ссылочную целостность, объем и сверку агрегатов. Плохие записи можно отправить в quarantine с причиной, если контракт это разрешает. Критическое нарушение останавливает публикацию, некритическое дает предупреждение. Результаты и примеры ошибок сохраняют как данные для расследования. У каждого правила нужны владелец, измеримый порог и заранее определенное действие при нарушении.

Какие сбои нужно учитывать при доставке данных?

Доставка может потерять или продублировать событие, изменить порядок, задержать часть данных либо завершиться после частичной записи. Поэтому задают идентификатор сообщения, retries с backoff, идемпотентный приемник, контрольные суммы и явную фиксацию прогресса. Периодическая reconciliation сравнивает источник и приемник по счетчикам и агрегатам. Метрики lag, повторов, dead-letter и возраста данных помогают отличить задержку от потери. У каждого правила нужны владелец, измеримый порог и заранее определенное действие при нарушении.