Используя Dataform для ELT в BigQuery, необходимо выполнять проверки уникальности и отсутствия значений NULL в итоговых таблицах. Как эффективно интегрировать эти проверки в конвейер?

Dataform утверждения (assertions) предназначены именно для таких проверок качества данных, как уникальность и отсутствие NULL, и легко интегрируются в ELT-конвейер Dataform. Они позволяют определить правила, которые будут выполняться после создания или обновления таблиц, и автоматически сообщать о нарушениях. Использование пользовательских функций BigQuery (UDF) для этих целей менее эффективно, так как требует ручной интеграции и управления логикой проверки. Задачи качества данных Dataplex — это отдельный сервис, который может использоваться для более широкого мониторинга, но для проверок внутри Dataform утверждения Dataform более нативны и просты в реализации. Хранимая процедура на основе Spark избыточна и не соответствует архитектуре ELT в BigQuery с использованием Dataform.