Usando o Dataform para ELT no BigQuery, você deve realizar verificações de exclusividade e de valores nulos nas tabelas finais. Como você integra essas verificações de forma eficiente no pipeline?

A opção correta é adicionar asserções do Dataform ao código do Dataform. O Dataform foi projetado para gerenciar transformações de dados no BigQuery e inclui um recurso nativo de asserções (assertions) para validar a qualidade dos dados, como exclusividade e não-nulidade. Isso permite que as verificações de qualidade de dados sejam definidas diretamente junto com as transformações SQL, garantindo que sejam executadas como parte do pipeline ELT e falhem a build se as condições não forem atendidas. Implementar UDFs do BigQuery seria menos eficiente para este propósito, pois exigiria lógica de verificação separada e gerenciamento de falhas. Criar tarefas de qualidade de dados do Dataplex é uma solução de qualidade de dados mais abrangente, mas para verificações específicas dentro de um pipeline Dataform, as asserções são mais integradas e diretas. Escrever um procedimento armazenado baseado em Spark é inadequado, pois o Dataform opera nativamente com SQL no BigQuery, e a introdução de Spark adicionaria complexidade desnecessária e uma tecnologia diferente ao ecossistema.