Al usar Dataform para ELT en BigQuery, debe realizar comprobaciones de unicidad y de valores nulos en las tablas finales. ¿Cómo integra estas comprobaciones de manera eficiente en la canalización?

La opción correcta es añadir aserciones de Dataform en el código de Dataform. Dataform está diseñado para la transformación de datos en BigQuery y sus aserciones permiten definir pruebas de calidad de datos directamente dentro del código SQL. Esto asegura que las comprobaciones de unicidad y valores nulos se ejecuten como parte integral del proceso ELT, fallando la compilación o ejecución si las condiciones no se cumplen. Las UDFs de BigQuery son para lógica de transformación, no para pruebas de calidad integradas. Las tareas de calidad de datos de Dataplex son una opción válida para la calidad de datos, pero Dataform ofrece una integración más directa y eficiente para pruebas durante el desarrollo y la ejecución de transformaciones. Un procedimiento almacenado basado en Spark es una tecnología diferente y no es la forma más eficiente de integrar estas comprobaciones en un pipeline de Dataform/BigQuery.