Relatórios semanais do BigQuery têm formatos inconsistentes (formatos de telefone, códigos de país). Você precisa de um job recorrente sem código para normalizar os dados. O que você usa?

Cloud Data Fusion é uma plataforma de integração de dados totalmente gerenciada, baseada no CDAP de código aberto. Ele oferece uma interface gráfica de usuário (GUI) que permite aos usuários criar pipelines de dados sem código. O Wrangler, uma ferramenta integrada ao Data Fusion, é ideal para limpeza e normalização interativa de dados, como a padronização de formatos inconsistentes. A capacidade de agendar jobs recorrentes atende ao requisito de automação. Dataflow SQL é para transformações de dados em streaming ou batch usando SQL, mas não oferece a mesma capacidade de normalização interativa sem código que o Wrangler. Dataproc Serverless requer a escrita de código Spark. BigQuery e GoogleSQL podem normalizar dados, mas a normalização de formatos inconsistentes pode ser complexa e menos intuitiva do que usar uma ferramenta visual como o Wrangler, além de não ser a solução mais "sem código" para essa tarefa específica.