Arquivos CSV no Cloud Storage contêm tipos de dados mistos e formatos inconsistentes (números de telefone, endereços). Qual abordagem de pipeline garante a qualidade dos dados por meio de limpeza e transformação antes de carregar no BigQuery?

Data Fusion é a melhor opção porque é uma plataforma de integração de dados totalmente gerenciada que permite criar e gerenciar pipelines de dados ETL/ELT. Ele oferece uma interface visual para projetar fluxos de trabalho de dados complexos, incluindo limpeza, transformação e validação de dados, o que é crucial para lidar com tipos de dados mistos e formatos inconsistentes antes de carregar no BigQuery. Converter para AVRO com Data Fusion é uma etapa válida, mas a questão pede limpeza e transformação, que o Data Fusion faz diretamente. Carregar em uma tabela de staging e usar SQL é uma abordagem possível, mas o Data Fusion oferece uma solução mais robusta e visual para transformações complexas. Carregar diretamente e transformar no local com SQL é menos eficiente e mais propenso a erros, especialmente com inconsistências de dados.