Des fichiers CSV dans Cloud Storage contiennent des types de données mixtes et des formats incohérents (numéros de téléphone, adresses). Quelle approche de pipeline garantit la qualité des données en les nettoyant et en les transformant avant de les charger dans BigQuery ?

Data Fusion est un service d'intégration de données entièrement géré basé sur Cloud Data Fusion (CDAP) qui est idéal pour les transformations complexes et le nettoyage de données hétérogènes. Il offre une interface graphique pour concevoir des pipelines ETL/ELT, permettant de gérer les types de données mixtes et les formats incohérents avant le chargement dans BigQuery, garantissant ainsi la qualité des données en amont. L'option de convertir en AVRO avec Data Fusion est une étape de transformation, mais ne résout pas directement le problème du nettoyage des données mixtes et incohérentes. Charger dans une table de staging et transformer avec SQL est possible, mais Data Fusion est plus efficace pour la complexité mentionnée. Effectuer des transformations sur place après le chargement est moins idéal car cela signifie que des données non nettoyées sont déjà dans BigQuery.