Les rapports hebdomadaires de BigQuery ont des formats incohérents (formats de téléphone, codes de pays). Vous avez besoin d'une tâche récurrente sans code pour normaliser les données. Que utilisez-vous ?

Cloud Data Fusion est un service d'intégration de données entièrement géré, basé sur CDAP open source, qui permet de construire et de gérer des pipelines de données. Wrangler est une fonctionnalité de Data Fusion qui offre une interface utilisateur graphique pour le nettoyage et la transformation interactifs des données, y compris la normalisation de formats incohérents sans écrire de code. La capacité de configurer des tâches récurrentes en fait la solution idéale pour ce scénario. Dataflow SQL est excellent pour les transformations de données en streaming ou par lots à l'aide de requêtes SQL, mais il nécessite une connaissance de SQL et n'est pas "sans code" pour la normalisation interactive comme Wrangler. Créer une tâche Spark sur Dataproc Serverless est une solution puissante, mais elle implique du codage (Scala, Python, Java) et n'est pas "sans code". Utiliser BigQuery et GoogleSQL pour normaliser les données est possible, mais cela nécessite d'écrire des requêtes SQL complexes pour la normalisation et ne correspond pas à l'exigence "sans code".