Les développeurs préfèrent l'ELT avec SQL, souhaitent un environnement de codage intuitif et ont besoin de SQL-as-code pour les transformations BigQuery. Quel produit utilisez-vous ?

Dataform est la solution idéale car elle est spécifiquement conçue pour le développement et la gestion de pipelines SQL pour les transformations de données dans BigQuery. Elle offre un environnement de codage intuitif, permet le versionnement du code SQL et facilite la planification des exécutions, répondant ainsi directement aux besoins des développeurs qui préfèrent l'ELT avec SQL-as-code. Les jobs Dataflow sont plus adaptés aux transformations de données en streaming ou par lots à grande échelle, souvent avec des langages comme Java ou Python, et ne mettent pas l'accent sur SQL-as-code. Data Fusion est une plateforme ETL/ELT basée sur CDAP, offrant une interface graphique pour la création de pipelines, mais moins axée sur le codage SQL pur. Cloud Composer (Apache Airflow) est un orchestrateur de workflows généraliste, capable d'exécuter des opérateurs BigQuery, mais il ne fournit pas l'environnement de développement SQL intégré et les fonctionnalités de gestion de code spécifiques à Dataform.