Os desenvolvedores preferem ELT com SQL, desejam um ambiente de codificação intuitivo e precisam de SQL-as-code para transformações no BigQuery. Qual produto você usa?

A resposta correta é usar o Dataform porque ele é projetado especificamente para ELT (Extract, Load, Transform) usando SQL. Ele permite que os desenvolvedores construam, gerenciem e agendem pipelines de transformação SQL dentro do BigQuery, oferecendo um ambiente de codificação intuitivo e suporte para SQL-as-code. Usar jobs do Dataflow é incorreto porque, embora seja poderoso para transformação de dados, é mais adequado para transformações complexas em grande escala que podem não ser facilmente expressas em SQL puro e geralmente envolvem Java, Python ou Go, não SQL-as-code. Usar o Data Fusion é incorreto porque é uma ferramenta de ETL (Extract, Transform, Load) baseada em CDAP, que é mais visual e orientada a código baixo, não focada em SQL-as-code para transformações diretas no BigQuery. Usar o Cloud Composer é incorreto porque, embora possa orquestrar pipelines SQL do BigQuery, ele é uma ferramenta de orquestração de fluxo de trabalho (baseada em Apache Airflow) e não uma ferramenta de desenvolvimento ou gerenciamento de transformações SQL em si. Ele orquestraria o Dataform, mas não o substitui para a construção das transformações.