Разработчики предпочитают ELT с SQL, хотят интуитивно понятную среду кодирования и нуждаются в SQL-as-code для преобразований BigQuery. Какой продукт вы будете использовать?

Dataform идеально подходит для данного сценария, поскольку он разработан специально для ELT-процессов с использованием SQL-as-code, позволяя разработчикам создавать, тестировать, документировать и планировать преобразования данных в BigQuery в интуитивно понятной среде. Dataflow ориентирован на потоковую обработку и ETL с использованием Apache Beam, что не соответствует требованию SQL-as-code для преобразований. Data Fusion — это управляемый сервис для ETL/ELT на основе CDAP, который больше подходит для графического построения конвейеров, а не для SQL-as-code. Cloud Composer (Apache Airflow) является оркестратором рабочих процессов, который может запускать SQL-запросы BigQuery, но сам по себе не предоставляет среду для разработки и управления SQL-преобразованиями, как Dataform.