개발자들은 SQL을 사용한 ELT를 선호하고, 직관적인 코딩 환경을 원하며, BigQuery 변환을 위해 SQL-as-code가 필요합니다. 어떤 제품을 사용하시겠습니까?

정답은 Dataform을 사용하여 SQL 파이프라인을 구축, 관리 및 예약합니다. Dataform은 SQL 기반의 ELT(Extract, Load, Transform) 워크플로우를 위해 설계되었으며, SQL-as-code를 통해 데이터 변환 로직을 정의하고 버전 관리, 테스트, 문서화 및 스케줄링을 지원합니다. 이는 개발자들이 SQL을 선호하고 직관적인 코딩 환경을 원하는 요구사항에 가장 적합합니다. Dataflow 작업은 스트리밍 또는 배치 데이터 처리에 사용되며, 주로 Pub/Sub과 같은 소스에서 데이터를 읽어 변환 후 BigQuery로 로드하는 데 적합하지만, SQL-as-code 기반의 ELT 파이프라인 관리에는 직접적이지 않습니다. Data Fusion은 코드 없는(codeless) 또는 코드 기반의 ETL/ELT 파이프라인을 구축하는 데 사용되는 통합 플랫폼이지만, SQL-as-code의 직관적인 환경과는 거리가 있습니다. Cloud Composer는 워크플로우 오케스트레이션 도구로, 다양한 작업을 스케줄링하고 모니터링할 수 있지만, SQL 변환 로직 자체를 개발하고 관리하는 데 특화된 도구는 아닙니다.