Pub/Sub에서 JSON을 읽고, 변환한 다음, BigQuery에 쓰는 파이프라인이 있습니다. 최소한의 비용으로 가변적인 입력 볼륨을 자동으로 처리하려면 어떤 서비스와 스케일링 접근 방식을 선택해야 할까요?

정답은 Cloud Dataflow를 변환에 사용하고, Stackdriver로 작업 백로그를 모니터링하며, 워커 인스턴스에 기본 자동 스케일링을 사용하는 것입니다. Cloud Dataflow는 Apache Beam 기반의 완전 관리형 서비스로, Pub/Sub와 같은 스트리밍 데이터 소스에서 들어오는 가변적인 볼륨의 데이터를 처리하는 데 최적화되어 있습니다. Dataflow의 기본 자동 스케일링 기능은 들어오는 데이터 양에 따라 자동으로 워커 인스턴스를 조정하여 비용 효율성을 높이고 수동 개입을 최소화합니다. Stackdriver(현재 Cloud Monitoring)를 사용하여 작업 백로그를 모니터링하면 파이프라인의 상태와 성능을 실시간으로 파악할 수 있습니다. 오답 설명: Cloud Dataproc은 Hadoop 및 Spark 워크로드에 적합하지만, 스트리밍 데이터의 가변적인 볼륨에 대한 자동 스케일링 기능은 Dataflow만큼 유연하고 비용 효율적이지 않습니다. 수동 스케일링은 운영 오버헤드를 증가시키고 비용 최적화에 불리합니다. Cloud Dataproc에서 진단을 실행하고 클러스터 리소스를 조정하는 것은 수동적인 접근 방식이며, 가변적인 입력 볼륨에 대한 실시간 대응이 어렵습니다. Cloud Dataflow를 사용하지만, 샘플링된 작업 실행 시간 모니터링 및 수동 머신 유형 구성은 자동 스케일링의 이점을 충분히 활용하지 못하며, 비용 효율성과 운영 편의성 측면에서 기본 자동 스케일링보다 떨어집니다.