새로운 앱이 연말까지 매일 약 150GB의 JSON 데이터를 생성합니다. 요구 사항은 다음과 같습니다: 생산자/소비자 분리, 비용 효율적인 무기한 원시 스토리지, 거의 실시간 SQL, 2년 이상의 SQL 쿼리 가능한 기록. 이러한 요구 사항을 충족하는 수집 및 스토리지 파이프라인은 무엇입니까?

정답은 Cloud Pub/Sub에 이벤트를 게시하고 Dataflow 파이프라인을 사용하여 JSON을 Avro로 변환한 다음 Cloud Storage 및 BigQuery에 쓰는 것입니다. Pub/Sub은 생산자/소비자 분리를 제공하며, Dataflow는 거의 실시간으로 JSON을 Avro로 변환하여 효율적인 스토리지를 가능하게 합니다. Cloud Storage는 비용 효율적인 무기한 원시 스토리지 요구 사항을 충족하고, BigQuery는 2년 이상의 SQL 쿼리 가능한 기록을 제공하며 거의 실시간 SQL 분석을 지원합니다. 다른 옵션들은 다음 이유로 적합하지 않습니다. API를 제공하고 폴러를 작성하는 것은 수집 지연을 발생시키고 확장성이 떨어질 수 있습니다. Cloud SQL에 직접 쓰는 것은 대량의 비정형 JSON 데이터 저장에 비효율적이며, BigQuery의 거의 실시간 분석 기능을 제공하지 않습니다. Dataproc에서 Spark 작업을 실행하는 것은 관리 오버헤드가 크고, HDFS 영구 디스크는 Cloud Storage보다 비용 효율성이 떨어집니다.