클라우드 네이티브 기록 데이터 처리 시스템을 설계합니다. 데이터는 CSV, Avro, PDF 형식이며, Dataproc, BigQuery, Compute Engine으로 액세스됩니다. 매일 배치 수집이 이루어지며, 성능은 중요하지 않고 가용성을 극대화해야 합니다. 데이터를 어떻게 저장해야 할까요?

데이터를 멀티 리전 Cloud Storage 버킷에 저장하는 것이 가장 적합합니다. Cloud Storage는 다양한 데이터 형식(CSV, Avro, PDF)을 지원하며, Dataproc, BigQuery, Compute Engine에서 직접 액세스할 수 있어 유연합니다. 특히, 멀티 리전 버킷은 최고의 가용성을 제공하여, 성능보다 가용성 극대화 요구사항을 충족합니다. 고가용성 Dataproc 클러스터에 HDFS를 사용하는 것은 Dataproc에 종속적이며, BigQuery에 데이터를 저장하는 것은 PDF와 같은 비정형 데이터 처리에 적합하지 않습니다. 리전 Cloud Storage 버킷은 가용성 측면에서 멀티 리전보다 떨어집니다.