100가지 일반 상품에 대한 평균 가격을 30분마다 수신하며, 저렴한 조인을 위해 BigQuery에서 최신 상태로 유지해야 합니다. 어떤 접근 방식이 가장 좋을까요?

이 접근 방식은 잦은 업데이트와 빠른 조인 요구 사항을 모두 충족합니다. Cloud Storage에 데이터를 저장하고 업데이트하면 BigQuery 외부 테이블이 항상 최신 상태를 유지하며, BigQuery는 연동된 테이블을 통해 데이터를 직접 쿼리할 수 있어 별도의 로드 과정 없이 저렴하게 조인할 수 있습니다. 다른 옵션들은 다음과 같은 단점이 있습니다. 30분마다 새 파티션 테이블에 로드하는 것은 불필요한 스토리지 비용을 발생시키고, 최신 데이터를 쿼리하기 위해 복잡한 뷰나 쿼리가 필요할 수 있습니다. Cloud Datastore는 트랜잭션 데이터베이스로, 분석 워크로드에는 적합하지 않으며 BigQuery와의 병합을 위해 Cloud Dataflow를 사용하는 것은 불필요하게 복잡하고 비용이 많이 듭니다. Cloud Storage 파일에 데이터를 저장하고 Cloud Dataflow를 사용하여 BigQuery와 결합하는 것은 매번 Dataflow 작업을 실행해야 하므로 비용과 지연 시간이 발생합니다.