나중에 재처리할 수 있도록 원시 비정형 소스 데이터를 검색된 그대로(스키마 변경 가능) 저장해야 합니다. 원시 데이터를 어디에 저장하고 파이프라인이 여기에 어떻게 액세스해야 할까요?

원시 비정형 소스 데이터를 스키마 변경 가능성을 고려하여 그대로 저장하고 나중에 재처리해야 하는 경우, Cloud Storage 버킷이 가장 적합합니다. Cloud Storage는 객체 스토리지 서비스로, 모든 유형의 데이터를 스키마 없이 원시 형태로 저장할 수 있으며, 뛰어난 확장성과 내구성을 제공합니다. 처리 파이프라인은 이 버킷에서 데이터를 직접 읽어 처리할 수 있습니다. BigQuery는 정형 데이터를 위한 데이터 웨어하우스이므로, 스키마 변경 가능성이 있는 원시 비정형 데이터를 그대로 저장하는 데는 적합하지 않습니다. 처리된 데이터를 BigQuery에 저장하는 것은 일반적이지만, 원시 데이터를 재처리 목적으로 저장하는 것과는 다릅니다.