수백만 개의 IoT 센서에서 스트리밍되는 구조화된 데이터와 비구조화된 데이터를 위한 고가용성 및 복원력 있는 데이터 레이크 파이프라인을 설계해야 합니다. 어떻게 해야 할까요?

수백만 개의 IoT 센서에서 스트리밍되는 데이터를 처리하려면 확장 가능하고 내결함성이 있는 메시징 서비스가 필요합니다. Pub/Sub은 이러한 대규모 스트리밍 데이터 수집에 이상적입니다. Dataflow는 스트리밍 데이터를 처리하고 변환하는 데 사용되는 완전 관리형 서비스이며, Cloud Storage는 구조화된 데이터와 비구조화된 데이터를 모두 저장할 수 있는 확장 가능하고 비용 효율적인 객체 스토리지입니다. 이 조합은 고가용성 및 복원력 있는 데이터 레이크 파이프라인을 구축하는 데 적합합니다. Storage Transfer Service는 주로 대량의 데이터를 다른 스토리지 위치로 전송하는 데 사용되며 스트리밍 데이터 처리에는 적합하지 않습니다. Dataprep은 데이터 준비 및 정리 도구이며, Bigtable은 시계열 데이터에 적합하지만 데이터 레이크의 모든 유형의 데이터를 저장하는 데는 Cloud Storage가 더 유연합니다. Dataflow로 직접 스트리밍하는 것은 Pub/Sub이 제공하는 메시지 큐의 이점을 놓치게 됩니다.