자동 확장되고, at-least-once 처리를 제공하며, 1시간 윈도우 내에서 메시지 순서를 보존하는 데이터 파이프라인을 설계해야 합니다. 어떤 아키텍처를 사용해야 할까요?

정답은 메시지 수집에 Cloud Pub/Sub을 사용하고 스트리밍 분석에 Cloud Dataflow를 사용하는 것입니다. Cloud Pub/Sub은 완전 관리형 메시징 서비스로, 자동으로 확장되며 at-least-once 처리를 보장합니다. 또한, 메시지 게시 순서를 보존하여 1시간 윈도우 내에서 메시지 순서 보존 요구사항을 충족합니다. Cloud Dataflow는 스트리밍 및 배치 데이터 처리를 위한 완전 관리형 서비스로, 자동 확장 기능을 제공하고 at-least-once 처리를 지원하여 파이프라인의 안정성을 높입니다. Apache Kafka는 자동 확장을 위해 추가적인 관리가 필요하며, Cloud Dataproc은 관리형 Hadoop/Spark 서비스이지만 스트리밍 분석을 위해 Dataflow만큼 최적화되어 있지 않습니다. 따라서 Cloud Pub/Sub과 Cloud Dataflow의 조합이 주어진 요구사항을 가장 잘 충족하는 아키텍처입니다.