초당 600바이트 레코드를 생성하는 2천만 대의 차량(시간당 약 40TB)에 대한 수집 시스템을 설계해야 합니다. 차량은 GCP로 데이터를 어떻게 전송해야 할까요?

Google Cloud Pub/Sub은 대규모 스트리밍 데이터를 안정적으로 수집하고 전달하는 데 최적화된 메시징 서비스입니다. 초당 600바이트의 레코드를 생성하는 2천만 대의 차량에서 발생하는 대량의 데이터를 실시간으로 처리하기에 적합합니다. Pub/Sub은 분산 시스템 간의 비동기 통신을 지원하여 차량이 데이터를 게시하고 다른 서비스가 이를 구독하여 처리할 수 있도록 합니다. Google Cloud Storage에 직접 쓰는 것은 실시간 스트리밍에는 적합하지 않으며, 파일 기반의 배치 처리에 더 가깝습니다. Google BigQuery로 직접 스트리밍하는 것은 가능하지만, BigQuery는 분석 데이터 웨어하우스이므로 실시간 수집 계층으로 직접 사용하는 것보다 Pub/Sub을 통해 데이터를 수집한 후 BigQuery로 스트리밍하는 것이 일반적인 아키텍처입니다. 기존 FTP 기반 시스템은 대규모 실시간 데이터 수집 요구사항을 충족하기 어렵습니다.