원격 측정 시스템은 100,000개의 장치에서 초당 100MB를 Azure Event Hubs로 수집해야 합니다. 세 개의 다운스트림 팀(실시간 분석 작업, 모니터링 서비스, 콜드 패스 아카이브)은 독립적인 읽기가 필요합니다. 데이터는 5분마다 Azure Data Lake Storage Gen2에 자동으로 유지되어야 하며, 다운스트림 읽기는 서로 간섭해서는 안 됩니다. 다음 중 어떤 두 가지 구성을 권장하시겠습니까?

두 가지 구성이 권장됩니다. 첫째, 각 다운스트림 파이프라인(실시간 분석, 모니터링, 콜드 패스 아카이브)에 대해 별도의 소비자 그룹을 생성해야 합니다. 이렇게 하면 각 팀이 독립적으로 데이터를 읽고 처리할 수 있으며, 서로의 진행 상황에 영향을 주지 않아 다운스트림 읽기 간의 간섭을 방지합니다. 둘째, 5분 윈도우 및 크기 임계값으로 Azure Data Lake Storage Gen2에 Event Hubs Capture를 활성화해야 합니다. Event Hubs Capture는 Event Hubs로 수신되는 데이터를 자동으로 Azure Data Lake Storage Gen2에 저장하여 5분마다 데이터를 유지해야 하는 요구 사항을 충족합니다. 단일 파티션으로 Event Hub를 생성하는 것은 초당 100MB의 높은 수집 요구 사항으로 인해 병목 현상을 일으켜 처리량을 제한합니다. Event Hubs Schema Registry는 스키마 적용에 유용하지만, 이 시나리오의 핵심 요구 사항인 독립적인 읽기 및 자동 데이터 유지와 직접적인 관련이 없습니다. 파티션 수를 2로 설정하는 것은 단일 파티션보다 낫지만, 100,000개의 장치에서 초당 100MB를 처리하기에는 여전히 너무 적을 수 있으며, 처리량 요구 사항을 충족하기 위해 더 많은 파티션이 필요할 수 있습니다.