Een telemetriesysteem moet 100 MB/s aan gegevens van 100.000 apparaten opnemen in Azure Event Hubs. Drie downstreamteams hebben onafhankelijke leesrechten nodig: een real-time analysejob, een monitoringdienst en een cold-path archief. Gegevens moeten elke 5 minuten automatisch worden opgeslagen in Azure Data Lake Storage Gen2, en downstream-leesbewerkingen mogen elkaar niet hinderen. Welke twee configuraties moet u aanbevelen?

Een aparte consumer group voor elke downstream-pipeline is essentieel omdat dit onafhankelijke leesbewerkingen mogelijk maakt. Elke consumer group behoudt zijn eigen offset, waardoor teams de gegevensstroom onafhankelijk kunnen verwerken zonder elkaar te beïnvloeden. Dit voldoet aan de vereiste dat downstream-leesbewerkingen elkaar niet hinderen. Event Hubs Capture inschakelen naar Azure Data Lake Storage Gen2 met een venster van 5 minuten en een groottedrempel voldoet aan de eis om gegevens elke 5 minuten automatisch op te slaan. Dit automatiseert het archiveringsproces efficiënt. Het maken van één partitie is onjuist, omdat dit de schaalbaarheid beperkt en de doorvoer van 100 MB/s niet kan verwerken. Het aantal partities instellen op 2 is te laag voor de vereiste doorvoer en het grote aantal apparaten. Het gebruik van Schema Registry is niet direct gerelateerd aan de gestelde vereisten voor gegevensopname en -verwerking.