Een bedrijf traint periodiek ML-modellen opnieuw met behulp van nieuwe streaming apparaatgegevens. Ze hebben een opnamesysteem nodig met hoge doorvoer, duurzaamheid en schaalbaarheid, dat tot 5 minuten opnamelatentie kan tolereren en basis-transformaties kan toepassen tijdens de opname. Welke aanpak biedt de meeste operationele efficiëntie?

De correcte optie biedt de meest operationele efficiëntie omdat het Kinesis Data Streams gebruikt voor hoge doorvoer en duurzaamheid, en Kinesis Data Firehose voor schaalbare levering naar S3. De integratie met een Lambda-functie binnen Firehose maakt het mogelijk om basis-transformaties toe te passen tijdens de opname, wat voldoet aan de vereisten en de architectuur vereenvoudigt. De tolerantie voor 5 minuten latentie is acceptabel voor deze setup. De eerste incorrecte optie introduceert onnodige complexiteit en latency door data eerst naar S3 te schrijven, dan via Lambda en Kinesis Data Streams te routeren, en vervolgens weer via Firehose naar S3. Dit is inefficiënt. De tweede incorrecte optie is minder geschikt voor streaming data en realtime transformaties, aangezien AWS Glue-jobs doorgaans batch-georiënteerd zijn en meer latentie introduceren dan de vereiste 5 minuten toelaat. De derde incorrecte optie is minder efficiënt omdat het verbinden van een AWS Glue-job direct met een Kinesis Data Firehose delivery stream voor transformatie en opslag in S3 een minder gangbaar en potentieel complexer patroon is dan het gebruik van een Lambda-functie binnen Firehose voor lichte transformaties.