Een retailer verzamelt aankoopgegevens van 20.000 winkels in Amazon S3 via Amazon Kinesis Data Firehose. Dagelijkse modeltraining vereist eenvoudige attribuuttransformaties en enkele veldcombinaties. Welke wijziging vereist de minste ontwikkelingsinspanning om deze eenvoudige transformaties toe te passen vóór de training?

De meest efficiënte oplossing is het koppelen van een Amazon Kinesis Data Analytics-applicatie downstream van de Firehose-stream. Kinesis Data Analytics biedt een serverloze manier om realtime transformaties uit te voeren met behulp van SQL, wat ideaal is voor eenvoudige attribuuttransformaties en veldcombinaties. Dit vereist minimale ontwikkelingsinspanning omdat het direct op de datastroom werkt en geen handmatig beheer van infrastructuur nodig heeft. Het laten overschakelen van winkels naar AWS Storage Gateway is een infrastructurele wijziging die geen directe oplossing biedt voor de transformatiebehoefte. Het uitvoeren van een Amazon EMR-cluster of een vloot van Amazon EC2-instanties voor dagelijkse transformaties is overdreven complex en kostbaar voor "eenvoudige" transformaties, en vereist meer ontwikkelings- en operationele inspanningen.