Un rivenditore raccoglie i registri degli acquisti da 20.000 negozi e li invia ad Amazon S3 utilizzando Amazon Kinesis Data Firehose. Ogni negozio esegue una piccola applicazione server che trasmette i dati tramite internet. I dati vengono utilizzati per riaddestrare quotidianamente un modello di machine learning. Il team di data science ha identificato campi esistenti che dovrebbero essere combinati in nuovi attributi prima dell'addestramento. Quale modifica produrrà i record trasformati aggiungendo il minimo overhead operativo?

Questa opzione è la più efficiente in termini di overhead operativo. Kinesis Data Firehose supporta nativamente la trasformazione dei dati tramite AWS Lambda, consentendo di applicare la logica di trasformazione ai record prima che vengano scritti su S3. Questo elimina la necessità di processi batch separati o infrastrutture aggiuntive per la trasformazione, integrandosi perfettamente nel flusso di ingestione dei dati esistente. Le altre opzioni introducono complessità e overhead maggiori: EMR richiede la gestione di cluster e l'orchestrazione, S3 File Gateway è per l'archiviazione ibrida e non per la trasformazione in streaming, e un parco istanze EC2 implica la gestione di server e la pianificazione manuale dei job, tutti con costi operativi superiori.