Een retailer verzamelt aankoopgegevens van 20.000 winkels en stuurt deze naar Amazon S3 met behulp van Amazon Kinesis Data Firehose. Elke winkel draait een kleine serverapplicatie die de gegevens via internet verzendt. De gegevens worden dagelijks gebruikt om een machine learning-model opnieuw te trainen. Het data science-team heeft bestaande velden geïdentificeerd die moeten worden gecombineerd tot nieuwe attributen vóór de training. Welke wijziging zal de getransformeerde records produceren met de minste operationele overhead?

De correcte optie is het maken van een AWS Lambda-functie voor recordtransformatie en deze te configureren binnen de Kinesis Data Firehose delivery stream. Dit is de meest operationeel efficiënte oplossing omdat Kinesis Data Firehose native integratie biedt met AWS Lambda voor data transformatie tijdens de opname. Dit minimaliseert de operationele overhead omdat er geen afzonderlijke infrastructuur hoeft te worden beheerd voor de transformatie. De transformatie vindt plaats voordat de gegevens in S3 worden opgeslagen, wat verdere verwerking vereenvoudigt. De andere opties zijn minder efficiënt: Het starten van een Amazon EMR-cluster met Apache Spark introduceert aanzienlijke operationele overhead door het beheer van een cluster en het plannen van taken. Het implementeren van een Amazon S3 File Gateway in elke winkel en het uitvoeren van een dagelijkse AWS Glue-taak is complexer en vereist meer beheer bij de bron en een afzonderlijke ETL-taak. Het voorzien van een vloot van Amazon EC2-instanties voor transformatie vereist het beheer van servers, inclusief patching, schaling en monitoring, wat een hoge operationele overhead met zich meebrengt.