Een bedrijf is onlangs gemigreerd naar de AWS Cloud en wil een serverloze oplossing voor grootschalige, on-demand parallelle verwerking van een semi-gestructureerde dataset die is opgeslagen in Amazon S3 (logs, mediabestanden, transacties, IoT). De oplossing moet duizenden items parallel verwerken. Welke optie biedt de MEESTE operationele efficiëntie?

De AWS Step Functions Map state in Distributed mode is de meest operationeel efficiënte oplossing voor grootschalige, on-demand parallelle verwerking van duizenden items. Deze modus is speciaal ontworpen voor het verwerken van grote datasets, waarbij elke iteratie van de Map state als een afzonderlijke, onafhankelijke uitvoering wordt behandeld. Dit biedt een hoge mate van schaalbaarheid en fouttolerantie. De Inline mode van de Map state is minder geschikt voor duizenden items, omdat alle iteraties binnen één workflow-uitvoering plaatsvinden, wat beperkingen kan opleveren voor de doorvoer en de maximale uitvoeringstijd. AWS Glue is een uitstekende ETL-service, maar is meer gericht op data-integratie en -transformatie op grotere schaal, en minder op on-demand parallelle verwerking van individuele items. Meerdere AWS Lambda-functies kunnen parallel worden uitgevoerd, maar het orkestreren en beheren van duizenden onafhankelijke Lambda-aanroepen zonder een centraal coördinatiemechanisme (zoals Step Functions) kan complex en minder operationeel efficiënt zijn.