Ein Unternehmen ist kürzlich in die AWS Cloud migriert und wünscht sich eine serverlose Lösung für die groß angelegte, bedarfsgesteuerte parallele Verarbeitung eines semistrukturierten Datensatzes, der in Amazon S3 gespeichert ist (Protokolle, Mediendateien, Transaktionen, IoT). Die Lösung muss Tausende von Elementen parallel verarbeiten. Welche Option bietet die HÖCHSTE betriebliche Effizienz?

Der AWS Step Functions Map-Zustand im Distributed-Modus ist die effizienteste Lösung für die parallele Verarbeitung großer, semistrukturierter Datensätze. Er kann bis zu 10.000 parallele Iterationen starten, die jeweils eine eigene Workflow-Ausführung sind, und ist für die Verarbeitung großer Datensätze optimiert, die in S3 gespeichert sind. Dies bietet eine hohe betriebliche Effizienz, da Step Functions die Skalierung, Fehlerbehandlung und Protokollierung übernimmt. Der Map-Zustand im Inline-Modus ist auf 40 parallele Iterationen begrenzt und daher nicht für die Verarbeitung Tausender Elemente geeignet. AWS Glue ist ein ETL-Dienst, der für die Datenintegration und -transformation konzipiert ist, aber für die reine parallele Verarbeitung von Tausenden von Elementen in diesem Szenario weniger effizient ist als Step Functions. Mehrere AWS Lambda-Funktionen könnten zwar parallel ausgeführt werden, aber die Orchestrierung und Fehlerbehandlung für Tausende von Funktionen wäre komplex und würde die betriebliche Effizienz verringern.