Une entreprise a récemment migré vers le cloud AWS et souhaite une solution sans serveur pour le traitement parallèle à grande échelle et à la demande d'un ensemble de données semi-structurées stocké dans Amazon S3 (journaux, fichiers multimédias, transactions, IoT). La solution doit traiter des milliers d'éléments en parallèle. Quelle option offre la MEILLEURE efficacité opérationnelle ?

L'état Map distribué de Step Functions est idéal pour le traitement parallèle à grande échelle de milliers d'éléments, car il peut orchestrer des exécutions de flux de travail enfants distinctes pour chaque élément, offrant ainsi une visibilité et une gestion robustes des erreurs. Le mode Inline Map est limité à 40 exécutions parallèles et ne convient pas pour des milliers d'éléments. AWS Glue est un service ETL qui peut traiter des données en parallèle, mais il est plus adapté aux transformations de données complexes et aux catalogues de données, et peut être surdimensionné pour un simple traitement à la demande. L'utilisation de plusieurs fonctions Lambda directement nécessite une orchestration manuelle complexe et n'offre pas la même gestion d'état et de reprise sur erreur que Step Functions.