Een partner stuurt plaintext creditcardgegevens (ongeveer 5.000 records elke 15 minuten) naar een S3-bucket (server-side encrypted). Het bedrijf moet automatisch PAN's maskeren, velden verwijderen/samenvoegen en records transformeren naar JSON, en vervolgens de resultaten naar een andere S3-bucket sturen voor interne verwerking. Het ontwerp moet eenvoudig uitbreidbaar zijn voor aanvullende feeds. Welke oplossing voldoet aan deze vereisten?

Deze oplossing is de meest geschikte omdat AWS Glue speciaal is ontworpen voor ETL-taken (Extract, Transform, Load) en goed schaalbaar is voor dit soort workloads. De Glue crawler met een custom classifier kan het complexe, platte tekstformaat van de inkomende gegevens interpreteren en een schema definiëren. Een Lambda-functie kan de Glue ETL-taak triggeren bij het uploaden van een nieuw bestand, wat zorgt voor automatisering. De Glue ETL-taak kan vervolgens de PAN's maskeren, velden verwijderen/samenvoegen en de records transformeren naar JSON, en de resultaten naar de doel-S3-bucket schrijven. Dit is eenvoudig uitbreidbaar voor aanvullende feeds door nieuwe crawlers en ETL-taken te definiëren. De optie met twee Lambda-functies en SQS is minder efficiënt voor grote batches en complexe transformaties, en het beheer van de batchverwerking (wachten tot de SQS-wachtrij leeg is) is complexer. De Fargate-optie introduceert onnodige complexiteit met het beheer van containers en het opschalen/afschalen van de applicatie, terwijl Glue dit out-of-the-box biedt. De Athena/EMR-optie is te zwaar en kostbaar voor deze specifieke use case; EMR is meer geschikt voor zeer grote, complexe big data-analyses die niet met Glue kunnen worden afgehandeld.