Un partner invia dati di carte di credito in testo semplice (circa 5.000 record ogni 15 minuti) in un bucket S3 (crittografato lato server). L'azienda deve mascherare automaticamente i PAN, rimuovere/unire i campi e trasformare i record in JSON, quindi inviare i risultati a un altro bucket S3 per l'elaborazione interna. Il design dovrebbe essere facilmente estensibile per feed aggiuntivi. Quale soluzione soddisfa questi requisiti?

La soluzione AWS Glue è la più adatta perché offre un servizio ETL serverless e scalabile che può gestire la trasformazione dei dati in modo efficiente. Un crawler AWS Glue può identificare automaticamente lo schema dei dati in testo semplice e un classificatore personalizzato può essere utilizzato per gestire formati specifici. Un job AWS Glue ETL può quindi eseguire il mascheramento dei PAN, la rimozione/unione dei campi e la trasformazione in JSON. L'invocazione tramite Lambda all'arrivo dell'oggetto S3 garantisce un'automazione reattiva. Le altre opzioni sono meno efficienti o più complesse: La prima opzione con più funzioni Lambda e SQS introduce complessità e latenza aggiuntive per un flusso di lavoro che AWS Glue può gestire in modo più integrato. La seconda opzione con Fargate è valida per l'elaborazione, ma AWS Glue è specificamente progettato per le trasformazioni ETL e offre funzionalità come i classificatori per schemi di dati. La quarta opzione con Athena e EMR è eccessivamente complessa e costosa per questo caso d'uso. EMR richiede la gestione di cluster e non è serverless come AWS Glue, rendendolo meno efficiente per carichi di lavoro intermittenti o di piccole dimensioni.