Un ingénieur de données extrait chaque mois des données d'entraînement d'Amazon Redshift vers Amazon S3. Le schéma source inclut TransactionTimestamp (timestamp), CardName (varchar) et CardNo (varchar). L'ingénieur doit (1) supprimer les lignes où CardNo = NULL, (2) diviser TransactionTimestamp en TransactionDate et TransactionTime, et (3) renommer CardName en NameOnCard. La solution doit minimiser la configuration de l'infrastructure, être automatisée mensuellement et exercer une charge minimale sur le cluster Redshift. Quelle solution répond à ces exigences ?

La création d'un job AWS Glue répond le mieux aux exigences. AWS Glue est un service ETL sans serveur qui permet de lire les données de Redshift, d'appliquer des transformations (filtrage des NULL, division de colonnes, renommage) avec des fonctionnalités intégrées ou du code PySpark/Scala, et d'écrire les résultats vers S3. Il minimise la configuration de l'infrastructure car il est sans serveur, peut être automatisé via des planifications et exerce une charge minimale sur Redshift en déchargeant le traitement. Provisionner un cluster EMR est une option valide mais implique plus de gestion d'infrastructure que Glue. Exécuter des requêtes depuis une instance EC2 est une approche manuelle et peu évolutive, ne répondant pas à l'automatisation. Utiliser Redshift Spectrum pour écrire directement vers S3 n'est pas idéal pour des transformations complexes comme la division de colonnes et le renommage, et la charge de traitement resterait sur Redshift.