Des fichiers provenant de plusieurs sources arrivent régulièrement dans un compartiment Amazon S3. Un ingénieur de données doit ingérer de nouveaux fichiers dans Amazon Redshift en quasi temps réel dès qu'ils apparaissent dans le compartiment S3. Quelle approche répond à cette exigence ?

L'approche correcte consiste à utiliser les notifications d'événements S3 pour invoquer une fonction AWS Lambda qui charge de nouveaux fichiers dans Amazon Redshift. Cette méthode permet une ingestion en quasi temps réel car Lambda est déclenchée immédiatement après l'arrivée d'un nouveau fichier dans S3, et la fonction peut ensuite exécuter une commande COPY ou utiliser l'API Redshift pour charger les données. Les autres options sont moins adaptées : L'éditeur de requêtes v2 avec une commande COPY planifiée ne permet pas une ingestion en quasi temps réel, car elle dépend d'un calendrier et non de l'arrivée des fichiers. L'intégration zero-ETL entre Amazon Aurora et Amazon Redshift est conçue pour la réplication de données depuis Aurora, pas pour l'ingestion de fichiers bruts depuis S3. Les signets de tâche AWS Glue sont utiles pour le suivi des données traitées lors d'opérations ETL par lots, mais ne fournissent pas la réactivité en quasi temps réel requise pour l'ingestion immédiate de nouveaux fichiers.