Une entreprise télécharge des fichiers CSV vers un compartiment Amazon S3. Un crawler AWS Glue construit des tables et des schémas pour les données, et un job AWS Glue traite les tables et écrit les résultats dans une base de données Amazon Redshift. Le job Glue gère le mappage des colonnes et crée les tables Redshift si nécessaire. Réexécuter le job Glue entraîne l'apparition de lignes dupliquées dans les tables Redshift. L'entreprise a besoin d'un moyen de mettre à jour les tables Redshift sans introduire de doublons. Quelle approche satisfait cette exigence ?

L'approche correcte consiste à utiliser une table de staging dans Redshift pour gérer les mises à jour et éviter les doublons. Le job Glue peut écrire les nouvelles données dans une table temporaire (staging table). Ensuite, des commandes SQL (par exemple, MERGE ou une combinaison de DELETE et INSERT) peuvent être exécutées pour mettre à jour les enregistrements existants dans la table cible de Redshift avec les nouvelles valeurs de la table de staging, et insérer les nouveaux enregistrements. Cette méthode garantit l'idempotence et évite les doublons. Les autres options sont moins appropriées : Charger les données dans MySQL puis les copier vers Redshift introduit une complexité et un coût inutiles, et Redshift est optimisé pour les charges de travail analytiques. dropDuplicates() de Spark ne gère que les doublons au sein du jeu de données actuel traité par Spark, pas les doublons par rapport aux données déjà existantes dans Redshift lors d'une réexécution. ResolveChoice est utilisé pour résoudre les ambiguïtés de schéma dans les données semi-structurées, pas pour gérer les doublons ou les mises à jour dans une base de données relationnelle.