Een bedrijf uploadt CSV-bestanden naar een Amazon S3-bucket. Een AWS Glue crawler bouwt tabellen en schema's voor de data, en een AWS Glue job verwerkt de tabellen en schrijft de resultaten naar een Amazon Redshift-database. De Glue job regelt de kolommapping en maakt de Redshift-tabellen aan indien nodig. Het opnieuw uitvoeren van de Glue job zorgt ervoor dat dubbele rijen verschijnen in de Redshift-tabellen. Het bedrijf heeft een manier nodig om de Redshift-tabellen bij te werken zonder duplicaten te introduceren. Welke aanpak voldoet aan deze vereiste?

De correcte aanpak is om een stagingtabel te gebruiken in Redshift. De Glue job schrijft de nieuwe data eerst naar deze tijdelijke tabel. Vervolgens kunnen SQL-commando's, zoals UPDATE en INSERT (of een MERGE statement indien beschikbaar in de specifieke Redshift-versie), worden gebruikt om de hoofdtabel bij te werken met de data uit de stagingtabel. Dit zorgt ervoor dat bestaande rijen worden bijgewerkt en nieuwe rijen worden toegevoegd zonder duplicaten te creëren. De andere opties zijn minder geschikt: MySQL gebruiken introduceert onnodige complexiteit en extra kosten. dropDuplicates() verwijdert alleen duplicaten binnen de huidige dataset, niet ten opzichte van reeds bestaande data in Redshift. ResolveChoice is voor het oplossen van schema-inconsistenties in Glue DataFrames, niet voor het beheren van duplicaten in een doeltabel.