Een bedrijf heeft een on-premises Oracle datawarehouse en bouwt een data lake op Amazon S3. Ze moeten warehouse-tabellen in S3 laden en deze gesynchroniseerd houden met dagelijkse incrementele gegevens. Elke tabel heeft een monotoon toenemende kolom, groottes onder 50 GB, nachtelijke refresh tussen 1 AM en 2 AM, en BI-queries worden uitgevoerd van 10 AM tot 8 PM. Welke aanpak is het meest operationeel efficiënt?

De correcte optie is het meest operationeel efficiënt omdat AWS DMS speciaal is ontworpen voor datamigratie en continue replicatie (CDC) vanuit on-premises databases naar AWS-doelen zoals S3. De full load plus CDC-taak zorgt voor een initiële kopie en houdt deze vervolgens incrementeel bij. De aangepaste logica in AWS Glue is nodig om de incrementele wijzigingen van DMS op de bestaande S3-bestanden toe te passen, aangezien DMS alleen nieuwe bestanden aanmaakt voor CDC. De andere opties zijn minder efficiënt: Het gebruik van alleen AWS Glue JDBC met job bookmarks vereist meer handmatige configuratie en logica voor zowel de initiële load als de incrementele updates, wat complexer is dan DMS. Dagelijks een volledige kopie maken en overschrijven (met DMS of Glue) is inefficiënt voor tabellen tot 50 GB en verspilt bronnen, vooral omdat er alleen incrementele updates nodig zijn. Dit kan ook leiden tot downtime of inconsistenties tijdens de overschrijving.