Ein Unternehmen verfügt über ein lokales Oracle Data Warehouse und erstellt einen Data Lake auf Amazon S3. Es muss Warehouse-Tabellen in S3 laden und diese täglich mit inkrementellen Daten synchron halten. Jede Tabelle hat eine monoton ansteigende Spalte, Größen unter 50 GB, eine nächtliche Aktualisierung zwischen 1 Uhr und 2 Uhr morgens, und BI-Abfragen laufen von 10 Uhr morgens bis 20 Uhr abends. Welcher Ansatz ist am operativ effizientesten?

Die Verwendung von AWS DMS mit Full-Load und CDC ist die effizienteste Lösung. DMS kann die anfängliche vollständige Ladung durchführen und dann inkrementelle Änderungen (CDC) erfassen, was die Datenübertragung minimiert. Die monoton ansteigende Spalte ist ideal für CDC. AWS Glue kann dann die inkrementellen Daten verarbeiten und an die bestehenden S3-Dateien anhängen, was effizienter ist als tägliche vollständige Überschreibungen. Die Option mit AWS Glue JDBC und Job-Bookmarks ist weniger effizient, da Job-Bookmarks eher für die Verarbeitung von Quelldaten in Glue-Jobs gedacht sind, nicht für die kontinuierliche Replikation. Tägliche vollständige Überschreibungen mit DMS oder Glue sind ineffizient, da sie unnötig große Datenmengen übertragen und verarbeiten, was zu höheren Kosten und längeren Verarbeitungszeiten führt, insbesondere bei Tabellen bis zu 50 GB.