Firma posiada lokalną hurtownię danych Oracle i buduje jezioro danych na Amazon S3. Musi załadować tabele hurtowni do S3 i utrzymywać je zsynchronizowane z codziennymi przyrostowymi danymi. Każda tabela ma monotonicznie rosnącą kolumnę, rozmiary poniżej 50 GB, nocne odświeżanie między 1:00 a 2:00, a zapytania BI są uruchamiane od 10:00 do 20:00. Które podejście jest najbardziej efektywne operacyjnie?

Poprawna odpowiedź wykorzystuje AWS DMS z pełnym ładowaniem i CDC (Change Data Capture), co jest najbardziej efektywnym operacyjnie rozwiązaniem. Pełne ładowanie początkowe przenosi istniejące dane, a CDC śledzi i replikuje zmiany w czasie rzeczywistym, zapewniając ciągłą synchronizację. Użycie niestandardowej logiki w AWS Glue do dołączania danych przyrostowych do pełnego ładowania w S3 jest skuteczne, ponieważ DMS może przesyłać zmiany do S3 w formacie łatwym do przetworzenia przez Glue. Opcja z AWS Glue JDBC i zakładką jest mniej efektywna, ponieważ wymagałaby ręcznego zarządzania stanem i logiką dołączania, co jest bardziej złożone niż wbudowane funkcje CDC w DMS. Codzienne nadpisywanie pełnego ładowania (zarówno za pomocą DMS, jak i Glue) jest nieefektywne dla dużych tabel, ponieważ marnuje zasoby i czas, zwłaszcza gdy potrzebne są tylko dane przyrostowe.