Компания использует локальное хранилище данных Oracle и создает озеро данных на Amazon S3. Необходимо загрузить таблицы хранилища в S3 и поддерживать их синхронизацию с ежедневными инкрементальными данными. Каждая таблица имеет монотонно возрастающий столбец, размер менее 50 ГБ, ночное обновление между 1:00 и 2:00, а BI-запросы выполняются с 10:00 до 20:00. Какой подход является наиболее операционно эффективным?

Правильный ответ — использование AWS DMS с полной загрузкой и CDC, а затем AWS Glue для обработки инкрементальных данных. AWS DMS эффективно выполняет начальную полную загрузку и непрерывную репликацию изменений (CDC), что идеально подходит для монотонно возрастающих столбцов. AWS Glue затем может обрабатывать эти инкрементальные данные, добавляя их к существующей полной копии в S3. Это операционно эффективно, так как минимизирует объем передаваемых данных и позволяет BI-запросам работать без прерываний. Остальные варианты менее эффективны: Использование JDBC-соединения AWS Glue с закладками требует написания сложной пользовательской логики для обработки CDC, что менее эффективно, чем специализированный инструмент, такой как DMS. Ежедневная полная миграция с перезаписью данных в S3 неэффективна, так как передает весь объем данных каждый день, что дорого и занимает много времени, особенно для таблиц до 50 ГБ. Ежедневная полная загрузка через AWS Glue с перезаписью также неэффективна по тем же причинам, что и предыдущий вариант.