Новое озеро данных на Amazon S3 будет запрашиваться с помощью Amazon Athena. Источником является локальная база данных Oracle с 70 таблицами (все с первичными ключами); данные периодически меняются. Компания хочет ежедневно загружать таблицы в озеро с наименьшими усилиями. Какое решение следует использовать?

AWS DMS — это оптимальное решение для миграции и непрерывной репликации данных, включая периодически изменяющиеся данные из локальной базы данных Oracle в Amazon S3. Оно позволяет настроить источник (Oracle) и цель (S3), а также выбрать формат Parquet, что соответствует требованиям к озеру данных. DMS автоматически отслеживает изменения и реплицирует их, минимизируя усилия по управлению. Apache Sqoop в Amazon EMR требует больше усилий для настройки и управления, особенно при инкрементальной загрузке и периодических изменениях. AWS Glue bookmark подходит для инкрементальной загрузки, но DMS специально разработан для репликации баз данных, что делает его более эффективным в данном сценарии. Миграция в Amazon RDS, а затем использование триггеров Lambda, является избыточным и сложным решением, добавляющим ненужные промежуточные шаги и увеличивающим сложность архитектуры.