Компания использует Amazon S3 в качестве озера данных и многоузловой кластер Amazon Redshift в качестве хранилища данных. Файлы данных в озере организованы по источнику, и в настоящее время компания выдает отдельную команду COPY для каждого расположения файла для загрузки в одну таблицу Redshift, что медленно. Компании необходимо ускорить прием данных без увеличения затрат. Что им следует сделать?

Правильный ответ — создание файла манифеста. Команда COPY в Amazon Redshift может принимать файл манифеста, который перечисляет несколько файлов данных для загрузки. Это позволяет Redshift загружать все указанные файлы одной командой, что значительно ускоряет процесс по сравнению с выполнением отдельных команд COPY для каждого файла, особенно когда данные организованы по источнику в озере данных. Этот подход не увеличивает затраты, так как не требует дополнительных вычислительных ресурсов. Использование Amazon EMR или AWS Glue для копирования файлов в одну папку (хотя и возможно) добавляет ненужный промежуточный шаг и дополнительные затраты на эти сервисы. Загрузка данных в Amazon Aurora, а затем в Redshift также является избыточным и дорогостоящим решением, не соответствующим требованию сохранения затрат.