Компания использует ресурсы AWS в нескольких регионах, и в каждом регионе есть файловая система Amazon EFS. Команда по обработке данных работает только в одном регионе, и их данные должны оставаться в этом регионе. Инженер по данным должен создать консолидированный набор данных, обрабатывая файлы, хранящиеся на каждой региональной EFS, используя машину состояний Step Functions, которая оркестрирует функции Lambda. Какой вариант позволяет достичь этого с наименьшими усилиями?

Правильный ответ — использование AWS DataSync. DataSync — это управляемый сервис, предназначенный для эффективной и безопасной передачи больших объемов данных между локальными хранилищами и AWS, а также между различными сервисами AWS, включая EFS. В данном случае DataSync может быть настроен для автоматической передачи файлов из каждой региональной EFS в централизованную EFS в регионе команды обработки данных. Это минимизирует усилия, поскольку DataSync берет на себя управление передачей данных, а Lambda-функции работают только с локальной EFS. Остальные варианты менее оптимальны: Пиринг VPC и монтирование удаленных EFS из Lambda-функций увеличит задержку и сложность, а также может быть менее надежным для больших объемов данных. Межрегиональная репликация EFS создает точные копии, но не предоставляет механизма для консолидации данных из нескольких источников в один целевой EFS для последующей обработки. Развертывание Lambda-функций в каждом регионе для обработки и записи в S3 потребует более сложной оркестровки и управления состоянием в Step Functions для объединения результатов из разных регионов.