Una empresa opera recursos de AWS en varias Regiones y tiene un sistema de archivos Amazon EFS en cada Región. El equipo de ciencia de datos trabaja solo en una Región y sus datos deben permanecer en esa Región. Un ingeniero de datos debe crear un conjunto de datos consolidado procesando archivos almacenados en cada EFS Regional utilizando una máquina de estados de Step Functions que orquesta funciones Lambda. ¿Qué opción logra esto con el menor esfuerzo?

La opción correcta es usar AWS DataSync para transferir archivos de cada EFS regional al EFS en la Región del equipo de ciencia de datos. Luego, las Lambdas en la Región del equipo de ciencia de datos pueden montar este sistema de archivos local y procesar los datos. Esto centraliza los datos para el procesamiento en la región del equipo de ciencia de datos, cumpliendo con el requisito de que los datos permanezcan en esa región, y DataSync es una solución eficiente para la transferencia de datos entre EFS. Interconectar VPCs y montar EFS remotos (opción 1) introduce latencia y complejidad, además de que el bloqueo de archivos de EFS no es relevante para la consolidación. La replicación entre regiones de EFS (opción 2) es para recuperación de desastres y no para consolidación activa de datos de múltiples fuentes. Implementar Lambdas en cada región para procesar y escribir a S3 (opción 3) no consolida los datos en un EFS centralizado para el equipo de ciencia de datos, lo cual es un requisito implícito.