한 회사에서 여러 리전에 걸쳐 AWS 리소스를 운영하며, 각 리전에는 Amazon EFS 파일 시스템이 있습니다. 데이터 과학 팀은 한 리전에서만 작업하며, 해당 데이터는 해당 리전에 유지되어야 합니다. 데이터 엔지니어는 Step Functions 상태 머신을 사용하여 각 리전 EFS에 저장된 파일을 처리하고 Lambda 함수를 오케스트레이션하여 통합 데이터 세트를 생성해야 합니다. 가장 적은 노력으로 이를 달성하는 옵션은 무엇입s니까?

정답은 AWS DataSync를 사용하여 각 리전 EFS에서 데이터 과학 팀의 리전에 있는 EFS로 파일을 전송하고, 데이터 과학 팀 리전의 Lambda가 로컬 파일 시스템을 마운트하여 데이터를 처리하는 것입니다. DataSync는 여러 리전의 EFS 데이터를 중앙 리전으로 효율적으로 전송하는 관리형 서비스입니다. 이 방법은 데이터 과학 팀이 단일 리전에서 작업하고 데이터가 해당 리전에 유지되어야 한다는 요구 사항을 충족합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. VPC 피어링은 EFS에 대한 직접적인 교차 리전 액세스를 제공하지만, Lambda가 다른 리전의 EFS에 직접 마운트하는 것은 복잡하고 지연 시간이 발생할 수 있습니다. EFS 교차 리전 복제는 데이터 동기화를 제공하지만, 원본 EFS 파일 시스템에 대한 변경 사항이 지속적으로 복제되므로, 통합 데이터 세트 생성을 위한 단일 시점 스냅샷이나 중앙 집중식 처리에 적합하지 않을 수 있습니다. 각 리전에 Lambda 함수를 배포하여 S3 버킷에 출력을 작성하는 것은 데이터를 S3로 이동시키므로 EFS에 데이터를 유지해야 한다는 요구 사항을 충족하지 못합니다.