Een bedrijf beheert AWS-resources in meerdere Regio's en heeft in elke Regio een Amazon EFS-bestandssysteem. Het data science-team werkt slechts in één Regio en hun data moet in die Regio blijven. Een data engineer moet een geconsolideerde dataset creëren door bestanden te verwerken die zijn opgeslagen op elke Regionale EFS, met behulp van een Step Functions state machine die Lambda-functies orkestreert. Welke optie bereikt dit met de minste inspanning?

De correcte optie is om AWS DataSync te gebruiken. DataSync is ontworpen voor het efficiënt en veilig overdragen van grote hoeveelheden data tussen on-premises opslag en AWS-opslagservices, of tussen verschillende AWS-opslagservices, inclusief EFS. Door DataSync te gebruiken om bestanden van elke regionale EFS naar de EFS in de Regio van het data science-team over te dragen, wordt de data gecentraliseerd waar het team werkt, wat de verwerking vereenvoudigt. De Lambda-functies in de doelregio kunnen vervolgens de lokale EFS mounten en de geconsolideerde data verwerken met minimale inspanning. Het peeren van VPC's en het mounten van EFS-bestandssystemen over Regio's heen (optie 1) introduceert netwerkcomplexiteit en hogere latentie. EFS cross-Region replication (optie 2) is een goede optie voor disaster recovery, maar het creëert afzonderlijke, gerepliceerde bestandssystemen in de doelregio, wat nog steeds meerdere mount-punten en complexiteit voor consolidatie vereist. Lambda-functies in elke Regio (optie 3) om data te verwerken en naar S3 te schrijven, vereist meer orkestratie en data-overdrachtskosten dan het direct consolideren van de EFS-data.