Uma empresa opera recursos AWS em várias regiões e tem um sistema de arquivos Amazon EFS em cada região. A equipe de ciência de dados trabalha em apenas uma região e seus dados devem permanecer nessa região. Um engenheiro de dados deve criar um conjunto de dados consolidado processando arquivos armazenados em cada EFS regional usando uma máquina de estado do Step Functions que orquestra funções Lambda. Qual opção consegue isso com o menor esforço?

A opção correta é usar o AWS DataSync para transferir arquivos de cada EFS regional para o EFS na região da equipe de ciência de dados. Isso centraliza os dados, permitindo que as funções Lambda na região da equipe de ciência de dados montem o EFS local e processem os dados de forma eficiente. O DataSync é projetado para transferências de dados seguras e de alto desempenho entre sistemas de arquivos e serviços de armazenamento AWS. As outras opções são menos eficientes ou mais complexas: Emparelhar VPCs e montar EFS de outras regiões adiciona latência e complexidade de rede. A replicação entre regiões do EFS é para alta disponibilidade e recuperação de desastres, não para consolidação de dados para processamento centralizado, e os dados replicados seriam somente leitura. Implantar Lambdas em todas as regiões e gravar em S3 centralizado introduz complexidade de orquestração e gerenciamento de dados em múltiplas regiões, além de exigir que a equipe de ciência de dados acesse dados no S3 em vez de um sistema de arquivos EFS.