Um engenheiro de ML deve processar milhares de arquivos CSV existentes, além de novos uploads de CSV armazenados em um bucket S3 central. Todos os CSVs compartilham o mesmo layout de coluna e incluem uma coluna de data de transação que deve ser consultada. Qual solução oferece isso com o menor overhead operacional?

A opção correta é usar Amazon Athena com CTAS. O Athena permite consultar diretamente os dados no S3 usando SQL, sem a necessidade de provisionar ou gerenciar servidores, minimizando o overhead operacional. O CTAS pode criar uma nova tabela particionada ou filtrada por data de transação, otimizando futuras consultas e reduzindo custos ao escanear menos dados. As outras opções são menos eficientes: Usar S3 Object Lambda para consultar por data de transação exigiria lógica personalizada para cada consulta e não otimizaria o escaneamento de dados como o particionamento. Um trabalho do AWS Glue para Apache Spark seria mais complexo e custoso para gerenciar, além de ser um processo ETL completo quando uma consulta direta é suficiente. O Amazon Kinesis Data Firehose com uma função Lambda é projetado para ingestão e transformação de dados em tempo real, não para consultar dados históricos existentes de forma eficiente.