Um aplicativo coloca centenas de arquivos .csv de 1 GB em um bucket do Amazon S3 a cada hora. Cada arquivo carregado deve ser convertido para o formato Apache Parquet e gravado em um bucket do S3. Qual solução oferece a funcionalidade necessária com o menor overhead operacional?

A solução com AWS Glue ETL e Lambda é a mais eficiente. O AWS Glue é um serviço ETL sem servidor e totalmente gerenciado, ideal para transformar grandes volumes de dados, como a conversão de CSV para Parquet. A integração com Lambda permite acionar o job Glue automaticamente a cada novo arquivo CSV no S3 (evento S3 PUT), minimizando o overhead operacional, pois você não precisa gerenciar servidores. A opção de usar apenas Lambda para converter arquivos de 1 GB pode exceder os limites de memória ou tempo de execução da função, tornando-a inadequada para este volume de dados. A opção com Apache Spark e Lambda envolve a gestão de um cluster Spark, aumentando o overhead operacional. A opção com Athena e Lambda agendada não reage a cada PUT e o Athena é mais para consulta ad-hoc do que para transformação ETL contínua.