Um sistema de relatórios entrega centenas de arquivos .csv para um bucket do Amazon S3 todos os dias. A empresa deve converter esses arquivos para Apache Parquet e armazenar os resultados em um bucket de dados transformados. Qual solução atenderá ao requisito com o MENOR esforço de desenvolvimento?

A solução com menor esforço de desenvolvimento é usar o AWS Glue. O AWS Glue é um serviço ETL (Extract, Transform, Load) totalmente gerenciado e sem servidor, ideal para essa tarefa. Um crawler do AWS Glue pode descobrir automaticamente o esquema dos arquivos CSV no S3. Em seguida, um trabalho de ETL do AWS Glue pode ser configurado para ler esses dados, convertê-los para o formato Parquet e gravá-los no bucket de destino, com pouco ou nenhum código manual necessário. As outras opções exigem mais esforço de desenvolvimento: Amazon EMR com Apache Spark: Embora eficaz, requer a configuração e o gerenciamento de um cluster EMR e a escrita de código Spark, o que é mais complexo do que usar o Glue. AWS Batch com script Bash: Exige a criação e manutenção de um script para a transformação, além da configuração do ambiente Batch. Função AWS Lambda: Embora sem servidor, o Lambda tem limites de tempo de execução e memória que podem ser problemáticos para centenas de arquivos grandes, e a escrita do código de transformação seria manual.