Um varejista está coletando registros de compras de 20.000 lojas no Amazon S3 via Amazon Kinesis Data Firehose. O treinamento diário do modelo requer transformações de atributos simples e algumas combinações de campos. Qual mudança exige o menor esforço de desenvolvimento para aplicar essas transformações simples antes do treinamento?

A opção correta é anexar um aplicativo Amazon Kinesis Data Analytics a jusante do stream do Firehose. O Kinesis Data Analytics permite processar e transformar dados em tempo real usando SQL, o que é ideal para transformações de atributos simples e combinações de campos antes do treinamento. Ele se integra nativamente ao Kinesis Data Firehose, exigindo o menor esforço de desenvolvimento para implementar as transformações necessárias. As outras opções são menos eficientes ou mais complexas para este caso de uso: Mudar para o AWS Storage Gateway e usar AWS Glue envolveria uma alteração significativa na ingestão de dados e o Glue é mais adequado para ETL em lote, não para transformações em tempo real de um stream. Executar um cluster Amazon EMR com Apache Spark é uma solução poderosa, mas é um esforço de desenvolvimento e gerenciamento maior do que o necessário para transformações "simples". Iniciar uma frota de instâncias Amazon EC2 para executar código de transformação é a opção de maior esforço de desenvolvimento e gerenciamento, exigindo que você gerencie a infraestrutura e o código de transformação manualmente.