Você deve construir um pipeline de manutenção preditiva em tempo real que recebe dados de dispositivos de locais remotos (sem Direct Connect ou VPN). O pipeline deve: ingerir dados no Amazon S3 em tempo real, transformar os registros brutos de entrada em CSV limpo durante a ingestão, armazenar os registros brutos originais no S3 e colocar quaisquer registros que falhem na transformação em um local S3 designado para revisão humana. Qual arquitetura exige o menor esforço para atender a esses requisitos?

A opção correta é a que utiliza o Amazon Kinesis Data Firehose com uma função AWS Lambda para transformação. O Firehose é ideal para ingestão de dados em tempo real no S3, e sua integração nativa com o Lambda permite transformar os dados brutos em CSV limpo durante a ingestão. O recurso de backup de registro de origem do Firehose armazena automaticamente os registros brutos originais no S3, e ele pode ser configurado para enviar registros com falha de transformação para um prefixo S3 de erro, atendendo a todos os requisitos com o menor esforço de gerenciamento. As outras opções exigem mais esforço: o Amazon MSK requer gerenciamento de clusters e workers ECS; o AWS Glue Apache Spark para transformação do Firehose é mais complexo e caro para este caso de uso; e a combinação Kinesis Data Streams com Firehose e múltiplas funções Lambda adiciona complexidade desnecessária para os requisitos apresentados.