Uma empresa retreina periodicamente modelos de ML usando novos dados de dispositivos de streaming. Eles precisam de um sistema de ingestão de alta throughput, durável e escalável que possa tolerar até 5 minutos de latência de ingestão e aplicar transformações básicas durante a ingestão. Qual abordagem oferece a maior eficiência operacional?

A abordagem correta utiliza o Amazon Kinesis Data Streams para ingestão de alta throughput e durabilidade, ideal para dados de streaming de dispositivos. O Kinesis Data Firehose consome esses dados, permitindo transformações básicas com uma função Lambda antes de gravar no Amazon S3. Essa arquitetura é escalável, tolerante a falhas e atende ao requisito de latência de até 5 minutos, oferecendo alta eficiência operacional. A opção de gravar diretamente no S3 e usar Lambda para Kinesis Data Streams e Firehose é ineficiente e adiciona complexidade desnecessária. A opção com AWS Glue em eventos S3 pode introduzir latência maior que 5 minutos e é mais adequada para processamento em lote. A opção de conectar o AWS Glue diretamente ao Kinesis Data Firehose não é uma prática comum ou eficiente para transformações em tempo real com baixa latência.