Os sensores IoT de um laboratório emitem payloads de 100 KB a cada 10 segundos. Um processo downstream consulta um bucket do Amazon S3 a cada 30 segundos para consumir os dados. Qual arquitetura entregará os dados no S3 com a MENOR latência?

A opção correta é usar o Amazon Kinesis Data Streams com a Kinesis Client Library (KCL) e um intervalo de buffer de 5 segundos. O Kinesis Data Streams oferece baixa latência para ingestão de dados em tempo real. A KCL permite que um aplicativo consumidor processe os dados diretamente do stream, oferecendo controle granular sobre o buffer e o processamento, o que é crucial para minimizar a latência. Um intervalo de buffer de 5 segundos garante que os dados sejam processados e entregues ao S3 rapidamente, alinhando-se com a necessidade de baixa latência para o processo downstream que consulta a cada 30 segundos. As outras opções são menos ideais para a menor latência: Usar Kinesis Data Firehose com intervalo de buffer padrão (60 segundos ou 5 MB) introduzirá latência maior do que o necessário. Usar Kinesis Data Streams diretamente para S3 sem a KCL não oferece o mesmo controle sobre o buffer e a entrega. Apenas configurar shards não resolve a latência de entrega ao S3. Usar Amazon Managed Service for Apache Flink com Kinesis Data Firehose adiciona uma camada de processamento e o Firehose com buffer de 5 segundos ainda pode ser superado pela KCL para controle direto.