Um dispositivo genômico envia 8 KB de dados a cada segundo para uma plataforma de dados. Requisitos: análise quase em tempo real, ingestão flexível/paralela/durável e entrega de resultados processados em um data warehouse. Qual projeto um arquiteto de soluções deve escolher?

A opção correta é usar o Amazon Kinesis Data Streams porque ele é ideal para ingestão de dados em tempo real e processamento paralelo, atendendo aos requisitos de análise quase em tempo real e ingestão flexível/paralela/durável. Os clientes Kinesis podem analisar o stream diretamente, e o Amazon EMR é uma ferramenta robusta para carregar grandes volumes de dados processados em um cluster Amazon Redshift, que é um data warehouse adequado para os resultados. A opção com Kinesis Data Firehose é menos flexível para análise em tempo real com clientes Kinesis diretamente no stream, sendo mais focada em entrega para destinos específicos. Armazenar dados no Amazon S3 e usar SQS introduz latência e não é otimizado para análise quase em tempo real. Expor uma API com API Gateway e SQS para processamento com Lambda pode ser escalável, mas o Kinesis Data Streams é mais adequado para o volume e a natureza contínua dos dados genômicos, especialmente com a necessidade de análise em tempo real.