Uma frota de instâncias Amazon EC2 ingere dados JSON de fontes on-premises a até 1 MB/s. Quando uma instância EC2 reinicia, os dados em trânsito são perdidos. A equipe de ciência de dados precisa de consultas quase em tempo real dos dados ingeridos. Qual solução oferece consultas quase em tempo real, é escalável e minimiza a perda de dados?

A opção correta é publicar dados no Amazon Kinesis Data Streams e usar o Kinesis Data Analytics para consultas. O Kinesis Data Streams oferece um fluxo de dados em tempo real, garantindo que os dados em trânsito não sejam perdidos em caso de reinício de instâncias EC2, pois os dados são persistidos por até 365 dias. O Kinesis Data Analytics permite consultas SQL quase em tempo real sobre os dados que fluem pelo stream, atendendo ao requisito de consultas rápidas e escalabilidade. As outras opções são menos adequadas: Kinesis Data Firehose com Redshift: Embora o Redshift seja bom para consultas, o Firehose é mais para entrega em lote e não garante consultas quase em tempo real como o Data Analytics. EC2 instance store e S3 com Athena: O instance store é efêmero e os dados seriam perdidos. O Athena consulta dados no S3, o que não é ideal para consultas quase em tempo real sobre dados em streaming. EBS e ElastiCache for Redis: O EBS é persistente, mas o ElastiCache for Redis é um cache na memória, não uma solução de persistência de dados primária para ingestão e consulta de dados em streaming em grande escala.