Une flotte d'instances Amazon EC2 ingère des données JSON provenant de sources sur site à un débit pouvant atteindre 1 Mo/s. Lorsqu'une instance EC2 redémarre, les données en transit sont perdues. L'équipe de science des données a besoin d'une interrogation quasi en temps réel des données ingérées. Quelle solution permet une interrogation quasi en temps réel, est évolutive et minimise la perte de données ?

Kinesis Data Streams est une solution de streaming de données en temps réel qui garantit la durabilité des données, même en cas de défaillance d'instance, car les données sont stockées de manière redondante. Kinesis Data Analytics permet une interrogation quasi en temps réel des données directement depuis le flux, répondant ainsi au besoin de l'équipe de science des données. Cette architecture est hautement évolutive pour gérer des débits de données élevés. Les autres options sont moins appropriées : Kinesis Data Firehose avec Redshift comme destination introduit une latence plus élevée et n'est pas conçu pour l'interrogation quasi en temps réel du flux lui-même. L'instance store EC2 est éphémère et les données seraient perdues au redémarrage, ce qui ne résout pas le problème initial. Athena est excellent pour les requêtes sur S3 mais pas en temps quasi réel sur un flux. EBS est persistant mais l'utilisation d'ElastiCache for Redis pour l'ingestion et l'interrogation de données JSON n'est pas une solution standard ni optimale pour ce cas d'usage, et n'offre pas la même durabilité ou les capacités d'analyse en temps réel que Kinesis.