Eine Flotte von Amazon EC2-Instances nimmt JSON-Daten aus lokalen Quellen mit bis zu 1 MB/s auf. Wenn eine EC2-Instance neu gestartet wird, gehen die gerade verarbeiteten Daten verloren. Das Data-Science-Team benötigt eine nahezu Echtzeit-Abfrage der aufgenommenen Daten. Welche Lösung bietet eine nahezu Echtzeit-Abfrage, ist skalierbar und minimiert den Datenverlust?

Kinesis Data Streams ist ideal für die Aufnahme von Datenströmen mit hohem Durchsatz und bietet Datenpersistenz, um Verluste bei Instance-Neustarts zu verhindern. Kinesis Data Analytics ermöglicht nahezu Echtzeit-Abfragen direkt auf den Streams. Kinesis Data Firehose mit Redshift als Ziel ist für Batch-Analysen optimiert und bietet keine nahezu Echtzeit-Abfragen auf den eingehenden Datenstrom. Das Speichern von Daten im EC2 Instance Store führt bei Neustarts zu Datenverlusten und Firehose mit S3/Athena ist ebenfalls für verzögerte Analysen gedacht. EBS-Volumes sind persistent, aber ElastiCache for Redis ist ein In-Memory-Datenspeicher, der nicht für die dauerhafte Speicherung von Streaming-Daten ausgelegt ist und keine direkte Abfragemöglichkeit wie Kinesis Data Analytics bietet.