Ein Genomikgerät sendet jede Sekunde 8 KB Daten an eine Datenplattform. Anforderungen: Near-Realtime-Analysen, flexible/parallele/dauerhafte Datenerfassung und Bereitstellung der verarbeiteten Ergebnisse in einem Data Warehouse. Welches Design sollte ein Lösungsarchitekt wählen?

Die korrekte Lösung nutzt Kinesis Data Streams für die flexible und parallele Datenerfassung in Near-Realtime, da es für hohe Durchsätze und geringe Latenz optimiert ist. Kinesis-Clients können direkt auf den Stream zugreifen, um die Daten zu analysieren. Amazon EMR ist ideal für die Verarbeitung großer Datenmengen und das Laden der Ergebnisse in Amazon Redshift, ein Data Warehouse, das für analytische Abfragen optimiert ist. Die Option mit Kinesis Data Firehose ist weniger geeignet, da es primär für das Laden von Daten in Zieldienste konzipiert ist und die Analyse mit Kinesis-Clients nicht direkt unterstützt. Amazon RDS ist kein Data Warehouse und für analytische Workloads weniger geeignet. Die Speicherung in Amazon S3 mit SQS und Kinesis ist zu komplex und nicht optimal für Near-Realtime-Analyse. Die API Gateway/SQS/Lambda-Lösung ist für ereignisgesteuerte Architekturen gut, aber für kontinuierliche Datenströme mit 8 KB/Sekunde ist Kinesis Data Streams effizienter und kostengünstiger.