Ein Unternehmen erfasst täglich Millionen von Bestellungen in Amazon DynamoDB. Neue Bestellungen werden kontinuierlich hinzugefügt, sobald Kunden sie aufgeben. Ein Data Scientist muss Vorhersagen für Spitzenzeiten erstellen und ein Amazon QuickSight-Dashboard entwickeln, das Bestelldaten nahezu in Echtzeit anzeigt. Welcher Ansatz minimiert die Zeit zwischen dem Schreiben einer neuen Bestellung in DynamoDB und dem Zugriff von QuickSight auf diese neuen Daten?

Die Verwendung von Amazon Kinesis Data Firehose zur Lieferung von DynamoDB-Änderungsdaten an Amazon S3 ist die effizienteste Methode, um nahezu Echtzeit-Updates für QuickSight zu gewährleisten. Kinesis Data Firehose kann direkt mit DynamoDB Streams integriert werden, um Änderungen (neue Bestellungen) kontinuierlich und mit geringer Latenz an S3 zu streamen. QuickSight kann dann S3 als Datenquelle nutzen, was eine schnelle Aktualisierung des Dashboards ermöglicht. Die Option, AWS Glue zu verwenden, um Daten nach S3 zu exportieren, ist weniger ideal, da Glue in der Regel für Batch-Verarbeitung und nicht für kontinuierliche Echtzeit-Updates konzipiert ist, was zu höherer Latenz führen würde. Das Senden von DynamoDB-Änderungen an Kinesis Data Streams und das anschließende Übertragen dieser Daten nach S3 ist ein gültiger Ansatz, erfordert jedoch zusätzliche Konfiguration und möglicherweise eine höhere Komplexität im Vergleich zur direkten Nutzung von Firehose für diesen Anwendungsfall. QuickSight direkt auf DynamoDB zugreifen zu lassen, ist für große, sich ständig ändernde Datensätze in QuickSight nicht optimal, da dies zu Leistungsproblemen führen und die DynamoDB-Ressourcen belasten könnte.