Ein Finanzunternehmen empfängt Tausende von JSON-Marktdatensätzen pro Sekunde und benötigt eine skalierbare AWS-Lösung mit minimalem Betriebsaufwand, um anomale Datenpunkte in Echtzeit zu erkennen. Welches Design erfüllt diese Anforderungen?

Die Aufnahme von Echtzeitdaten in Amazon Kinesis Data Streams und die Verwendung der RANDOMCUTFOREST-Funktion in Amazon MSK for Apache Flink ist die beste Lösung. Kinesis Data Streams ist hoch skalierbar für Tausende von Datensätzen pro Sekunde. Amazon MSK for Apache Flink bietet eine vollständig verwaltete Umgebung für die Echtzeit-Stream-Verarbeitung mit geringem Betriebsaufwand. Die RANDOMCUTFOREST-Funktion ist eine integrierte, effiziente Methode zur Anomalieerkennung in Streaming-Daten. Die Bereitstellung eines SageMaker-Endpunkts mit Lambda ist zwar möglich, aber für die Echtzeitverarbeitung von Tausenden von Datensätzen pro Sekunde kann dies zu Latenzproblemen und höheren Kosten führen, da jeder Datensatz einen separaten Aufruf erfordert. Apache Kafka auf EC2-Instanzen erfordert mehr Betriebsaufwand als verwaltete Dienste. SQS FIFO-Warteschlangen sind für die Batch-Verarbeitung und nicht für die Echtzeit-Anomalieerkennung optimiert, und AWS Glue ETL-Jobs sind ebenfalls für Batch-Verarbeitung konzipiert.