Ein Cybersicherheitsunternehmen muss eingehende Sicherheitsereignisse in Echtzeit auf Anomalien prüfen und die Anomalie-Scores zur späteren Analyse in seinem Data Lake speichern. Welches ist das effizienteste Design, um die Anomalie-Scores in Echtzeit bei der Datenerfassung zu ermitteln und die Ergebnisse in S3 zu speichern?

Diese Option ist die effizienteste, da sie eine vollständig verwaltete, serverlose Lösung für die Echtzeit-Anomalieerkennung und Datenspeicherung bietet. Amazon Kinesis Data Firehose erfasst den Stream und leitet ihn an Kinesis Data Analytics weiter. Kinesis Data Analytics kann mit dem integrierten Random Cut Forest (RCF)-Algorithmus Anomalien in Echtzeit erkennen. Die Ergebnisse werden dann über Kinesis Data Firehose direkt an Amazon S3 zur Speicherung übermittelt. Dies minimiert den Betriebsaufwand und skaliert automatisch. Die anderen Optionen sind weniger effizient: Apache Spark Streaming auf Amazon EMR erfordert die Verwaltung von EMR-Clustern und ist nicht vollständig serverlos. Die Speicherung in HDFS auf EMR ist keine dauerhafte Lösung für einen Data Lake in S3. Das Training eines k-means-Modells mit AWS Batch auf S3-Daten ist ein Batch-Prozess und nicht für die Echtzeit-Anomalieerkennung bei der Datenerfassung geeignet. Die Verwendung von AWS Glue und Amazon SageMaker für die Anomalieerkennung ist ebenfalls ein Batch-Ansatz und nicht für die Echtzeitverarbeitung von eingehenden Streams optimiert.