Een cybersecuritybedrijf moet inkomende beveiligingsgebeurtenissen in realtime scoren op afwijkingen en de afwijkingsscores ook opslaan in zijn data lake voor latere analyse. Wat is het meest efficiënte ontwerp om realtime afwijkingsscores te behalen terwijl gegevens worden opgenomen en de resultaten naar S3 te persisteren?

De correcte optie maakt gebruik van Kinesis Data Firehose voor efficiënte stream-opname en levering aan S3, wat ideaal is voor realtime data lakes. Kinesis Data Analytics met Random Cut Forest (RCF) is een beheerde service die specifiek is ontworpen voor realtime anomaliedetectie op streaminggegevens, wat perfect aansluit bij de vereisten. De resultaten kunnen vervolgens eenvoudig via Kinesis Data Firehose naar S3 worden gepersisteerd. De andere opties zijn minder efficiënt of geschikt: Apache Spark Streaming op EMR is complexer en duurder voor dit specifieke gebruik, en het opslaan in HDFS op EMR is geen data lake oplossing voor latere analyse buiten EMR. Gegevens opnemen in S3 en AWS Batch met Deep Learning AMI's is een batch-verwerkingsaanpak, niet realtime. Gegevens opnemen in S3 en een on-demand AWS Glue-taak met SageMaker RCF is ook een batch-aanpak en niet realtime.