Uma empresa de cibersegurança precisa pontuar eventos de segurança de entrada para anomalias em tempo real e também armazenar as pontuações de anomalias em seu data lake para análise posterior. Qual é o design mais eficiente para alcançar a pontuação de anomalias em tempo real à medida que os dados são ingeridos e persistir os resultados no S3?

Esta opção é a mais eficiente porque o Amazon Kinesis Data Firehose pode ingerir o stream de dados e entregá-lo diretamente ao Kinesis Data Analytics. O Kinesis Data Analytics é ideal para processamento em tempo real e oferece suporte nativo a algoritmos de detecção de anomalias como o Random Cut Forest (RCF). Após a detecção, o Kinesis Data Analytics pode enviar os resultados de volta para o Kinesis Data Firehose, que os persistirá de forma eficiente no Amazon S3. As outras opções são menos adequadas: Apache Spark Streaming no EMR com HDFS não é ideal para persistência no S3 e pode ser mais complexo para gerenciamento. AWS Batch com AMIs de Deep Learning para treinar um modelo k-means no TensorFlow é para treinamento de modelo, não para pontuação em tempo real de anomalias. Ingerir dados no S3 e usar AWS Glue com SageMaker RCF introduz latência, pois o S3 é um armazenamento de objetos, não um stream em tempo real, e o Glue é mais para processamento em lote sob demanda, não para detecção contínua em tempo real.