Eine Podcast-Plattform zeichnet hochvolumige Benutzerereignisse auf und führt ein Anomalieerkennungsmodell mit einem gleitenden 10-Minuten-Fenster aus. Jedes Ereignis benötigt kleine Transformationen vor der Inferenz. Welches Design für die Ereignisaufnahme und Vorverarbeitung bietet die erforderlichen Transformationen mit dem geringsten Betriebsaufwand?

Die Aufnahme von Ereignissen mit Amazon Kinesis Data Streams und die Transformation mittels Kinesis Data Analytics (Apache Flink) ist die effizienteste Lösung. Kinesis Data Streams bietet eine hochskalierbare Erfassung von Streaming-Daten. Kinesis Data Analytics mit Apache Flink ist ideal für zustandsbehaftete Echtzeit-Verarbeitung und Fensterfunktionen, wie das gleitende 10-Minuten-Fenster, und minimiert den Betriebsaufwand, da es ein vollständig verwalteter Dienst ist. Die Option mit AppSync und DynamoDB ist für Echtzeit-Analysen mit Fensterfunktionen weniger geeignet und kann bei hohem Datenvolumen teuer werden. Kinesis Data Firehose an S3 und AWS Glue ist eher für Batch-Verarbeitung oder längerfristige Speicherung gedacht und nicht für Echtzeit-Fensteranalysen. Amazon MSK erfordert mehr Betriebsaufwand als Kinesis-Dienste und eine Lambda-Funktion müsste die Fensterlogik selbst implementieren, was komplexer ist als die Nutzung von Flink.