Bir podcast platformu yüksek hacimli kullanıcı olaylarını kaydeder ve 10 dakikalık hareketli bir pencere kullanarak bir anomali algılama modeli çalıştırır. Her olayın çıkarım öncesinde küçük dönüşümlere ihtiyacı vardır. En az operasyonel yük ile gerekli dönüşümleri sağlayan olay alımı ve ön işleme tasarımı hangisidir?

Doğru cevap, Amazon Kinesis Data Streams ve Amazon Kinesis Data Analytics (Apache Flink) kombinasyonudur. Kinesis Data Streams, yüksek hacimli olay verilerini gerçek zamanlı olarak alabilir. Kinesis Data Analytics, Apache Flink kullanarak akış halindeki veriler üzerinde karmaşık dönüşümler ve pencereleme işlemleri (örneğin, 10 dakikalık hareketli pencere) gerçekleştirmek için idealdir. Bu yaklaşım, verilerin çıkarım için hazır hale getirilmesini sağlar ve yönetilen bir hizmet olduğu için operasyonel yükü en aza indirir. Diğer seçenekler neden uygun değil: DynamoDB ve Lambda: DynamoDB, akış verileri için optimize edilmemiştir ve Lambda'nın her olay için tetiklenmesi veya pencereleme mantığını yönetmesi operasyonel olarak daha karmaşık olabilir. Kinesis Data Streams, Firehose ve Glue: Firehose ve Glue, genellikle toplu (batch) işleme veya uzun süreli depolama senaryoları için daha uygundur. Gerçek zamanlı 10 dakikalık hareketli pencere dönüşümleri için ek bir katman veya gecikme yaratır. MSK ve Lambda: MSK, yönetilen bir Kafka hizmeti olsa da, Apache Flink'in sunduğu gibi yerleşik akış analizi yeteneklerine sahip değildir. Lambda ile pencereleme mantığını yönetmek yine operasyonel yükü artırır.