Bir şirketin yüksek hacimli e-ticaret tıklama akışı verileri için gerçek zamanlıya yakın bir işlem hattına ihtiyacı var: alım, işleme ve görselleştirme. Çözüm, SQL tabanlı işlemeyi ve etkileşimli çalışma için Jupyter Notebook'ları desteklemelidir. Bu ihtiyaçları hangi mimari karşılar?

Doğru cevap, yüksek hacimli e-ticaret tıklama akışı verileri için gerçek zamanlıya yakın bir işlem hattı, SQL tabanlı işleme ve Jupyter Notebook'ları destekleme gereksinimlerini en iyi şekilde karşılar. Amazon MSK, yüksek hacimli akış verilerini güvenilir bir şekilde alabilir. Amazon Managed Service for Apache Flink (önceki adıyla Kinesis Data Analytics for Apache Flink), gerçek zamanlıya yakın SQL tabanlı işleme ve Jupyter Notebook entegrasyonu sunar. Flink'in yerleşik panosu ise etkileşimli görselleştirme sağlar. Diğer seçenekler: Kinesis Data Firehose, Lambda ve S3 kombinasyonu gerçek zamanlıya yakın işleme için yeterince hızlı olmayabilir ve SQL tabanlı etkileşimli işleme için doğrudan destek sunmaz. Kinesis Data Streams, Firehose ve Athena kombinasyonu, gerçek zamanlıya yakın işleme için gecikme sorunları yaşayabilir ve Firehose dönüştürme yetenekleri sınırlıdır. Athena, akış verileri için gerçek zamanlı işleme yerine daha çok sorgulama odaklıdır. MSK, AWS Glue ve S3 kombinasyonu, Glue'nun toplu işleme yetenekleri nedeniyle gerçek zamanlıya yakın gereksinimi karşılamakta zorlanabilir.