Yüksek hacimli akış JSON olayları için sunucusuz, gerçek zamanlı bir alım ve analiz hattına ihtiyacınız var. İş hattı verileri arabelleğe almalı, verileri kaybetmeden sorgular için optimize edilmiş sütunlu bir formata dönüştürmeli, sonuçları yüksek oranda erişilebilir bir veri deposunda saklamalı ve analistlerin SQL sorguları çalıştırmasına ve BI panolarını bağlamasına olanak tanımalıdır. Bu gereksinimleri en iyi karşılayan tasarım hangisidir?

Doğru seçenek, yüksek hacimli akış verilerini işlemek için AWS Kinesis Data Firehose gibi yönetilen bir akış dağıtım hizmetini kullanır. Bu hizmet, verileri arabelleğe alabilir, AWS Glue Data Catalog'da tanımlanan bir şema kullanarak Parquet veya ORC gibi sütunlu bir formata dönüştürebilir ve sonuçları Amazon S3'e (object storage) teslim edebilir. Amazon S3, yüksek erişilebilirlik ve dayanıklılık sunar. Analistler daha sonra Amazon Athena gibi sunucusuz bir SQL sorgu motoru kullanarak doğrudan S3'teki verileri sorgulayabilir ve JDBC bağlayıcısı aracılığıyla BI araçlarını entegre edebilir. Diğer seçenekler neden yanlış: İkinci seçenek, her JSON kaydını S3'e yazıp ardından sunucusuz bir işlevle dönüştürmeyi önerir. Bu, yüksek hacimli akış verileri için verimsiz ve maliyetli olabilir, çünkü her kayıt için ayrı bir işlev tetiklenir. Üçüncü seçenek, verileri yönetilen bir ilişkisel veritabanına eklemeyi önerir. Yüksek hacimli akış verileri için ilişkisel veritabanları genellikle ölçeklenebilirlik ve maliyet açısından uygun değildir. Dördüncü seçenek, gerçek zamanlı bir SQL akış işleme hizmeti kullanmayı önerir. Bu hizmetler genellikle veri dönüştürme yetenekleri açısından sınırlı olabilir ve Data Catalog entegrasyonu sunmayabilir, bu da şema yönetimi ve veri kalitesi için sorunlar yaratabilir.