Bir iş ortağı, düz metin kredi kartı verilerini (her 15 dakikada bir yaklaşık 5.000 kayıt) bir S3 bucket'ına (sunucu tarafı şifreli) gönderir. Şirket, PAN'ları otomatik olarak maskelemeli, alanları kaldırmalı/birleştirmeli ve kayıtları JSON'a dönüştürmeli, ardından sonuçları dahili işleme için başka bir S3 bucket'ına göndermelidir. Tasarım, ek beslemeler için kolayca genişletilebilir olmalıdır. Bu gereksinimleri hangi çözüm karşılar?

Bu çözüm, verilen gereksinimleri en iyi şekilde karşılar çünkü AWS Glue, veri kataloglama, ETL (Ayıklama, Dönüştürme, Yükleme) ve şema keşfi için özel olarak tasarlanmış yönetilen bir hizmettir. Özel bir sınıflandırıcı ile Glue crawler, düz metin kredi kartı verilerinin şemasını otomatik olarak algılayabilir. Bir Lambda işlevi tarafından tetiklenen Glue ETL işi, PAN maskeleme, alan birleştirme/kaldırma ve JSON dönüşümü gibi karmaşık veri dönüşümlerini verimli bir şekilde gerçekleştirebilir. Bu yaklaşım, gelecekteki veri akışları için kolayca genişletilebilir ve yönetimi basittir. Diğer seçenekler ya daha karmaşık bir mimariye yol açar (birden çok Lambda ve SQS kullanımı) ya da EMR gibi daha ağır hizmetler gerektirir ki bu, bu hacimdeki veriler için aşırı olabilir.