Bir şirket, verileri Amazon S3'e iletmek için Amazon Kinesis Data Firehose kullanacaktır. Gelen dosyalar 2 MB boyutunda CSV dosyalarıdır. Şirket, CSV dosyalarını JSON'a dönüştürmeli ve bunları S3'te Apache Parquet formatında depolamalıdır. Hangi yaklaşım en az geliştirme çabası gerektirir?

Doğru cevap, Kinesis Data Firehose'un yerleşik özelliklerini ve bir Lambda işlevini birleştirerek en az geliştirme çabasıyla istenen dönüşümleri gerçekleştirmesidir. Kinesis Data Firehose, gelen verileri işlemek için bir AWS Lambda işlevini çağırabilir. Bu durumda, Lambda işlevi CSV'den JSON'a dönüşümü gerçekleştirecektir. Lambda işlevi verileri JSON olarak Firehose'a geri döndürdükten sonra, Firehose'un kendisi, verileri S3'e teslim etmeden önce JSON'dan Apache Parquet'e dönüştürme yeteneğine sahiptir. Bu yaklaşım, her iki dönüşüm için de Firehose'un yeteneklerinden yararlanır ve ek bir dönüştürme hizmeti veya karmaşık özel kod gerektirmez. Diğer seçenekler ya Firehose'un tüm yeteneklerini kullanmaz (örneğin, Parquet dönüşümü için ayrı bir Lambda işlevi kullanmak) ya da Firehose'un doğrudan yapamayacağı dönüşümleri (örneğin, CSV'den JSON'a doğrudan dönüşüm) gerçekleştirmesini bekler, bu da daha fazla geliştirme çabası gerektirir.