Bir şirket CSV kayıtlarını gerçek zamanlı olarak aktarıyor ve bunları Apache Parquet formatında Amazon S3'te depolamak istiyor. Gelen CSV verilerini S3'te depolamadan önce Parquet'e dönüştürmek için en az geliştirme çabası gerektiren seçenek hangisidir?

Doğru cevap, Amazon Kinesis Data Streams ve Amazon Kinesis Data Firehose kullanmaktır. Kinesis Data Streams, gerçek zamanlı CSV verilerini toplamak için yönetilen bir hizmettir. Kinesis Data Firehose, bu verileri doğrudan S3'e teslim edebilir ve teslimat sırasında Parquet formatına dönüştürme yeteneğine sahiptir. Bu, minimum geliştirme çabası gerektiren, tam olarak yönetilen bir çözümdür. Diğer seçenekler daha fazla geliştirme veya yönetim çabası gerektirir: Apache Kafka Streams ve Kafka Connect S3, EC2 üzerinde Kafka kümesi yönetimi gerektirir. Kinesis Data Streams ile AWS Glue çalıştırmak, Glue işlerini yapılandırma ve yönetme ihtiyacı doğurur. EMR kümesinde Apache Spark Structured Streaming kullanmak, bir EMR kümesini kurma, yönetme ve Spark işlerini geliştirme gereksinimi getirir.