Bir şirketin, farklı depolama motorları (Amazon Redshift, Teradata Vantage on AWS ve Google BigQuery) kullanan üç iştiraki bulunmaktadır. Verileri Apache Iceberg kullanarak bir S3 veri gölünde birleştirmek istiyorlar. Yeni veri hattının her bir kaynağa bağlanması, her kaynak motorunu kullanarak dönüşümler yapması, sonuçları birleştirmesi ve minimum operasyonel çabayla Iceberg'e yazması gerekmektedir. Hangi yaklaşım bu gereksinimleri en az operasyonel yük ile karşılar?

Bu senaryoda en az operasyonel yük ile en uygun çözüm Amazon Athena'dır. Athena'nın birleşik sorgu bağlayıcıları (federated query connectors) sayesinde Redshift, Teradata ve BigQuery gibi farklı kaynaklara doğrudan bağlanabilir ve SQL kullanarak bu kaynaklardan veri okuyup birleştirebilirsiniz. Iceberg tablolarına doğrudan MERGE işlemi yapabilmesi, veri birleştirme ve yazma sürecini basitleştirir. Bu yaklaşım, özel ETL işleri veya karmaşık Spark kodları yazma ihtiyacını ortadan kaldırarak operasyonel çabayı minimize eder. Diğer seçenekler neden uygun değil: AWS Glue: Her ne kadar yerel bağlayıcıları olsa da, Glue işleri geliştirmek ve yönetmek Athena'ya göre daha fazla operasyonel yük getirir. Amazon EMR: EMR, Spark kodu yazmayı gerektirir ve küme yönetimi nedeniyle en yüksek operasyonel yüke sahiptir. Amazon AppFlow: AppFlow, veri transferi için tasarlanmıştır ancak karmaşık dönüşümler ve Iceberg MERGE işlemleri için uygun değildir; genellikle verileri S3'e taşımak için kullanılır, ardından başka bir araçla işlenmesi gerekir.