ある企業には、異なるウェアハウジングエンジン（Amazon Redshift、AWS 上の Teradata Vantage、Google BigQuery）を使用している 3 つの子会社があります。同社は、Apache Iceberg を使用してデータを S3 データレイクに統合したいと考えています。新しいパイプラインは、各ソースに接続し、各ソースエンジンを使用して変換を実行し、結果を結合し、運用上の労力を最小限に抑えて Iceberg に書き込む必要があります。運用上のオーバーヘッドを最小限に抑えながら、これらの要件を満たすアプローチはどれですか？

このアプローチは、Amazon Athenaのフェデレーテッドクエリコネクタを活用することで、複数の異なるデータソース（Redshift、Teradata、BigQuery）から直接データを読み込み、結合し、Apache Icebergテーブルに書き込むことができます。これにより、各データソースからS3への個別のデータ移動や変換パイプラインを構築する必要がなくなり、運用上のオーバーヘッドが最小限に抑えられます。SQLクエリのみで処理が完結するため、開発とメンテナンスも容易です。 他の選択肢は、追加の変換レイヤーやカスタムコードの記述が必要となり、運用上の複雑さが増します。例えば、AWS Glueはコネクタを提供しますが、変換ロジックの構築が必要です。Amazon EMRはPySparkコードの記述が必要で、AppFlowはS3へのデータ転送は行いますが、結合とIcebergへのマージにはAthenaなどの別のツールが必要です。