ある企業は毎日S3バケットにデータをアップロードし、AWS Glue Data Catalogを使用しています。日によっては、すべてのデータが到着する前に日次レポートが実行されることがあります。データエンジニアは、運用上のオーバーヘッドを最小限に抑えつつ、不完全なデータを特定するメッセージを既存のAmazon SNSトピックに送信する必要があります。このニーズを満たすソリューションはどれですか？

このソリューションは、既存のAWS Glue Data Catalogと統合し、運用オーバーヘッドを最小限に抑えるため、最も効率的です。AWS Glueワークフローは、データ品質チェックの実行、不完全なデータセットの検出、およびEventBridgeイベントの生成をオーケストレーションします。EventBridgeは、このイベントを既存のAmazon SNSトピックにルーティングし、エンジニアに通知します。 他の選択肢は、追加のインフラストラクチャ（Airflow、EMRクラスター）やより複雑なオーケストレーション（Step FunctionsとLambda）を導入するため、運用オーバーヘッドが増加します。AWS Glueワークフローは、Glue Data Catalogとネイティブに連携し、データ処理と品質チェックを単一の統合されたサービス内で実行できるため、このユースケースに最適です。