パートナーが毎日データファイルをAmazon S3バケットにドロップします。AWS Glue ETLジョブは毎日ファイルをクリーンアップして変換し、結果を別のS3バケットのDaily.csvに書き込みます。受信ファイルが空であるか、必須フィールドが欠落している場合があります。その場合、会社は前日のCSVを保持したいと考えています。エンジニアは、新しい日次ファイルが完全で有効な場合にのみ、前日のファイルが上書きされるようにする必要があります。最も少ない労力でこれを実現するソリューションはどれですか？

AWS Glue Data Qualityは、データ品質チェックをETLジョブに直接統合できるため、最も効率的なソリューションです。DQDLルールを使用して、空のファイルや必須フィールドの欠落を簡単に検出できます。ルールが失敗した場合、Glueジョブは新しいファイルをターゲットバケットに書き込まず、前日の有効なファイルを保持します。 他の選択肢は以下の理由で不適切です。 AWS Lambda関数は、追加の開発と管理オーバーヘッドを必要とします。 Glue Studioでコードを修正して欠落値を補完することは、要件（有効なファイルのみを保持する）に反し、データ品質を低下させる可能性があります。 Amazon Athenaはクエリサービスであり、ETLパイプラインの一部としてデータ検証と条件付き書き込みを直接管理するようには設計されていません。