開発者が、S3 から読み取り、Amazon Redshift に書き込む AWS Glue ジョブをデバッグしています。ブックマークは有効になっており、最大同時実行数は 1 に設定されています。ジョブは Redshift に正常に書き込みますが、その後の実行では、以前の実行で既にロードされたファイルが再処理されます。最も可能性の高い原因は何ですか？

AWS GlueジョブがRedshiftにデータを書き込んだ後、以前処理されたファイルを再処理するのは、コミットステートメントがないためです。Glueブックマークは、前回の実行以降に新しいデータが追加されたS3ファイルを追跡することで機能します。しかし、Redshiftへの書き込みが正常に完了しても、Glueジョブがその変更をコミットしない場合、ブックマークは更新されません。その結果、次回の実行時にGlueは、以前処理されたファイルがまだ処理されていないと誤解し、それらを再処理してしまいます。 他の選択肢は正しくありません。s3:GetObjectAcl権限の欠如は、ブックマークの機能不全には直接つながりません。最大同時実行数が1であることは、ジョブの並列処理に影響しますが、ブックマークの動作には影響しません。古いバージョンのGlueを使用している場合でも、ブックマークは適切に動作するはずです。