ある会社が、s3://bucket/prefix/year=2023/month=01/day=01 のようなオブジェクトキーパスを使用して Amazon S3 データレイクをパーティション分割しています。新しいパーティションが追加されたときに、AWS Glue Data Catalog を S3 と同期させる必要があります。カタログを最新の状態に保つためのレイテンシーが最も低いアプローチはどれですか？

正解は、Amazon S3 にデータを書き込むコードを使用して、Boto3 AWS Glue createpartition API 呼び出しを起動する、です。このアプローチは、新しいデータがS3に書き込まれると同時にGlue Data Catalogが更新されるため、最も低いレイテンシーでカタログを最新の状態に保つことができます。他のオプションは、手動での実行やスケジュールされた実行であるため、必然的にレイテンシーが発生します。Glueクローラーのスケジュール実行は、定期的な更新には適していますが、リアルタイム性には欠けます。MSCK REPAIR TABLEコマンドは、Athenaなどのクエリエンジンから実行でき、既存のパーティションを検出しますが、これも手動または定期的な実行が必要です。