Bir şirket, Amazon S3 veri gölünü s3://bucket/prefix/year=2023/month=01/day=01 gibi nesne anahtar yolları kullanarak bölümlere ayırıyor. Yeni bölümler eklendiğinde AWS Glue Data Catalog'un S3 ile senkronize kalması gerekiyor. Kataloğu güncel tutmak için en düşük gecikmeyi sağlayan yaklaşım hangisidir?

Verileri Amazon S3'e yazan kodu, Boto3 AWS Glue createpartition API çağrısını yapacak şekilde kullanmak, yeni bölümler eklendiğinde AWS Glue Data Catalog'u S3 ile senkronize tutmak için en düşük gecikmeyi sağlar. Bu yaklaşım, veriler yazılır yazılmaz kataloğu güncelleyerek anında senkronizasyon sağlar. Diğer seçenekler daha yüksek gecikmeye sahiptir: AWS Glue crawler'ı planlamak, crawler'ın çalışma sıklığına bağlı olarak gecikmeye neden olur (örneğin, her sabah çalışırsa bir güne kadar gecikme olabilir). AWS Glue CreatePartition API'sini manuel olarak çalıştırmak, insan müdahalesi gerektirdiğinden ve yalnızca belirli aralıklarla yapıldığından gecikme yaratır. AWS Glue konsolundan MSCK REPAIR TABLE komutunu çalıştırmak, tüm bölümleri tarar ve manuel veya zamanlanmış bir işlem olduğundan gecikmeye neden olur.