한 회사에서 s3://bucket/prefix/year=2023/month=01/day=01과 같은 객체 키 경로를 사용하여 Amazon S3 데이터 레이크를 파티셔닝합니다. 새 파티션이 추가될 때 AWS Glue Data Catalog는 S3와 동기화된 상태를 유지해야 합니다. 카탈로그를 최신 상태로 유지하기 위한 가장 낮은 지연 시간을 제공하는 접근 방식은 무엇입니까?

가장 낮은 지연 시간으로 AWS Glue Data Catalog를 S3와 동기화 상태로 유지하려면, S3에 데이터를 쓰는 코드에서 직접 Boto3 AWS Glue createpartition API를 호출하는 것이 가장 효과적입니다. 이는 새 파티션이 생성되는 즉시 카탈로그가 업데이트되도록 보장하여 실시간에 가까운 동기화를 제공합니다. AWS Glue 크롤러를 매일 예약하는 것은 지연 시간이 발생하며, 수동으로 CreatePartition API를 실행하는 것은 자동화되지 않아 비효율적입니다. MSCK REPAIR TABLE 명령은 Athena에서 사용되며, Glue 콘솔에서 직접 실행하는 것이 아니라 Athena 쿼리 엔진을 통해 실행되며, 새로운 파티션을 검색하는 데 시간이 걸릴 수 있어 지연 시간이 발생합니다.