데이터 엔지니어가 S3의 객체에 대한 AWS Glue Data Catalog를 설정했으며 증분 업데이트가 필요합니다. S3 이벤트 알림은 SQS 대기열로 전송됩니다. 운영 오버헤드가 가장 적은 증분 카탈로그 업데이트를 제공하는 단계 조합은 무엇입니까? (두 가지 선택)

S3 이벤트 기반 AWS Glue 크롤러는 SQS 대기열에서 이벤트를 직접 읽고 Data Catalog를 증분적으로 업데이트하여 새로운 파티션이나 스키마 변경 사항을 자동으로 감지합니다. 이는 운영 오버헤드가 가장 적은 방법 중 하나입니다. AWS Lambda 함수를 사용하여 SQS 대기열에서 수신한 S3 이벤트를 기반으로 Data Catalog를 직접 업데이트하는 것도 효과적입니다. Lambda 함수는 이벤트에 반응하여 필요한 메타데이터 업데이트를 수행할 수 있어 유연하고 비용 효율적입니다. 시간 기반 일정 크롤러는 증분 업데이트를 제공하지만, 이벤트 발생 즉시 업데이트되지 않아 최신성을 보장하기 어렵습니다. 수동 트리거는 운영 오버헤드가 크고 자동화되지 않습니다. AWS Step Functions는 오케스트레이션에 유용하지만, 이 시나리오에서는 Lambda 함수나 S3 이벤트 기반 크롤러보다 복잡하고 오버헤드가 더 클 수 있습니다.