한 회사에서 S3 File Gateway를 사용하여 온프레미스에서 S3 버킷으로 파일을 전송합니다. 데이터 엔지니어는 파일 전송이 성공적으로 완료될 때마다 여러 Glue 작업을 실행하는 AWS Glue 워크플로우를 시작하는 자동화된 프로세스가 필요합니다. 운영 오버헤드가 가장 적은 옵션은 무엇입니까?

정답은 Amazon EventBridge 규칙을 생성하는 것입니다. S3 File Gateway는 파일 전송 이벤트를 EventBridge로 보낼 수 있습니다. EventBridge 규칙을 사용하면 특정 이벤트 패턴(예: 성공적인 파일 전송)에 따라 AWS Glue 워크플로우를 직접 트리거할 수 있어 운영 오버헤드가 가장 적고 자동화된 솔루션입니다. 과거 전송을 기반으로 예약 규칙을 사용하는 것은 전송 완료 시간이 일정하지 않을 수 있으므로 신뢰할 수 없습니다. 온디맨드 워크플로우는 수동 개입이 필요하므로 자동화 요구 사항을 충족하지 못합니다. Lambda 함수를 배포하고 S3 객체 생성 이벤트를 구성하는 것은 가능하지만, S3 File Gateway 이벤트에 직접 반응하는 EventBridge 규칙보다 더 많은 구성과 관리 오버헤드가 발생합니다.