한 회사에서 DynamicFrame을 사용하여 S3 데이터를 읽고 변환된 데이터를 매일 한 번 Amazon RDS for MySQL로 로드하는 여러 AWS Glue ETL 작업을 실행합니다. 현재 작업은 S3 버킷의 모든 객체를 다시 처리하지만, 회사는 작업이 매일 증분 데이터만 처리하도록 하려고 합니다. 어떤 솔루션이 코드 변경을 가장 적게 필요로 합니까?

AWS Glue 작업 북마크는 이전에 처리된 데이터를 추적하여 증분 처리만 가능하게 하는 가장 효율적인 방법입니다. 작업 북마크를 활성화하면 Glue는 S3 소스의 상태를 자동으로 기록하고 다음 실행 시 새 데이터만 처리합니다. 이는 최소한의 코드 변경으로 구현할 수 있습니다. S3 파일 상태를 DynamoDB에 기록하는 것은 수동으로 상태 관리 로직을 구현해야 하므로 더 많은 코드 변경이 필요합니다. CloudWatch 지표는 처리된 객체를 추적하는 데