파트너가 매일 Amazon S3 버킷에 데이터 파일을 업로드합니다. AWS Glue ETL 작업은 매일 파일을 정리하고 변환하며, 그 결과를 다른 S3 버킷의 Daily.csv에 씁니다. 때때로 들어오는 파일이 비어 있거나 필수 필드가 누락될 수 있습니다. 이런 경우 회사는 이전 날짜의 CSV를 유지하기를 원합니다. 엔지니어는 새 일일 파일이 완전하고 유효한 경우에만 이전 날짜의 파일을 덮어쓰도록 해야 합니다. 가장 적은 노력으로 이를 달성하는 솔루션은 무엇입니까?

이 솔루션이 가장 적은 노력으로 요구 사항을 충족하는 이유는 AWS Glue Data Quality(DQ)가 ETL 작업 내에서 데이터 유효성 검사를 직접 처리할 수 있기 때문입니다. DQDL(Data Quality Definition Language) 규칙을 사용하여 빈 파일이나 필수 필드 누락과 같은 특정 조건을 정의하고, 이러한 조건이 충족되지 않을 경우 ETL 작업이 대상 S3 버킷에 파일을 쓰지 않도록 구성할 수 있습니다. 이는 기존 파일을 덮어쓰지 않고 이전 날짜의 유효한 CSV를 유지하는 데 필요한 정확한 동작입니다. 다른 옵션들은 다음과 같은 이유로 최적의 솔루션이 아닙니다. AWS Lambda 함수를 트리거하는 것은 별도의 컴퓨팅 계층을 도입하여 복잡성을 증가시키고, Glue ETL 작업과 별도로 데이터 유효성 검사를 관리해야 합니다. Glue ETL 작업 코드를 수정하여 누락된 필드를 가장 빈번한 값으로 대체하는 것은 데이터 품질 문제를 해결하는 것이 아니라 데이터를 변경하는 것이므로, 유효하지 않은 파일을 덮어쓰지 않으려는 원래의 요구 사항과 일치하지 않습니다. Amazon Athena SQL 쿼리를 실행하는 것은 데이터 유효성 검사 및 조건부 파일 쓰기 로직을 구현하는 데 적합하지 않으며, ETL 프로세스 외부에 추가적인 단계를 추가합니다.