한 회사에서 CSV 파일을 Amazon S3에 보관합니다. 데이터 엔지니어는 CSV를 변환하고 그 결과를 새 S3 버킷에 기록해야 합니다. 필요한 변환은 다음과 같습니다. 한 열의 이름 변경, 특정 열 삭제, 각 파일의 두 번째 행 건너뛰기, 첫 번째 행의 값에서 파생된 새 열 생성, 숫자 열로 행 필터링. 개발 노력을 최소화하면서 이러한 요구 사항을 충족하는 옵션은 무엇입니까?

AWS Glue DataBrew는 개발 노력 없이 데이터 변환을 수행하는 데 최적화된 시각적 데이터 준비 도구입니다. 제시된 모든 변환(열 이름 변경, 열 삭제, 행 건너뛰기, 새 열 생성, 숫자 열 필터링)은 DataBrew의 내장된 변환으로 직접 처리할 수 있습니다. 레시피를 생성하여 이러한 단계를 정의하고, 이를 S3의 CSV 파일에 적용하여 변환된 결과를 새 S3 버킷에 기록할 수 있습니다. AWS Glue Python 작업은 코드를 작성해야 하므로 개발 노력이 더 많이 필요합니다. AWS Glue 사용자 지정 크롤러는 스키마를 추론하는 데 사용되며 데이터 변환 기능이 없습니다. AWS Glue 워크플로는 여러 작업을 오케스트레이션하는 데 사용되지만, 직접적인 데이터 변환 도구는 아니며, 변환을 수행할 다른 AWS Glue 작업이 필요합니다.