한 회사에서 전 세계 테스트 시설로부터 수백만 개의 1KB JSON 테스트 결과 파일을 S3에 저장합니다. 데이터 엔지니어는 이 파일들을 Apache Parquet으로 변환하여 Amazon Redshift로 로드해야 합니다. 현재 파이프라인은 처리를 위해 AWS Glue를 사용하고, 오케스트레이션을 위해 Step Functions를 사용하며, 스케줄링을 위해 EventBridge를 사용합니다. 더 많은 시설이 추가됨에 따라 처리 시간이 증가했습니다. 처리 시간을 가장 많이 줄일 수 있는 변경 사항은 무엇입니까?

AWS Glue 동적 프레임 파일 그룹화 옵션을 사용하면 수백만 개의 작은 JSON 파일을 효율적으로 처리할 수 있습니다. 작은 파일이 많으면 Amazon S3 및 Glue 작업에서 오버헤드가 발생하여 처리 시간이 길어집니다. Glue의 동적 프레임은 작은 파일을 더 큰 그룹으로 자동으로 결합하여 I/O 작업을 줄이고 처리 효율성을 크게 향상시킵니다. 다른 옵션들은 다음과 같은 이유로 최적의 해결책이 아닙니다: AWS Lambda를 사용하여 파일을 그룹화하는 것은 추가적인 오케스트레이션과 컴퓨팅 비용을 발생시키며, Glue의 내장 기능을 활용하지 못합니다. Amazon Redshift COPY 명령은 S3에서 Redshift로 데이터를 직접 로드하는 데 효율적이지만, 작은 JSON 파일을 Parquet으로 변환하는 처리는 Redshift 내에서 비효율적입니다. Amazon EMR은 강력한 처리 도구이지만, 이 시나리오에서는 Glue의 동적 프레임 기능이 더 간단하고 비용 효율적인 솔루션을 제공합니다.