한 회사에서 데이터 레이크로 Amazon S3를 사용하고 데이터 웨어하우스로 다중 노드 Amazon Redshift 클러스터를 사용합니다. 레이크의 데이터 파일은 소스별로 구성되어 있으며, 현재 회사는 각 파일 위치에 대해 별도의 COPY 명령을 실행하여 단일 Redshift 테이블로 로드하고 있는데, 이는 속도가 느립니다. 회사는 비용을 늘리지 않고 데이터 수집 속도를 높여야 합니다. 어떻게 해야 할까요?

정답은 매니페스트 파일을 생성하는 것입니다. Amazon Redshift의 COPY 명령은 매니페스트 파일을 사용하여 여러 S3 파일에서 데이터를 로드할 수 있습니다. 이 방법은 단일 COPY 명령으로 여러 파일을 효율적으로 병렬 로드하여 데이터 수집 속도를 크게 향상시킵니다. 비용을 추가하지 않고도 성능을 최적화할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. 프로비저닝된 Amazon EMR 클러스터 또는 AWS Glue 작업을 사용하여 파일을 단일 폴더로 복사하는 것은 추가 컴퓨팅 비용을 발생시키고, 여전히 단일 COPY 명령으로 여러 파일을 처리하는 매니페스트 파일의 효율성을 능가하지 못합니다. Amazon Aurora에 데이터를 로드하는 것은 불필요한 중간 단계이며, 데이터 웨어하우스로 Redshift를 사용하는 시나리오에 적합하지 않습니다.