SageMaker 훈련 작업이 각각 수 메가바이트 크기의 수백만 개의 S3 파일을 읽는데, 훈련 성능이 느립니다. 훈련 처리량을 가장 빠르게 개선할 수 있는 변경 사항은 무엇입니까?

정답은 Amazon FSx for Lustre 파일 시스템을 생성하고, 기존 S3 버킷에 연결한 다음, 훈련 작업이 FSx for Lustre에서 읽도록 하는 것입니다. FSx for Lustre는 고성능 컴퓨팅(HPC) 워크로드에 최적화된 파일 시스템으로, 수백만 개의 작은 파일을 빠르게 읽고 쓸 수 있어 SageMaker 훈련 작업의 I/O 병목 현상을 해결하는 데 가장 효과적입니다. S3 Express One Zone은 단일 객체 액세스 속도를 향상시키지만, 수백만 개의 작은 파일에 대한 동시 액세스 성능은 FSx for Lustre만큼 뛰어나지 않습니다. Amazon EFS는 범용 파일 시스템으로, FSx for Lustre만큼의 고성능을 제공하지 않습니다. ElastiCache (Redis OSS)는 인메모리 데이터 스토어로, 파일 시스템이 아니므로 대량의 파일 데이터를 직접 처리하는 데 적합하지 않습니다.