한 회사에 온프레미스에 페타바이트 규모의 오디오 녹음 파일이 있으며, 이를 텍스트로 변환하고 가능한 한 빨리 변환된 텍스트를 S3에 저장해야 합니다. AWS로 연결되는 온프레미스 네트워크는 100Mbps로 제한됩니다. 변환 알고리즘은 추론을 위해 GPU를 필요로 합니다. 어떤 솔루션이 변환된 텍스트를 S3 버킷에 가장 빠르게 전달할까요?

정답은 NVIDIA Tesla 모듈이 장착된 Snowball Edge Compute Optimized 디바이스를 주문하여 디바이스에서 로컬로 변환 워크로드를 실행한 다음, AWS DataSync를 사용하여 결과 변환 텍스트를 S3 버킷으로 전송합니다. 페타바이트 규모의 데이터를 100Mbps 네트워크를 통해 AWS로 전송하는 것은 매우 오랜 시간이 걸립니다. Snowball Edge Compute Optimized는 GPU를 내장하고 있어 온프레미스에서 데이터 변환을 수행할 수 있으며, 이는 대규모 데이터 전송의 병목 현상을 해결합니다. 변환된 텍스트는 원본 오디오 파일보다 훨씬 작으므로 DataSync를 통해 S3로 빠르게 전송할 수 있습니다. Snowcone은 GPU를 지원하지 않으므로 변환 작업을 수행할 수 없습니다. AWS Outposts는 GPU 기반 EC2 인스턴스를 제공하지만, 배포 및 설정에 시간이 오래 걸리고, 이미 페타바이트 규모의 데이터가 온프레미스에 있으므로 즉각적인 솔루션이 아닙니다. AWS DataSync를 사용하여 오디오 파일을 S3에 직접 복사하는 것은 100Mbps 네트워크 제한으로 인해 비현실적으로 긴 시간이 소요됩니다.