한 회사에서 언어 모델을 사용하여 엣지 디바이스에서 가능한 가장 낮은 지연 시간으로 추론을 수행하고자 합니다. 어떤 배포 방식이 이를 가장 잘 달성할 수 있을까요?

가장 낮은 지연 시간으로 엣지 디바이스에서 추론을 수행하려면 모델을 엣지 디바이스에 직접 배포하는 것이 필수적입니다. 클라우드 기반 API를 사용하는 경우 네트워크 지연이 발생하여 지연 시간이 증가합니다. 대형 언어 모델(LLM)은 일반적으로 소형 언어 모델(SLM)보다 리소스 집약적이며 엣지 디바이스의 제한된 컴퓨팅 능력에 적합하지 않을 수 있습니다. 따라서 최적화된 SLM을 엣지 디바이스에 직접 배포하는 것이 가장 효율적인 솔루션입니다.