한 공장에서 산업용 PC에서 AWS IoT Greengrass를 사용하여 이미지 추론을 실행하는 파일럿을 진행했으며, 이미지를 S3에 업로드하고 SageMaker 엔드포인트를 호출했습니다. 수천 대의 장비로 확장할 때 인터넷 대역폭이 포화 상태가 되고 지연 시간이 허용할 수 없는 수준이 되었습니다. 지연 시간을 줄이고 네트워크 용량 문제를 해결하는 가장 비용 효율적인 방법은 무엇입니까?

이 솔루션은 추론 로직과 모델을 산업용 PC의 Greengrass 코어에 로컬로 배포하여 인터넷 대역폭 사용을 완전히 없애고 지연 시간을 최소화합니다. 이미지는 로컬에서 처리되고 추론 결과만 온프레미스 웹 서비스로 전달되므로 네트워크 용량 문제가 해결됩니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. Direct Connect는 대역폭을 증가시키지만, 여전히 클라우드로 데이터를 전송해야 하므로 지연 시간과 비용 문제가 완전히 해결되지 않습니다. SageMaker 엔드포인트 증가는 추론 처리량을 늘리지만 네트워크 병목 현상을 해결하지는 않습니다. 이미지 압축은 대역폭 사용량을 줄일 수 있지만, 압축 및 압축 해제 오버헤드가 추가되고 여전히 클라우드 전송에 의존하므로 지연 시간 문제가 완전히 해결되지 않습니다. SageMaker 자동 스케일링은 클라우드 추론의 확장성을 향상시키지만, 클라우드로 이미지를 업로드하는 데 필요한 네트워크 대역폭과 지연 시간 문제는 해결하지 못합니다.