EdgeAI는 이기종 엣지 디바이스(Raspberry Pi 3, NVIDIA Jetson TX2, arm64 Linux 게이트웨이) 플릿에 배포해야 하는 컴퓨터 비전 모델을 구축합니다. 추론 처리량을 최대화하고 메모리 사용량을 줄이려고 합니다. 이 시나리오에 대해 SageMaker Neo 컴파일 사용에 대한 다음 설명 중 가장 정확한 것은 무엇입니까?

SageMaker Neo는 다양한 하드웨어 아키텍처 및 칩셋에 최적화된 모델을 컴파일하여 엣지 디바이스에서 추론 성능을 향상시키고 메모리 사용량을 줄입니다. 각 대상 플랫폼(Raspberry Pi 3, NVIDIA Jetson TX2, arm64 Linux 게이트웨이)에 대해 개별적으로 컴파일해야 합니다. Neo는 그래프 최적화 및 선택적 양자화를 통해 모델을 최적화하여 원래 모델보다 더 높은 처리량과 더 적은 메모리 사용량을 제공하는 플랫폼별 아티팩트를 생성합니다. 다른 옵션들은 다음과 같은 이유로 정확하지 않습니다. Neo는 단일 범용 바이너리를 생성하지 않고, 각 대상 플랫폼에 특화된 최적화된 아티팩트를 생성합니다. Neo는 AWS Inferentia 또는 GPU 인스턴스뿐만 아니라 Jetson, Raspberry Pi와 같은 엣지 디바이스용 아티팩트도 생성할 수 있습니다. Neo는 TensorFlow뿐만 아니라 PyTorch를 포함한 다양한 프레임워크로 훈련된 모델을 컴파일할 수 있습니다.