在 P3 實例上執行內建物件偵測模型的生產 SageMaker 即時端點顯示 GPU 使用率偏低。哪種部署變更可以更好地利用已佈建的推論資源？

當 GPU 使用率偏低時，表示 P3 實例的 GPU 資源可能過度配置。Amazon Elastic Inference (EI) 加速器允許您為 CPU 實例（如 M5）添加適量的 GPU 加速，這比使用完整的 GPU 實例更具成本效益，並且能更好地匹配實際的推論需求，從而提高資源利用率。 切換到 M5 實例上的批次轉換任務不適用於即時端點。部署到更大的 GPU 實例（如 P3dn）會進一步導致資源浪費，因為現有 P3 實例的 GPU 使用率已經偏低。在 Amazon ECS 叢集上託管模型並不能直接解決 GPU 利用率偏低的問題，因為它只是改變了部署環境，而不是優化了推論資源配置。