Ein SageMaker-Echtzeit-Endpunkt in Produktion, der das integrierte Objekterkennungsmodell auf einer P3-Instanz ausführt, weist eine geringe GPU-Auslastung auf. Welche Bereitstellungsänderung würde die bereitgestellten Inferenzressourcen besser nutzen?

Die Neuanwendung des Modells auf einer M5-Instanz mit Amazon Elastic Inference (EI)-Beschleunigern ist die beste Lösung, da EI die GPU-Leistung skaliert, ohne die gesamte GPU-Instanz skalieren zu müssen. Dies führt zu einer effizienteren Nutzung der Inferenzressourcen und senkt die Kosten. Eine Umstellung auf Batch-Transformation ist nicht ideal, da der Endpunkt in Echtzeit läuft. Eine größere GPU-Instanz wie P3dn würde die Kosten erhöhen, ohne das Problem der geringen GPU-Auslastung zu lösen. Die Nutzung eines Amazon ECS-Clusters würde die Komplexität erhöhen und bietet keine direkte Lösung für die ineffiziente GPU-Auslastung.