Ein Team hat ein CNN auf Amazon SageMaker mit GPUs trainiert und wird es auf einem SageMaker-Endpunkt für die Echtzeit-Identifizierung von Mineralbildern bereitstellen. Sie kennen bereits das erwartete Verkehrsaufkommen und müssen den besten Instance-Typ und die beste Konfiguration auswählen. Welcher Ansatz erfordert den geringsten Entwicklungsaufwand, um die richtige Instance-Konfiguration auszuwählen?

Der SageMaker Inference Recommender ist für die Optimierung der Endpunktkonfiguration konzipiert. Der Advanced-Jobtyp ist die beste Wahl, da er detailliertere Empfehlungen für verschiedene Instance-Typen, einschließlich GPU-Instanzen, basierend auf dem angegebenen Verkehrsaufkommen liefert. Dies minimiert den Entwicklungsaufwand, da SageMaker die Lasttests und die Analyse automatisiert. Der Default-Jobtyp ist für einfachere Anwendungsfälle gedacht und bietet möglicherweise nicht die notwendige Granularität für GPU-basierte Modelle. Die manuellen Ansätze mit Lambda/API Gateway und Open-Source-Tools erfordern erheblichen Entwicklungs- und Konfigurationsaufwand für Lasttests und die Analyse der Ergebnisse, was im Widerspruch zur Anforderung des geringsten Entwicklungsaufwands steht. Die Bereitstellung auf CPU-Instanzen wäre zudem ineffizient für ein auf GPUs trainiertes CNN.