FinInsights hat einen JumpStart-Grundlagenmodell-Endpunkt für die Erzeugung von Finanztexten mit geringer Latenz auf einer ml.g5.xlarge-Instanz bereitgestellt. Nach einem erfolgreichen Pilotprojekt benötigen sie einen 3-fach höheren nachhaltigen Durchsatz mit ähnlichem Latenzverhalten. Was ist die direkteste, unterstützte Änderung am SageMaker JumpStart-Endpunkt, um diese Anforderung zu erfüllen?

Die Erhöhung der Instanzanzahl oder die Verwendung eines größeren Instanztyps ist die direkteste Methode, um den Durchsatz eines SageMaker-Endpunkts zu verbessern, insbesondere bei JumpStart-Modellen, die oft GPU-intensive Workloads haben. Autoscaling gewährleistet, dass der Endpunkt bei Bedarf skaliert, um den dreifachen Durchsatz nachhaltig zu bewältigen. Die Neukonfiguration des Endpunkts mit dem bestehenden JumpStart-Container-Image ist ein unterstützter und effizienter Weg, um die Änderungen zu implementieren. HyperParameterTuningJobs optimieren Modellparameter, nicht den Endpunktdurchsatz. Elastic Inference ist für die Beschleunigung von Inferenz auf CPU-Instanzen oder kleineren GPU-Instanzen gedacht und bietet keine signifikante Durchsatzerhöhung für bereits leistungsstarke GPU-Instanzen. Serverless Inference ist zwar skalierbar, aber die Leistung und die Latenz können für spezifische, hohe Durchsatzanforderungen mit geringer Latenz unvorhersehbar sein und ist nicht immer die direkteste Lösung für eine garantierte 3-fache Steigerung.