Ein SageMaker-Endpunkt, der das integrierte Image Classification-Modell auf einer ml.m5.xlarge-Instanz ausführt, weist eine inakzeptable Inferenzlatenz auf, wobei ModelLatency der dominierende Faktor ist. Die Latenz verschlechtert sich, wenn mehrere Benutzer gleichzeitig den Endpunkt aufrufen. Welche Maßnahme wird die Inferenzlatenz für diese Forscher reduzieren?

Ein Amazon Elastic Inference Accelerator (EIA) ist darauf ausgelegt, die Inferenzlatenz und -kosten für Machine-Learning-Modelle zu reduzieren, indem er die Inferenzbeschleunigung von der CPU-Instanz entkoppelt. Da ModelLatency der dominierende Faktor ist und sich bei mehreren Benutzern verschlechtert, deutet dies auf eine Engpass bei der Inferenzverarbeitung hin. Ein EIA kann diese Berechnungen effizienter durchführen. Das Umstellen auf eine ml.t3 Burstable-Instanz ist keine Verbesserung, da diese für Workloads mit geringer Auslastung konzipiert sind und die Leistung unter Last sogar verschlechtern könnten. SageMaker Autopilot ist für die automatische Modellauswahl und -optimierung vor dem Deployment gedacht, nicht für die Laufzeit-Inferenzbeschleunigung. Eine speicheroptimierte Instanz ist nicht relevant, da das Problem die Inferenzlatenz und nicht den Speicherbedarf betrifft.