Ein in einem SageMaker Serverless Endpoint bereitgestelltes Modell weist in der Produktion eine höhere Latenz auf als in Tests. Der Ingenieur vermutet, dass die zusätzliche Latenz durch die Startzeit des Modells verursacht wird. Was sollte er überprüfen, um dies zu verifizieren?

Die korrekte Antwort ist, Amazon CloudWatch Metriken zu aktivieren und die Metrik ModelSetupTime im SageMaker-Namespace zu überprüfen. Die ModelSetupTime-Metrik misst die Zeit, die ein Serverless Endpoint benötigt, um die Modellartefakte herunterzuladen und die Container-Inferenz vorzubereiten. Eine hohe ModelSetupTime deutet direkt auf Probleme mit der Startzeit des Modells hin, was die beobachtete höhere Latenz erklären könnte. Das Planen eines SageMaker Model Monitor Jobs (Optionen 1 und 2) ist primär für die Überwachung der Modellqualität und des Daten-Drifts gedacht, nicht für die Analyse der Startzeit des Modells. Die Metrik ModelLoadingWaitTime (Option 4) existiert nicht im SageMaker-Namespace; die relevante Metrik für die Modellinitialisierung ist ModelSetupTime.