MediaWatch betreibt ein Echtzeit-Videoklassifizierungsmodell und möchte benachrichtigt werden, wenn die Ausführungszeit des Modells ansteigt. Welche CloudWatch-Metrik sollte verwendet werden, um nur die Inferenzzeit des Modellcontainers zu erkennen, und wie kann man am besten auf anhaltende Anstiege für eine bestimmte Variante eines Endpunkts alarmieren?

Die Metrik 'ModelLatency' in AWS/SageMaker misst die Zeit, die der Modellcontainer für die Verarbeitung einer Inferenzanfrage benötigt, was genau der gewünschten Inferenzzeit des Modellcontainers entspricht. Die Verwendung der Dimensionen EndpointName und VariantName ermöglicht es, die Metrik auf eine spezifische Endpunktvariante zu beschränken. Ein CloudWatch-Alarm, der auf die p90-Statistik (oder ein anderes Perzentil) über einen längeren Zeitraum (z.B. 5 Minuten) mit mehreren Auswertungsperioden (z.B. 3) reagiert, ist ideal, um anhaltende Anstiege zu erkennen und Fehlalarme durch kurzfristige Spitzen zu vermeiden. 'OverheadLatency' misst den Overhead außerhalb des Modellcontainers. 'InvocationDuration' misst die gesamte End-to-End-Latenz, nicht nur die Modellcontainerzeit. Die Verwendung von 'ModelLatency' ohne Dimensionen würde alle Endpunkte und Varianten aggregieren, und ein Alarm auf das Minimum würde keine Anstiege erkennen.