MediaWatch draait een real-time videoclassificatiemodel en wil een waarschuwing ontvangen wanneer de uitvoeringstijd van het model toeneemt. Welke CloudWatch-metriek moet worden gebruikt om alleen de inferentietijd van de modelcontainer te detecteren, en wat is de aanbevolen manier om een alarm in te stellen voor aanhoudende stijgingen voor een specifieke variant van een endpoint?

De correcte optie is om de AWS/SageMaker 'ModelLatency'-metriek te gebruiken met de dimensies EndpointName en VariantName. Deze metriek meet specifiek de tijd die de modelcontainer nodig heeft om een inferentie te verwerken, wat precies is wat MediaWatch wil monitoren. Het instellen van een CloudWatch-alarm op de p90 (90e percentiel) statistiek over een periode van 5 minuten met 3 evaluatieperioden is een robuuste methode om aanhoudende stijgingen te detecteren. Dit voorkomt valse alarmen door kortstondige pieken en richt zich op consistente prestatievermindering. 'OverheadLatency' meet de tijd buiten de modelcontainer, zoals netwerk- en SageMaker-overhead, niet de inferentietijd van de container zelf. Een 'single datapoint alarm' is te gevoelig voor kortstondige fluctuaties. 'InvocationDuration' meet de totale tijd van de aanroep, inclusief overhead, en is minder specifiek voor de modelcontainer. Het gebruik van 'ModelLatency' zonder dimensies zou alle varianten aggregeren, wat het moeilijker maakt om problemen met een specifieke variant te isoleren. Een alarm op het 'Minimum' detecteert dalingen, niet stijgingen, in inferentietijd.