MediaWatch uruchamia model klasyfikacji wideo w czasie rzeczywistym i chce otrzymywać alerty, gdy czas wykonania modelu wzrośnie. Której metryki CloudWatch należy użyć do wykrycia wzrostu czasu wnioskowania kontenera modelu, i jaki jest zalecany sposób alarmowania o utrzymujących się wzrostach dla konkretnego wariantu punktu końcowego?

Prawidłowa odpowiedź wskazuje na użycie metryki ModelLatency z wymiarami EndpointName i VariantName, co pozwala na precyzyjne monitorowanie czasu wnioskowania w kontenerze modelu dla konkretnego wariantu. Użycie statystyki p90 (lub innego percentyla) w alarmie CloudWatch jest kluczowe, ponieważ pozwala wykryć wzrosty, które wpływają na większość zapytań, a nie tylko pojedyncze anomalie. Okres 5 minut z 3 okresami ewaluacji zapewnia wykrywanie utrzymujących się wzrostów, minimalizując fałszywe alarmy. Opcja z OverheadLatency jest nieprawidłowa, ponieważ ta metryka mierzy czas poza kontenerem modelu (np. narzut sieciowy), a nie czas wnioskowania wewnątrz kontenera. Opcja z InvocationDuration jest nieprawidłowa, ponieważ mierzy ona całkowity czas od momentu wywołania do zwrócenia odpowiedzi, wliczając narzut routingu i inne czynniki, co nie izoluje czasu samego modelu. Ponadto, sumowanie w ciągu godziny nie jest idealne do wykrywania wzrostów czasu wnioskowania. Opcja z ModelLatency bez wymiarów jest zbyt ogólna i nie pozwoliłaby na monitorowanie konkretnego wariantu. Monitorowanie Minimum spadającego poniżej progu nie wskazuje na wzrost czasu wnioskowania.