A MediaWatch executa um modelo de classificação de vídeo em tempo real e deseja alertar quando o tempo de execução do modelo aumenta. Qual métrica do CloudWatch deve ser usada para detectar apenas o aumento do tempo de inferência do contêiner do modelo, e qual é a maneira recomendada de alarmar sobre aumentos sustentados para uma variante específica de um endpoint?

A métrica ModelLatency do AWS/SageMaker, com as dimensões EndpointName e VariantName, mede o tempo que o contêiner do modelo leva para processar uma solicitação de inferência, sendo ideal para detectar o aumento do tempo de execução do modelo. Usar a estatística p90 (ou outro percentil alto) em um período de 5 minutos com 3 períodos de avaliação garante que o alarme seja acionado apenas por aumentos sustentados na latência, evitando falsos positivos por picos transitórios. OverheadLatency mede o tempo gasto fora do contêiner do modelo. InvocationDuration inclui o tempo de rede e roteamento, não apenas o tempo do modelo. Alarmar na métrica ModelLatency sem dimensões seria global, não específico para uma variante, e um alarme no mínimo detectaria diminuições, não aumentos.