MediaWatch exécute un modèle de classification vidéo en temps réel et souhaite être alerté lorsque le temps d'exécution du modèle augmente. Quelle métrique CloudWatch doit être utilisée pour détecter uniquement l'augmentation du temps d'inférence du conteneur de modèle, et quelle est la méthode recommandée pour déclencher une alarme sur des augmentations soutenues pour une variante particulière d'un endpoint ?

La métrique AWS/SageMaker 'ModelLatency' mesure le temps passé à l'intérieur du conteneur du modèle pour traiter une requête d'inférence, ce qui correspond exactement à l'exigence de détecter l'augmentation du temps d'inférence du conteneur. L'utilisation des dimensions EndpointName et VariantName permet de cibler une variante spécifique d'un endpoint. Une alarme CloudWatch configurée sur le p90 (ou un autre percentile élevé) de ModelLatency sur une période de 5 minutes avec 3 périodes d'évaluation permet de détecter des augmentations soutenues plutôt que des pics isolés et potentiellement transitoires. 'OverheadLatency' mesure le temps passé en dehors du conteneur du modèle (par exemple, le routage, la sérialisation/désérialisation), pas le temps d'inférence du modèle lui-même. 'InvocationDuration' mesure le temps total de l'invocation, incluant l'overhead, et une somme sur 1 heure n'est pas adaptée pour détecter des augmentations rapides. Utiliser 'ModelLatency' sans dimensions ou sur le minimum ne permettrait pas de cibler une variante spécifique ni de détecter des augmentations de manière fiable.