MediaWatch запускает модель классификации видео в реальном времени и хочет получать оповещения, когда время выполнения модели увеличивается. Какую метрику CloudWatch следует использовать для обнаружения только увеличения времени инференса контейнера модели, и каков рекомендуемый способ оповещения о продолжительном увеличении для конкретного варианта конечной точки?

Правильный ответ — использование метрики AWS/SageMaker 'ModelLatency' с измерениями EndpointName и VariantName. ModelLatency измеряет время, которое контейнер модели тратит на обработку запроса, что точно соответствует требованию обнаружения увеличения времени инференса внутри контейнера. Использование статистики p90 (или другого высокого процентиля) позволяет отслеживать производительность для большинства запросов, а не только среднее значение, которое может скрывать проблемы. 5-минутный период с 3 периодами оценки обеспечивает обнаружение продолжительных увеличений, избегая ложных срабатываний от кратковременных пиков. OverheadLatency измеряет время, затраченное на маршрутизацию и другие накладные расходы, а не только время контейнера. InvocationDuration измеряет общее время обработки запроса, включая OverheadLatency и ModelLatency, что не позволяет изолировать проблему в контейнере. Использование ModelLatency без измерений будет агрегировать данные по всем конечным точкам и вариантам, что не позволит отслеживать конкретный вариант конечной точки. Отслеживание минимума не поможет обнаружить увеличение времени инференса.