Un modèle déployé sur un point de terminaison SageMaker serverless présente une latence plus élevée en production qu'en tests. L'ingénieur soupçonne que la latence supplémentaire est causée par le temps de démarrage du modèle. Que doit-il vérifier pour confirmer cela ?

La métrique ModelSetupTime dans l'espace de noms SageMaker de CloudWatch mesure le temps nécessaire pour que le conteneur du modèle démarre et charge le modèle, ce qui est directement lié au temps de démarrage (cold start) suspecté. L'activation de CloudWatch et l'examen de cette métrique permettront de confirmer si le temps de démarrage est la cause de la latence. Les tâches SageMaker Model Monitor sont conçues pour surveiller la qualité des données et les dérives de modèle, pas les métriques de performance de déploiement comme le temps de démarrage. La métrique ModelLoadingWaitTime n'est pas une métrique standard fournie par SageMaker pour les points de terminaison serverless et ne reflète pas le temps de démarrage du conteneur.