Un modelo desplegado en un endpoint serverless de SageMaker muestra una latencia mayor en producción que en las pruebas. El ingeniero sospecha que la latencia adicional es causada por el tiempo de inicio del modelo. ¿Qué debería verificar para confirmar esto?

La opción correcta es habilitar las métricas de Amazon CloudWatch e inspeccionar la métrica ModelSetupTime en el espacio de nombres de SageMaker. La métrica ModelSetupTime mide el tiempo que tarda el contenedor en descargar el modelo y cargarlo en la memoria, lo cual es un indicador directo del tiempo de inicio del modelo. Esto permite confirmar si el tiempo de configuración del modelo es la causa de la latencia. Las opciones incorrectas son: Programar un trabajo de SageMaker Model Monitor y revisar las métricas de calidad del modelo: Model Monitor se enfoca en la calidad de los datos y las predicciones, no en la latencia de inicio del modelo. Programar un trabajo de SageMaker Model Monitor con las métricas de Amazon CloudWatch habilitadas: Aunque CloudWatch es relevante, Model Monitor no es la herramienta principal para diagnosticar el tiempo de inicio del modelo. Habilitar las métricas de Amazon CloudWatch e inspeccionar la métrica ModelLoadingWaitTime en el espacio de nombres de SageMaker: No existe una métrica estándar llamada ModelLoadingWaitTime en SageMaker para este propósito.