¿Qué métrica mide mejor la eficiencia en tiempo de ejecución al servir modelos de IA en producción?

El tiempo de respuesta promedio es la métrica más adecuada para medir la eficiencia en tiempo de ejecución de modelos de IA en producción porque cuantifica directamente el tiempo que tarda el modelo en generar una predicción o respuesta después de recibir una solicitud. Un tiempo de respuesta bajo indica una alta eficiencia y una mejor experiencia para el usuario final. La puntuación de satisfacción del cliente (CSAT) es una métrica de negocio, no de rendimiento técnico. El tiempo de entrenamiento por época es relevante para el desarrollo y optimización del modelo, no para su operación en producción. El número de instancias de entrenamiento se refiere a la escala del conjunto de datos de entrenamiento, no a la eficiencia en tiempo real del modelo desplegado.