Un profesional entrena un modelo que logra un rendimiento sólido en el conjunto de entrenamiento, pero funciona mal con los datos de evaluación. ¿Cuál es la explicación más probable?

El sobreajuste ocurre cuando un modelo aprende los datos de entrenamiento y el ruido en ellos con demasiada precisión, lo que le permite rendir bien en el conjunto de entrenamiento, pero le impide generalizar a datos nuevos y no vistos (como el conjunto de evaluación). El subajuste es lo contrario, donde el modelo es demasiado simple y no aprende lo suficiente de los datos de entrenamiento. El sesgo del modelo se refiere a errores sistemáticos que pueden surgir de datos de entrenamiento no representativos o suposiciones incorrectas, lo que afectaría el rendimiento tanto en el entrenamiento como en la evaluación, pero no necesariamente con un rendimiento "sólido" en el entrenamiento. La ingeniería de prompts es relevante para modelos de lenguaje grandes (LLMs) y no es la causa principal de este problema de rendimiento general del modelo.