Un modelo de regresión lineal muestra una precisión muy alta en el conjunto de entrenamiento, pero funciona mal con datos nuevos y no vistos. ¿Qué acción debería tomar el ingeniero de ML para abordar este problema?

La alta precisión en el entrenamiento y el bajo rendimiento en datos no vistos indican sobreajuste (overfitting). La validación cruzada ayuda a evaluar el rendimiento del modelo en diferentes subconjuntos de datos, proporcionando una estimación más robusta de su capacidad de generalización. La regularización (por ejemplo, L1 o L2) penaliza los coeficientes grandes del modelo, reduciendo su complejidad y previniendo el sobreajuste. Amazon SageMaker Experiments es útil para organizar y comparar los resultados de múltiples ejecuciones de entrenamiento con diferentes hiperparámetros y técnicas, lo que facilita la identificación de la mejor configuración. Aumentar la complejidad del modelo (primera opción) agravaría el sobreajuste. Desplegar directamente el modelo (tercera opción) sin abordar el sobreajuste resultaría en un rendimiento deficiente en producción. Aumentar el tamaño del conjunto de datos sin ajustar el modelo (cuarta opción) podría no resolver el sobreajuste si el modelo sigue siendo demasiado complejo para los patrones subyacentes.