AdMarketInc ejecuta un entrenamiento de modelo de recomendación en una única p3.16xlarge que tarda aproximadamente 12 horas por prueba. Tienen un presupuesto estricto y pueden ejecutar como máximo unas 20 pruebas de entrenamiento completas. Las evaluaciones del modelo son moderadamente ruidosas, pero cada prueba es costosa. ¿Qué estrategia de ajuste automático de modelos de SageMaker deberían elegir para encontrar de la manera más eficiente una configuración de hiperparámetros casi óptima dentro de su presupuesto limitado de pruebas?

La optimización bayesiana es la estrategia más eficiente en cuanto a muestras para evaluaciones costosas y ruidosas, como las descritas. Construye un modelo probabilístico (un modelo de función de adquisición) para predecir el rendimiento de combinaciones de hiperparámetros no probadas, lo que le permite seleccionar de forma inteligente los conjuntos de hiperparámetros más prometedores para la siguiente evaluación. Esto minimiza el número de pruebas necesarias para encontrar una configuración casi óptima. La búsqueda aleatoria es menos eficiente que la optimización bayesiana para evaluaciones costosas. HyperBand es útil para reducir el tiempo de entrenamiento, pero no es la mejor opción para un número fijo y limitado de pruebas costosas. La búsqueda en cuadrícula es ineficiente para espacios de hiperparámetros grandes y costosos, ya que evalúa todas las combinaciones predefinidas, lo que excede el presupuesto de 20 pruebas.