Un spécialiste en ML a exécuté l'optimisation des hyperparamètres (HPO) de SageMaker sur une plage de taux d'apprentissage. La plupart des essais ont utilisé des taux d'apprentissage compris entre 0,01 et 0,1, mais le meilleur essai avait un taux d'apprentissage inférieur à 0,01. Les tâches d'entraînement s'exécuteront régulièrement sur des données changeantes. Le spécialiste souhaite une approche qui échantillonne les taux d'apprentissage plus uniformément sur la plage MinValue–MaxValue spécifiée. Quel est le choix le plus précis ?

La modification de la configuration HPO pour utiliser une échelle logarithmique (LogarithmicScale) est la solution la plus précise. Lorsque la valeur optimale d'un hyperparamètre se trouve à l'extrémité inférieure ou supérieure d'une plage, l'échantillonnage linéaire peut manquer les meilleures valeurs. L'échelle logarithmique échantillonne les valeurs de manière plus dense aux extrémités de la plage, ce qui est idéal pour les hyperparamètres comme le taux d'apprentissage qui ont souvent un impact significatif sur les performances sur plusieurs ordres de grandeur. Les autres options impliquent des exécutions HPO multiples ou des sélections incorrectes, ce qui est moins efficace et plus complexe que d'ajuster simplement l'échelle d'échantillonnage. La modification de la configuration HPO pour sélectionner la configuration d'hyperparamètres la plus précise de cette tâche HPO est une description vague et ne résout pas le problème d'échantillonnage.