Une entreprise qui entraîne un modèle de deep learning sur SageMaker souhaite optimiser les hyperparamètres afin de minimiser la perte de validation en utilisant le moins de temps de calcul possible. Quelle stratégie d'optimisation doit-elle choisir ?

Hyperband est la meilleure stratégie car elle est conçue pour trouver des configurations d'hyperparamètres optimales plus rapidement que d'autres méthodes en allouant dynamiquement des ressources aux configurations prometteuses et en éliminant prématurément celles qui sont moins performantes. Cela réduit considérablement le temps de calcul. La recherche par grille et la recherche aléatoire sont moins efficaces car elles ne tiennent pas compte des performances intermédiaires et peuvent gaspiller des ressources sur des configurations médiocres. L'optimisation bayésienne est plus efficace que la recherche par grille ou aléatoire, mais Hyperband est souvent plus rapide pour les problèmes de deep learning car elle explore un plus grand nombre de configurations avec moins de ressources totales.