Een ML-specialist heeft SageMaker hyperparameter optimalisatie (HPO) uitgevoerd over een reeks leersnelheden. De meeste trials gebruikten leersnelheden tussen 0,01 en 0,1, maar de beste trial had een leersnelheid onder 0,01. Trainingstaken zullen regelmatig worden uitgevoerd op veranderende data. De specialist wil een aanpak die leersnelheden gelijkmatiger bemonstert over het opgegeven MinValue–MaxValue-bereik. Welke keuze is de meest accurate oplossing?

De meest accurate oplossing is om de HPO-configuratie aan te passen naar een logaritmische schaal voor de leersnelheid. Dit komt omdat leersnelheden vaak exponentieel van invloed zijn op de modelprestaties. Door een logaritmische schaal te gebruiken, worden de waarden gelijkmatiger bemonsterd over het opgegeven bereik, vooral in de lagere waarden waar de beste trial werd gevonden. De huidige HPO-taak heeft waarschijnlijk een lineaire schaal gebruikt, waardoor de meeste trials zich concentreerden tussen 0,01 en 0,1. De optie om drie afzonderlijke HPO-taken uit te voeren met overlappende bereiken is inefficiënt en resource-intensief. Het herhaaldelijk uitvoeren van HPO-taken met verschillende, smalle bereiken is minder effectief dan het aanpassen van de bemonsteringsstrategie binnen één HPO-taak. Het verdelen van het totale aantal trials over drie taken vermindert het aantal trials per taak, wat de kans verkleint om de optimale hyperparameter te vinden binnen elk van die taken.