Een bank gebruikte SageMaker met het ingebouwde XGBoost-algoritme en voerde een Bayesiaanse automatische hyperparameter tuning job uit, waarbij validatienauwkeurigheid als doelstelling werd gebruikt. Het geïmplementeerde model heeft momenteel een nauwkeurigheid van 75%. De bank heeft de ML-specialist één dag gegeven om de productienauwkeurigheid te verbeteren. Wat is de snelste manier om binnen die tijd te proberen het model te verbeteren?

Een warm start hyperparameter tuning job is de snelste manier om de prestaties te verbeteren, omdat deze de resultaten van eerdere tuning jobs gebruikt om efficiënter nieuwe hyperparametercombinaties te verkennen. Dit bespaart tijd omdat het algoritme niet opnieuw hoeft te beginnen met het verkennen van de parameterruimte. De andere opties zijn minder efficiënt: incrementele training is voor het bijwerken van een bestaand model met nieuwe gegevens, niet voor tuning; het wijzigen van de objectieve metriek of het verdubbelen van het aantal training jobs zonder warm start betekent dat de tuning job opnieuw moet beginnen, wat meer tijd kost.