Una banca ha utilizzato SageMaker con l'algoritmo XGBoost integrato e ha eseguito un processo di ottimizzazione automatica bayesiana degli iperparametri utilizzando l'accuratezza di convalida come obiettivo. Il modello distribuito ha attualmente un'accuratezza del 75%. La banca ha concesso allo specialista ML un giorno per migliorare l'accuratezza in produzione. Qual è il modo più rapido per provare a migliorare il modello entro tale lasso di tempo?

L'avvio a caldo (warm start) di un processo di ottimizzazione degli iperparametri (HPO) in SageMaker è il modo più rapido per migliorare un modello esistente entro un giorno. Questa tecnica riutilizza i risultati delle esecuzioni precedenti, consentendo al processo di HPO di concentrarsi rapidamente su regioni promettenti dello spazio degli iperparametri, risparmiando tempo computazionale. Mantenere la stessa metrica obiettivo (accuratezza di convalida) assicura che si stia ottimizzando per lo stesso criterio di performance desiderato. Le altre opzioni sono meno efficienti: Il training incrementale è utile per aggiornare un modello con nuovi dati, ma non per ottimizzare gli iperparametri da zero. Creare un nuovo processo HPO senza warm start o cambiare la metrica obiettivo (AUC o F1) richiederebbe di ricominciare l'esplorazione dello spazio degli iperparametri, sprecando tempo prezioso. Raddoppiare i processi di training aumenterebbe il tempo necessario, non lo ridurrebbe.