Un modello XGBoost funziona bene sui dati di test, ma è in overfitting e ha prestazioni scarse sui dati non visti. Quale regolazione dell'iperparametro è consigliata per ridurre l'overfitting?

Diminuire il valore del parametro maxdepth è una strategia efficace per ridurre l'overfitting in un modello XGBoost. maxdepth controlla la profondità massima di ogni albero nel modello. Alberi più profondi possono imparare relazioni molto specifiche nei dati di training, inclusi il rumore, portando all'overfitting. Limitando la profondità, si forza il modello a imparare generalizzazioni più ampie. Aumentare maxdepth farebbe l'opposto, rendendo il modello ancora più propenso all'overfitting. Cambiare l'objective in binary:logistic non influisce direttamente sull'overfitting, ma definisce la funzione obiettivo per problemi di classificazione binaria. Diminuire minchildweight renderebbe il modello più complesso e propenso all'overfitting, poiché richiederebbe meno istanze in un nodo foglia per continuare la suddivisione.