Je hebt een XGBoost-model gebouwd om te voorspellen of een klant een aankoop zal retourneren. Slechts 5% van de voorbeelden zijn retouren. Je moet de detectie van geretourneerde artikelen maximaliseren terwijl je werkt met een klein rekenbudget. Wat is de meest kosteneffectieve hyperparameter-tuningaanpak?

De juiste aanpak is om AMT te gebruiken om alleen de classweight en scaleposweight hyperparameters te tunen en te optimaliseren voor validation:f1 (maximaliseren). Dit is de meest kosteneffectieve optie omdat het zich richt op de hyperparameters die het meest relevant zijn voor het aanpakken van de klasse-onbalans (slechts 5% retouren) en het maximaliseren van de detectie van de minderheidsklasse (retouren). F1-score is een geschikte metriek voor onevenwichtige datasets, omdat het zowel precisie als recall in overweging neemt. Het tunen van alle mogelijke hyperparameters is computationeel duurder en vaak niet nodig. Het optimaliseren voor validation:accuracy is misleidend bij onevenwichtige datasets, omdat een model een hoge nauwkeurigheid kan bereiken door simpelweg de meerderheidsklasse te voorspellen. Het minimaliseren van de F1-score is onjuist, aangezien we de detectie van retouren willen maximaliseren.