Een creditcardmaatschappij moet frauduleuze transacties in realtime detecteren. Een gelabelde historische dataset (fraude versus legitiem) is opgeslagen in Amazon S3. Na het verwijderen van ontbrekende waarden traint een data scientist een XGBoost-classificator in Amazon SageMaker. De modelstatistieken zijn: TPR 0.700, FNR 0.300, TNR 0.977, FPR 0.023 en een algehele nauwkeurigheid van 0.949. Welke actie moet de data scientist ondernemen om de modelprestaties te verbeteren, gezien de duidelijke klasse-onbalans?

De dataset heeft een duidelijke klasse-onbalans, wat betekent dat frauduleuze transacties (de minderheidsklasse) veel zeldzamer zijn dan legitieme transacties. Een TPR (True Positive Rate) van 0.700 en een FNR (False Negative Rate) van 0.300 voor de fraudeklasse duiden erop dat 30% van de frauduleuze transacties niet wordt gedetecteerd, wat onacceptabel is voor een creditcardmaatschappij. SMOTE (Synthetic Minority Oversampling Technique) is een effectieve methode om de minderheidsklasse te oversamplen door synthetische voorbeelden te creëren, waardoor het model beter leert om frauduleuze transacties te herkennen. Het toepassen van SMOTE op de meerderheidsklasse zou de onbalans verergeren. Het ondersamplen van de minderheidsklasse zou leiden tot verlies van waardevolle fraudedata. Het oversamplen van de meerderheidsklasse zou de onbalans ook verergeren en de prestaties op de minderheidsklasse verder verslechteren.