Een bedrijf dat gratis games aanbiedt, moet voorspellen of een nieuwe gebruiker binnen een jaar een betalende klant wordt. De gelabelde trainingsset bevat 1.000 positieve voorbeelden en 999.000 negatieve voorbeelden (totaal 1.000.000) met 200 features. Een random forest behaalde >99% nauwkeurigheid op de trainingsset, maar presteert slecht op de testset. Welke acties moet het team ondernemen om dit probleem aan te pakken? (Kies twee.)

Het probleem van een hoge nauwkeurigheid op de trainingsset en slechte prestaties op de testset, gecombineerd met een extreem scheve dataset (1.000 positieve vs. 999.000 negatieve voorbeelden), duidt op overfitting en een model dat de zeldzame positieve klasse negeert. Het creëren van meer positieve voorbeelden door duplicatie en het toevoegen van ruis (data-augmentatie) helpt de onbalans te verminderen, waardoor het model de positieve klasse beter kan leren. Dit is een vorm van oversampling. Het aanpassen van de loss function om false negatives (het missen van een betalende klant) zwaarder te bestraffen, dwingt het model om gevoeliger te zijn voor de positieve klasse. Dit is cruciaal wanneer de kosten van een false negative hoger zijn dan die van een false positive, wat vaak het geval is bij het voorspellen van waardevolle gebeurtenissen. Het verhogen van het aantal of de diepte van de trees zou het overfitten waarschijnlijk verergeren. Het kopiëren van testdata naar de trainingsset is een vorm van data-lekkage en leidt tot een onrealistische evaluatie van het model. Het zwaarder bestraffen van false positives zou het model nog conservatiever maken en de detectie van de zeldzame positieve klasse verder bemoeilijken.