Ein Einzelhandelsunternehmen verzeichnet nur sehr wenige Käufe pro Kunde und ist auf viele neue Benutzer angewiesen. Wie sollte der Data Scientist beim Aufteilen von Daten für das Training und Testen eines benutzerdefinierten Empfehlungssystems einen Testdatensatz erstellen, der die tatsächliche Nutzung widerspiegelt?

Diese Methode simuliert am besten die reale Nutzung, da Empfehlungssysteme darauf trainiert werden, zukünftige Interaktionen vorherzusagen. Indem man die neuesten Interaktionen jedes Benutzers für den Testdatensatz reserviert, bewertet man, wie gut das System neue Empfehlungen für bekannte Benutzer generiert, basierend auf deren bisherigem Verhalten. Das Mischen aller Interaktionen und das Zurückhalten der letzten 10 % der gesamten Interaktionen (Option 1) würde dazu führen, dass der Testdatensatz auch frühere Interaktionen von Benutzern enthält, die das Modell bereits gesehen hat, was zu einer Überschätzung der Leistung führen kann. Die Auswahl der 10 % der Benutzer mit den wenigsten Interaktionen (Option 3) oder zufällig 10 % der Benutzer (Option 4) und die Verwendung aller ihrer Interaktionen als Testdatensatz würde das System auf Benutzer testen, die das Modell noch nie zuvor gesehen hat. Dies ist zwar für Cold-Start-Szenarien relevant, aber nicht repräsentativ für die Vorhersage zukünftiger Interaktionen für bestehende Benutzer, die das Hauptziel eines Empfehlungssystems sind.