Een detailhandelsbedrijf heeft zeer weinig aankopen per klant en is afhankelijk van veel nieuwe gebruikers. Bij het splitsen van gegevens voor het trainen en testen van een aangepaste recommender, hoe moet de data scientist een testset maken die het werkelijke gebruik weerspiegelt?

De juiste aanpak is om voor elke gebruiker de meest recente interacties te gebruiken als testset. Dit simuleert een realistisch scenario waarin het model nieuwe aanbevelingen moet doen op basis van de eerdere interacties van een gebruiker. Het weerspiegelt hoe een recommender-systeem in de praktijk functioneert: het voorspelt toekomstig gedrag op basis van historisch gedrag. Het willekeurig schudden van alle interacties en de laatste 10% apart houden (optie 1) kan leiden tot data-lekkage, omdat toekomstige interacties van een gebruiker in de trainingsset kunnen belanden. Het selecteren van gebruikers met de minste interacties (optie 3) of willekeurig 10% van de gebruikers (optie 4) is minder effectief omdat dit geen rekening houdt met het sequentiële karakter van gebruikersinteracties en de noodzaak om toekomstig gedrag te voorspellen.