Firma handlowa odnotowuje bardzo niewiele zakupów na klienta i opiera się na wielu nowych użytkownikach. W jaki sposób analityk danych powinien utworzyć zestaw testowy, który odzwierciedla rzeczywiste użycie, podczas dzielenia danych na potrzeby trenowania i testowania niestandardowego systemu rekomendacji?

Poprawna odpowiedź uwzględnia chronologiczny charakter danych rekomendacji. System rekomendacji ma przewidywać przyszłe zachowania użytkowników. Użycie najnowszych interakcji każdego użytkownika jako zestawu testowego symuluje scenariusz, w którym model, wytrenowany na wcześniejszych danych, musi przewidzieć, co użytkownik zrobi dalej, co jest kluczowe dla oceny rzeczywistej wydajności. Tasowanie wszystkich rekordów i odkładanie ostatnich 10% (pierwsza opcja) może umieścić przyszłe interakcje w zestawie treningowym, co prowadzi do przecieku danych. Wybieranie użytkowników z najmniejszą liczbą interakcji (trzecia opcja) lub losowe wybieranie 10% użytkowników (czwarta opcja) nie odzwierciedla przyszłych zachowań i może prowadzić do niereprezentatywnego zestawu testowego, zwłaszcza w przypadku systemu rekomendacji, który często musi radzić sobie z nowymi użytkownikami i rzadkimi interakcjami.