Bir perakende şirketi, müşteri başına çok az satın alma işlemi yapmakta ve birçok yeni kullanıcıya güvenmektedir. Özel bir tavsiye sistemini eğitmek ve test etmek için verileri bölerken, veri bilimcisi gerçek kullanımı yansıtan bir test setini nasıl oluşturmalıdır?

Doğru cevap, her kullanıcı için etkileşimlerinin en son %10'unu test seti olarak ayırmaktır. Bu yöntem, tavsiye sistemlerinin genellikle gelecekteki davranışları tahmin etmek için kullanıldığı gerçeğini yansıtan zamana dayalı bir bölme sağlar. Yeni kullanıcıların çok olduğu ve satın alma işlemlerinin az olduğu bir senaryoda, bu yaklaşım her kullanıcının en yeni tercihlerini yakalayarak modelin gerçek dünya performansını daha doğru bir şekilde değerlendirmesine olanak tanır. Diğer seçenekler, zaman serisi doğasını göz ardı ederek veya test setini yeterince temsil edici olmayan bir şekilde oluşturarak modelin gelecekteki performansı hakkında yanıltıcı sonuçlar verebilir. Örneğin, tüm etkileşimleri karıştırmak veya rastgele kullanıcıları seçmek, test setine geçmiş verileri dahil ederek modelin gelecekteki performansı hakkında gerçekçi olmayan bir iyimserlik yaratabilir.