한 소매 회사는 고객당 구매 건수가 매우 적고 많은 신규 사용자에 의존합니다. 사용자 지정 추천기를 훈련하고 테스트하기 위해 데이터를 분할할 때, 데이터 과학자는 실제 사용량을 반영하는 테스트 세트를 어떻게 생성해야 할까요?

정답은 각 사용자에 대해 가장 최근 상호작용의 10%를 가져와서 해당 사용자별 최근 상호작용을 테스트 세트로 사용하는 것입니다. 이는 추천 시스템의 시간적 특성을 반영하여, 모델이 미래의 행동을 예측하는 능력을 평가하는 데 가장 적합한 방법입니다. 새로운 사용자가 많고 구매가 적은 시나리오에서는 과거 데이터로 훈련하고 최근 데이터를 테스트하는 것이 실제 사용 패턴을 가장 잘 시뮬레이션합니다. 모든 상호작용 기록을 섞고 마지막 10%를 테스트용으로 보류하는 것은 시간적 순서를 무시하여, 훈련 세트에 미래 데이터가 포함될 수 있습니다. 상호작용이 가장 적은 사용자 10%를 선택하거나 무작위로 사용자 10%를 선택하여 테스트 세트로 사용하는 것은 신규 사용자의 행동이나 시간에 따른 사용자 행동 변화를 적절히 반영하지 못할 수 있습니다.