ある小売企業では、顧客あたりの購入数が非常に少なく、多くの新規ユーザーに依存しています。カスタムレコメンダーのトレーニングとテストのためにデータを分割する場合、データサイエンティストは実際の使用状況を反映したテストセットをどのように作成すべきですか？

このシナリオでは、新規ユーザーが多く、顧客あたりの購入数が少ないため、レコメンダーの評価には時間的要素を考慮した分割が重要です。各ユーザーの最新のインタラクションをテストセットとして使用することで、レコメンダーが将来の行動を予測する能力を評価できます。これは、実際の運用で新しいアイテムを推薦する状況を最もよくシミュレートします。 他の選択肢は適切ではありません。 すべてのインタラクションレコードをシャッフルして最後の10%をテストに使う場合、過去のインタラクションがテストセットに含まれる可能性があり、時間的順序が無視されます。 インタラクションが最も少ないユーザーの10%を選択すると、データが偏り、レコメンダーの全体的なパフォーマンスを正確に評価できません。 ユーザーの10%をランダムに選択し、それらのユーザーのすべてのインタラクションをテストに使う場合、テストセット内のインタラクションにも時間的順序が無視される問題が生じます。