Розничная компания получает очень мало покупок на каждого клиента и полагается на большое количество новых пользователей. При разделении данных для обучения и тестирования пользовательского рекомендателя, как специалист по данным должен создать тестовый набор, который отражает реальное использование?

Правильный ответ отражает реальное использование, поскольку рекомендательные системы часто оцениваются по их способности предсказывать будущие взаимодействия. Используя последние 10% взаимодействий каждого пользователя в качестве тестового набора, мы имитируем сценарий, при котором модель должна предсказывать новые покупки или действия пользователя на основе его предыдущего поведения. Это позволяет оценить, насколько хорошо модель справляется с предсказанием будущих предпочтений. Перемешивание всех записей и откладывание последних 10% от общего числа взаимодействий (первый вариант) может привести к утечке данных, так как более поздние взаимодействия одного пользователя могут быть использованы для обучения, а более ранние — для тестирования, что не соответствует реальному сценарию. Выбор 10% пользователей с наименьшим количеством взаимодействий (третий вариант) или случайный выбор 10% пользователей (четвертый вариант) не учитывает временной аспект и может привести к тому, что в тестовом наборе окажутся пользователи с очень старыми взаимодействиями, что не отражает актуальность рекомендаций.