Обезличенный набор данных содержит признаки, масштабы которых различаются на порядки. Чтобы максимизировать точность прогнозирования в продакшене, какую последовательность шагов следует выполнить перед моделированием?

Правильный ответ — разделить набор данных на обучающий, валидационный и тестовый наборы, затем перемасштабировать обучающий набор и применить те же параметры масштабирования к валидационному и тестовому наборам. Масштабирование признаков необходимо, когда их масштабы сильно различаются, чтобы предотвратить доминирование признаков с большими значениями. Важно сначала разделить данные, чтобы избежать утечки данных (data leakage), когда информация из валидационного/тестового набора влияет на процесс обучения. Затем параметры масштабирования (например, среднее и стандартное отклонение для стандартизации) должны быть вычислены только на обучающем наборе, а затем применены к валидационному и тестовому наборам, чтобы имитировать реальное применение модели. Масштабирование всего набора данных до разделения или независимое масштабирование каждого набора приведет к утечке данных или несогласованности. Случайная выборка не решает проблему масштабирования.