Un jeu de données nettoyé contient des caractéristiques dont les échelles diffèrent de plusieurs ordres de grandeur. Pour maximiser la précision de la prédiction en production, quelle séquence d'étapes devez-vous suivre avant la modélisation ?

La bonne approche consiste à diviser d'abord le jeu de données en ensembles d'entraînement, de validation et de test. Ensuite, vous rééchelonnez l'ensemble d'entraînement pour apprendre les paramètres de mise à l'échelle (par exemple, moyenne et écart-type pour la standardisation, min et max pour la normalisation). Il est crucial d'appliquer ces mêmes paramètres aux ensembles de validation et de test. Cela simule un scénario de production où les nouvelles données (simulées par les ensembles de validation/test) sont transformées en utilisant les statistiques apprises sur les données d'entraînement, évitant ainsi la fuite de données (data leakage) des ensembles de validation/test vers l'entraînement. Rééchelonner l'ensemble du jeu de données en premier (option 3) introduirait une fuite de données, car les statistiques de mise à l'échelle seraient influencées par les données de validation et de test. Rééchelonner chaque ensemble indépendamment (option 4) est incorrect car cela entraînerait des transformations incohérentes et ne refléterait pas la réalité de la production. L'échantillonnage aléatoire (option 1) est une technique différente et ne résout pas le problème de la mise à l'échelle.