Un scientifique des données a utilisé le modèle de sujet neuronal (NTM) de SageMaker pour recommander des balises pour des articles de blog stockés au format JSON dans S3. Le modèle suggère des mots vides comme « un », « une » et « le », et parfois des mots rares mais valides. L'équipe souhaite conserver les mots rares mais s'assurer que les mots vides ne sont pas recommandés. Que doit faire le scientifique des données ?

La suppression des mots vides (stop words) est une étape de prétraitement standard en traitement du langage naturel (NLP) pour améliorer la pertinence des modèles de sujet. CountVectorizer de scikit-learn offre des options pour filtrer les mots vides lors de la vectorisation du texte, ce qui permet de se concentrer sur les mots significatifs. En remplaçant les données brutes par des données nettoyées et vectorisées, le modèle NTM sera entraîné sur un ensemble de données plus pertinent, évitant ainsi la recommandation de mots vides tout en conservant les mots rares mais valides. Les autres options sont incorrectes car : L'appel à Amazon Comprehend pour la reconnaissance d'entités est utile pour identifier des entités spécifiques (personnes, lieux, organisations), mais pas pour la suppression générale des mots vides non pertinents pour l'analyse de sujet. L'algorithme PCA (Analyse en Composantes Principales) est une technique de réduction de dimensionnalité qui ne résout pas directement le problème des mots vides et pourrait même éliminer des informations pertinentes. L'algorithme de détection d'objets est conçu pour l'analyse d'images et n'est pas applicable au traitement de texte pour la recommandation de balises.