Une entreprise utilise un LSTM pour étiqueter chaque phrase de documents de plusieurs pages comme « risque » ou « pas de risque ». Malgré de nombreuses tentatives de structures de réseau et de réglages d'hyperparamètres, les performances sont médiocres. Quel changement apportera probablement la PLUS GRANDE amélioration des performances ?

L'initialisation des entrées de mots avec des embeddings Word2Vec pré-entraînés sur un grand corpus d'articles de presse du secteur de l'énergie est la meilleure option car elle fournit au modèle une représentation sémantique riche et contextuelle des mots, spécifiquement adaptée au domaine. Les embeddings Word2Vec capturent des relations sémantiques qui sont cruciales pour des tâches de classification de texte complexes comme l'identification de risques. Les vecteurs TF-IDF sont des représentations de mots plus simples, basées sur la fréquence, qui ne capturent pas les relations sémantiques de la même manière. Remplacer les LSTM par des GRU ou ajuster le taux d'apprentissage sont des optimisations secondaires qui ne compenseront pas un manque fondamental de représentation sémantique des mots.