Een bedrijf gebruikt een LSTM om elke zin in documenten van meerdere pagina's te labelen als 'risico' of 'geen risico'. Ondanks het uitproberen van veel netwerkstructuren en hyperparameterinstellingen, zijn de prestaties slecht. Welke verandering zal waarschijnlijk de GROOTSTE prestatieverbetering opleveren?

Het initialiseren van woordinvoer met vooraf getrainde word2vec-embeddings, specifiek getraind op een relevant corpus (energiesector nieuwsartikelen), zal waarschijnlijk de grootste prestatieverbetering opleveren. Word2vec vangt semantische relaties en contextuele informatie van woorden op, wat essentieel is voor taken zoals sentimentanalyse of risicodetectie. Dit biedt een rijkere representatie dan willekeurige initialisatie of TF-IDF. TF-IDF richt zich op woordfrequentie en belang binnen documenten, maar mist de semantische diepte van word2vec. Het vervangen van LSTM's door GRU's of het aanpassen van de learning rate zijn optimalisatietechnieken die de training kunnen verbeteren, maar ze pakken niet de fundamentele kwaliteit van de inputrepresentatie aan, die vaak de grootste impact heeft op de prestaties van NLP-modellen.