Un'azienda utilizza una LSTM per etichettare ogni frase in documenti di più pagine come "rischio" o "nessun rischio". Nonostante abbia provato molte strutture di rete e impostazioni di iperparametri, le prestazioni sono scarse. Quale modifica probabilmente darà il MAGGIORE miglioramento delle prestazioni?

L'inizializzazione degli input di parole con embedding Word2Vec pre-addestrati su un corpus pertinente (articoli di notizie del settore energetico) è la modifica più efficace. Gli embedding Word2Vec catturano relazioni semantiche e sintattiche tra le parole, fornendo al modello una rappresentazione del linguaggio più ricca e significativa rispetto all'inizializzazione casuale o al TF-IDF. Questo è particolarmente utile per compiti di classificazione del testo come l'etichettatura delle frasi. Inizializzare gli input con vettori TF-IDF è meno efficace perché il TF-IDF è un metodo di conteggio che non cattura le relazioni semantiche tra le parole, il che è cruciale per la comprensione del contesto in una LSTM. Sostituire le LSTM con GRU potrebbe portare a un leggero miglioramento delle prestazioni o della velocità di addestramento, ma non affronterebbe la mancanza di rappresentazioni semantiche iniziali. Abbassare il tasso di apprendimento e continuare l'addestramento fino a quando la perdita di addestramento smette di diminuire potrebbe aiutare a convergere meglio, ma non risolverebbe un problema fondamentale di rappresentazione degli input.