Ein Unternehmen verwendet ein LSTM, um jeden Satz in mehrseitigen Dokumenten als „Risiko“ oder „kein Risiko“ zu kennzeichnen. Trotz vieler Netzwerkstrukturen und Hyperparameter-Einstellungen ist die Leistung schlecht. Welche Änderung wird wahrscheinlich die GRÖSSTE Leistungsverbesserung bringen?

Die Initialisierung von Wort-Inputs mit vortrainierten word2vec-Embeddings, die auf einem relevanten Korpus (Nachrichtenartikel aus dem Energiesektor) trainiert wurden, liefert dem LSTM ein besseres Verständnis von Wortbedeutungen und Kontextbeziehungen. Dies ist entscheidend für Aufgaben der Textklassifizierung und führt oft zur größten Leistungsverbesserung, da das Modell nicht von Grund auf neu lernen muss, wie Wörter zusammenhängen. Die Initialisierung mit TF-IDF-Vektoren ist weniger effektiv, da TF-IDF die semantischen Beziehungen zwischen Wörtern nicht erfasst. Das Ersetzen von LSTMs durch GRUs könnte die Leistung verbessern, ist aber unwahrscheinlich, dass es eine so große Auswirkung hat wie bessere Word-Embeddings. Das Senken der Lernrate hilft bei der Konvergenz, verbessert aber nicht die grundlegende Fähigkeit des Modells, die Bedeutung von Wörtern zu verstehen.