Bir şirket, çok sayfalı belgelerdeki her cümleyi "risk" veya "risksiz" olarak etiketlemek için bir LSTM kullanıyor. Birçok ağ yapısı ve hiperparametre ayarı denemesine rağmen performans kötü. Aşağıdaki değişikliklerden hangisi muhtemelen EN BÜYÜK performans iyileştirmesini sağlayacaktır?

Doğru cevap, kelime girdilerini önceden eğitilmiş word2vec gömmeleriyle başlatmaktır. Word2vec gibi önceden eğitilmiş kelime gömmeleri, kelimeler arasındaki anlamsal ilişkileri yakalayarak modelin daha zengin bir başlangıç temsiliyle öğrenmesini sağlar. Bu, özellikle sınırlı etiketli veri olduğunda veya modelin alan bilgisine ihtiyacı olduğunda performansı önemli ölçüde artırabilir. TF-IDF vektörleri, kelimelerin belge içindeki önemini ölçse de, anlamsal ilişkileri word2vec kadar iyi yakalayamaz. GRU'lar LSTM'lere göre daha hızlı olabilir ancak performans artışı genellikle daha azdır ve temel sorun veri temsilinde olabilir. Öğrenme oranını düşürmek, modelin yakınsamasını iyileştirebilir ancak temel modelin kelime temsillerindeki eksikliği gidermez.