Компания использует LSTM для разметки каждого предложения в многостраничных документах как «риск» или «нет риска». Несмотря на многочисленные попытки с различными сетевыми структурами и настройками гиперпараметров, производительность остается низкой. Какое изменение, скорее всего, обеспечит НАИБОЛЬШЕЕ улучшение производительности?

Правильный ответ — инициализация входных данных слов предварительно обученными word2vec эмбеддингами, обученными на большом корпусе новостных статей энергетического сектора. Это позволит модели лучше понимать семантику слов, особенно в специализированной области, что критически важно для улучшения производительности. Word2vec эмбеддинги захватывают контекстные отношения между словами, что значительно превосходит простые частотные подходы. Использование векторов TF-IDF менее эффективно, так как они отражают важность слова в документе, но не его семантические связи. Замена LSTM на GRU может немного изменить производительность, но редко дает такой значительный прирост, как улучшение представления входных данных. Снижение скорости обучения и продолжение тренировки может помочь сходимости, но не решит проблему фундаментально плохого представления признаков.