한 회사에서 다중 페이지 문서의 각 문장에 “위험” 또는 “위험 없음” 레이블을 지정하기 위해 LSTM을 사용합니다. 다양한 네트워크 구조와 하이퍼파라미터 설정을 시도했지만 성능이 좋지 않습니다. 어떤 변경이 가장 큰 성능 향상을 가져올까요?

사전 학습된 Word2Vec 임베딩을 사용하면 모델이 대규모 외부 코퍼스에서 단어의 의미론적 및 구문론적 관계를 학습하여 초기화되므로, 특히 훈련 데이터가 제한적일 때 모델의 일반화 능력과 성능을 크게 향상시킬 수 있습니다. TF-IDF 벡터는 단어의 중요도를 나타내지만 의미론적 관계를 포착하지 못해 Word2Vec만큼 효과적이지 않습니다. GRU로 교체하거나 학습률을 조정하는 것은 성능 개선에 도움이 될 수 있지만, 임베딩 초기화 변경만큼 근본적이고 큰 영향을 미치지는 않습니다.