Una empresa utiliza una LSTM para etiquetar cada frase en documentos de varias páginas como "riesgo" o "sin riesgo". A pesar de probar muchas estructuras de red y configuraciones de hiperparámetros, el rendimiento es deficiente. ¿Qué cambio probablemente proporcionará la MAYOR mejora en el rendimiento?

Inicializar las entradas de palabras con embeddings word2vec preentrenados en un corpus relevante (artículos de noticias del sector energético) es la mejor opción. Word2vec captura relaciones semánticas y sintácticas de las palabras, proporcionando una representación densa y significativa que mejora el rendimiento de modelos como las LSTMs, especialmente cuando el conjunto de datos de entrenamiento es limitado o el dominio es específico. Los vectores TF-IDF (opción incorrecta) son representaciones dispersas que solo consideran la frecuencia y la importancia de las palabras, sin capturar relaciones semánticas. Reemplazar las LSTM por GRU (opción incorrecta) o ajustar la tasa de aprendizaje (opción incorrecta) son optimizaciones válidas, pero es menos probable que ofrezcan una mejora tan significativa como una mejor representación inicial de las palabras, que es fundamental para el procesamiento del lenguaje natural.