Uma empresa usa uma LSTM para rotular cada frase em documentos de várias páginas como “risco” ou “sem risco”. Apesar de tentar muitas estruturas de rede e configurações de hiperparâmetros, o desempenho é ruim. Qual mudança provavelmente proporcionará a MAIOR melhoria de desempenho?

A inicialização das entradas de palavras com embeddings Word2Vec pré-treinados é a melhor opção porque Word2Vec captura relações semânticas e sintáticas das palavras, fornecendo uma representação densa e rica em significado. Isso ajuda a LSTM a entender melhor o contexto das frases, especialmente em um domínio específico como o setor de energia, onde termos podem ter significados especializados. Usar vetores TF-IDF é menos eficaz porque TF-IDF foca na frequência e importância de palavras em documentos, mas não captura as relações semânticas entre elas, sendo uma representação esparsa e menos rica. Substituir LSTMs por GRUs pode trazer alguma melhoria, mas não é garantido que seja a MAIOR, pois ambas são arquiteturas de redes recorrentes com capacidades semelhantes para lidar com dependências de longo prazo. Diminuir a taxa de aprendizado e continuar o treinamento pode ajudar a convergir para um mínimo melhor, mas não aborda a qualidade fundamental das representações de entrada, que é um fator mais crítico para o desempenho em tarefas de PNL.