Um cientista de dados treinou um modelo sequence-to-sequence para tradução de inglês para japonês usando 500.000 pares de frases. Frases curtas (cerca de cinco palavras) são bem traduzidas, mas as traduções para frases muito longas (cerca de 100 palavras) são ruins. Qual mudança provavelmente corrigirá o problema?

O mecanismo de atenção é crucial para modelos sequence-to-sequence lidarem com dependências de longo alcance. Quando as traduções de frases longas são ruins, isso frequentemente indica que o modelo está perdendo informações importantes do início da sequência. Ajustar os hiperparâmetros de atenção, como o tipo de atenção (aditiva, multiplicativa), o número de cabeças de atenção (em Transformers) ou a forma como as pontuações de atenção são calculadas, pode melhorar significativamente a capacidade do modelo de focar nas partes relevantes da frase de entrada, independentemente do seu comprimento. Pré-processar o texto em n-grams pode ajudar com a representação de palavras, mas não aborda diretamente o problema de dependências de longo prazo em sequências. Aumentar o número de unidades RNN pode aumentar a capacidade do modelo, mas não resolve inerentemente o gargalo de informação que ocorre em RNNs para sequências muito longas, onde o estado oculto final pode ter dificuldade em reter informações do início. Usar um esquema de inicialização de pesos diferente é uma técnica geral que pode ajudar na convergência, mas é menos provável que seja a causa principal do desempenho ruim especificamente em frases longas, que é um problema clássico de atenção.