Un scientifique des données a entraîné un modèle séquence-à-séquence pour la traduction anglais→japonais en utilisant 500 000 paires de phrases. Les phrases courtes (environ cinq mots) sont bien traduites, mais les traductions des phrases très longues (environ 100 mots) sont de mauvaise qualité. Quel changement est le plus susceptible de résoudre le problème ?

Les modèles séquence-à-séquence, en particulier avec des phrases longues, peuvent souffrir d'un goulot d'étranglement de l'information dans le vecteur de contexte. Le mécanisme d'attention permet au modèle de pondérer différentes parties de la séquence d'entrée lors de la génération de chaque élément de la séquence de sortie, ce qui est crucial pour gérer les dépendances à long terme et améliorer la qualité de la traduction pour les phrases longues. Ajuster ses hyperparamètres (par exemple, le type d'attention, le nombre de têtes d'attention dans les Transformers, ou la dimensionnalité des clés/requêtes/valeurs) peut optimiser cette capacité. Prétraiter en n-grammes simplifierait la séquence mais perdrait de la granularité. Augmenter les unités RNN n'est pas une solution directe au problème de la mémoire à long terme sans attention. Un schéma d'initialisation des poids différent est moins susceptible de résoudre un problème structurel lié à la longueur des séquences.