Specjalista ds. danych wytrenował model sekwencja-do-sekwencji do tłumaczenia z angielskiego na japoński, używając 500 000 par zdań. Krótkie zdania (około pięciu słów) są tłumaczone dobrze, ale tłumaczenia bardzo długich zdań (około 100 słów) są słabe. Jaka zmiana najprawdopodobniej rozwiąże ten problem?

Model sekwencja-do-sekwencji ma trudności z długimi zdaniami, ponieważ tradycyjne kodery-dekodery RNN mają tendencję do kompresowania wszystkich informacji wejściowych w wektor kontekstowy o stałej długości, co prowadzi do utraty informacji dla dłuższych sekwencji. Mechanizm uwagi (attention mechanism) rozwiązuje ten problem, pozwalając dekoderowi na dostęp do wszystkich stanów ukrytych kodera, co umożliwia mu skupienie się na odpowiednich częściach zdania wejściowego podczas generowania każdego słowa wyjściowego. Dostrajanie hiperparametrów uwagi, takich jak jej typ (np. addytywna, multiplikatywna) lub rozmiar, może znacząco poprawić zdolność modelu do obsługi długich sekwencji. Wstępne przetwarzanie tekstu na n-gramy nie rozwiązuje problemu utraty informacji w długich sekwencjach. Zwiększenie liczby jednostek RNN nie jest bezpośrednio związane z problemem zapominania długoterminowego. Użycie innego schematu inicjalizacji wag jest mniej prawdopodobne, aby rozwiązać ten konkretny problem.