Uno scienziato di dati ha addestrato un modello sequence-to-sequence per la traduzione dall'inglese al giapponese utilizzando 500.000 coppie di frasi. Le frasi brevi (circa cinque parole) vengono tradotte bene, ma le traduzioni per frasi molto lunghe (circa 100 parole) sono scadenti. Quale modifica risolverà più probabilmente il problema?

La traduzione di frasi lunghe è una sfida comune per i modelli sequence-to-sequence tradizionali a causa del "collo di bottiglia" del vettore di contesto fisso, che deve codificare tutte le informazioni della frase di input. Il meccanismo di attenzione risolve questo problema consentendo al decodificatore di concentrarsi su parti rilevanti della sequenza di input in ogni fase di decodifica. Ottimizzare gli iperparametri dell'attenzione (ad esempio, il tipo di attenzione, il numero di head in un meccanismo multi-head) può migliorare significativamente la capacità del modello di gestire dipendenze a lungo termine e tradurre accuratamente frasi più lunghe. Pre-elaborare il testo in n-grammi è una tecnica di ingegneria delle feature che non risolve direttamente il problema del collo di bottiglia nelle sequenze lunghe. Aumentare il numero di unità RNN potrebbe aumentare la capacità del modello, ma non risolve intrinsecamente il problema della perdita di informazioni nelle sequenze lunghe senza un meccanismo di attenzione. Utilizzare uno schema di inizializzazione dei pesi diverso può aiutare con la convergenza o la stabilità dell'addestramento, ma non affronta il problema fondamentale della gestione delle dipendenze a lungo termine.