Quale affermazione descrive correttamente una caratteristica dei modelli linguistici basati su trasformatore?

I modelli linguistici basati su trasformatore, come BERT o GPT, impiegano meccanismi di self-attention (auto-attenzione) per modellare efficacemente le relazioni contestuali tra le parole in una sequenza. Questo permette al modello di pesare l'importanza di diverse parole rispetto a una parola specifica durante l'elaborazione, catturando dipendenze a lungo raggio. Le reti convoluzionali (CNN) utilizzano layer convoluzionali, ma sono tipiche per l'elaborazione di immagini o per catturare pattern locali in sequenze, non sono la caratteristica distintiva dei trasformatori. I trasformatori non sono limitati solo ai dati testuali; possono essere adattati per altri tipi di dati sequenziali. Inoltre, i trasformatori elaborano le sequenze in parallelo, non un elemento alla volta, grazie al meccanismo di self-attention e all'assenza di dipendenze ricorsive che rallenterebbero l'elaborazione.