Quelle affirmation décrit correctement une caractéristique des modèles de langage basés sur les transformeurs ?

Les modèles de langage basés sur les transformeurs utilisent des mécanismes d'auto-attention (self-attention) pour pondérer l'importance des différentes parties d'une séquence d'entrée lors de la génération d'une sortie. Cela leur permet de capturer des dépendances à longue portée et de modéliser efficacement les relations contextuelles entre les mots. Les couches de convolution sont principalement utilisées dans les réseaux neuronaux convolutifs (CNN) pour les données d'image, bien qu'elles puissent être adaptées au texte. Les transformeurs ne sont pas limités aux données textuelles ; ils sont également utilisés pour l'audio et la vision par ordinateur. Enfin, contrairement aux réseaux récurrents (RNN), les transformeurs traitent les séquences en parallèle, ce qui améliore considérablement l'efficacité.