Transformer tabanlı dil modellerinin bir özelliğini doğru bir şekilde açıklayan ifade hangisidir?

Transformer tabanlı dil modelleri, metin içindeki kelimeler arasındaki bağlamsal ilişkileri anlamak için self-attention (öz-dikkat) mekanizmalarını kullanır. Bu mekanizma, bir kelimenin anlamının cümledeki diğer kelimelerle olan ilişkisine göre belirlenmesini sağlar. Bu sayede uzun mesafeli bağımlılıklar etkili bir şekilde yakalanır. Diğer seçenekler yanlıştır: Evrişimsel katmanlar (convolutional layers) genellikle evrişimsel sinir ağlarında (CNN) kullanılır ve Transformer modellerinin temel özelliği değildir. Transformer'lar metin dışındaki (örneğin ses veya görüntü) verileri de işleyebilir, bu nedenle yalnızca metinle sınırlı değildirler. Dizileri tekrarlayan döngülerde birer birer işlemek, özellikle Recurrent Neural Networks (RNN) gibi eski modellerin bir özelliğidir; Transformer'lar paralel işlemeyi mümkün kılar.