¿Qué afirmación describe correctamente una característica de los modelos de lenguaje basados en transformadores?

Los modelos de lenguaje basados en transformadores son conocidos por emplear mecanismos de autoatención (self-attention) para modelar relaciones contextuales entre diferentes partes de una secuencia de entrada. Esto les permite ponderar la importancia de otras palabras en la secuencia al procesar cada palabra, capturando dependencias a largo plazo y mejorando la comprensión del contexto. Las capas convolucionales son características de las redes neuronales convolucionales (CNNs), utilizadas principalmente en visión por computadora, no en la arquitectura central de los transformadores. Los transformadores pueden procesar no solo texto, sino también otros tipos de datos secuenciales como audio o video, desmintiendo la limitación a solo datos de texto. Finalmente, los transformadores procesan secuencias en paralelo, no un elemento a la vez en ciclos repetidos, lo que los hace muy eficientes para secuencias largas.