Które stwierdzenie poprawnie opisuje charakterystykę modeli językowych opartych na transformatorach?

Modele oparte na transformatorach, takie jak BERT czy GPT, kluczowo wykorzystują mechanizmy self-attention (samouwagę) do efektywnego modelowania złożonych relacji kontekstowych między elementami w sekwencji. Pozwala to każdemu słowu w zdaniu "ważyć" znaczenie innych słów, aby lepiej zrozumieć jego własny kontekst, co jest fundamentalne dla zadań przetwarzania języka naturalnego. Opcja z warstwami konwolucyjnymi opisuje sieci konwolucyjne (CNN), które są powszechne w przetwarzaniu obrazów, ale nie są główną cechą transformatorów. Ograniczenie do przetwarzania wyłącznie danych tekstowych jest nieprawdziwe; transformatory są adaptowane do wielu modalności, w tym obrazów i dźwięku. Przetwarzanie sekwencji po jednym elemencie opisuje rekurencyjne sieci neuronowe (RNN), podczas gdy transformatory przetwarzają całe sekwencje równolegle, co znacznie przyspiesza trening i wnioskowanie.