Welche Aussage beschreibt korrekt eine Eigenschaft von transformatorbasierten Sprachmodellen?

Die korrekte Antwort ist, dass transformatorbasierte Sprachmodelle Self-Attention-Mechanismen nutzen, um kontextbezogene Beziehungen zu modellieren. Diese Mechanismen ermöglichen es dem Modell, die Relevanz verschiedener Wörter in einer Eingabesequenz zueinander zu gewichten, unabhängig von ihrer Position. Dies ist entscheidend für das Verständnis komplexer Satzstrukturen und langer Abhängigkeiten. Die Option, dass sie Convolutional Layers verwenden, ist falsch, da dies typisch für Convolutional Neural Networks (CNNs) ist, die primär für Bildverarbeitung eingesetzt werden, obwohl sie auch in einigen NLP-Modellen vorkommen können, aber nicht die definierende Eigenschaft von Transformatoren sind. Die Aussage, dass sie nur Textdaten verarbeiten können, ist ebenfalls falsch; Transformatoren werden zunehmend auch in anderen Modalitäten wie Bild- und Audiodaten eingesetzt (z.B. Vision Transformers). Die Behauptung, dass sie Sequenzen Element für Element in wiederholten Zyklen verarbeiten, beschreibt eher rekurrenten neuronalen Netze (RNNs), während Transformatoren die Parallelisierung der Sequenzverarbeitung ermöglichen.