Welke bewering beschrijft correct een kenmerk van transformer-gebaseerde taalmodellen?

Transformer-gebaseerde taalmodellen onderscheiden zich door hun gebruik van self-attention mechanismen. Deze mechanismen stellen het model in staat om de relevantie van verschillende woorden in een invoerreeks voor elk specifiek woord in die reeks te wegen. Dit is cruciaal voor het modelleren van complexe contextuele relaties over lange afstanden, wat een beperking was van eerdere modellen zoals RNN's. Convolutionele lagen (optie 1) zijn kenmerkend voor Convolutionele Neurale Netwerken (CNN's), die voornamelijk worden gebruikt voor beeldverwerking, hoewel ze ook in sommige NLP-taken voorkomen. Transformers zijn niet beperkt tot alleen tekstdata (optie 2); ze worden ook toegepast in andere domeinen zoals beeldverwerking (Vision Transformers). Het verwerken van sequenties één element tegelijk (optie 4) is kenmerkend voor Recurrente Neurale Netwerken (RNN's), terwijl transformers juist parallelle verwerking mogelijk maken, wat hun efficiëntie aanzienlijk verhoogt.