W systemach generatywnej sztucznej inteligencji, do czego odnosi się termin „token”?
Wybierz odpowiedź
Dotknij opcji, aby sprawdzić swoją odpowiedź.
Poprawna odpowiedź: Podstawowe jednostki, które model przetwarza jako dane wejściowe i wyjściowe, takie jak słowa, podrzędne części słów lub inne elementy językowe..
Dlaczego to jest odpowiedź
W systemach generatywnej sztucznej inteligencji, "token" to podstawowa jednostka tekstu, którą model przetwarza. Może to być całe słowo, część słowa (np. przedrostek, przyrostek), pojedynczy znak, a nawet symbol. Tokenizacja to proces dzielenia tekstu na te mniejsze, zarządzalne jednostki, które model może efektywnie analizować i generować. Inne opcje są nieprawidłowe, ponieważ: "Numeryczna lub wektorowa reprezentacja słów lub pojęć wewnątrz modelu" to osadzanie (embedding), które jest reprezentacją tokenów, a nie samym tokenem. "Wartości wstępnie wytrenowanych wag modelu" to parametry modelu, które są dostosowywane podczas treningu. "Rzeczywiste podpowiedzi lub instrukcje" to prompt, czyli dane wejściowe składające się z tokenów.
Zdaj egzamin — bez niekończącego się szukania odpowiedzi
Uzyskaj wszystkie zweryfikowane pytania i wyjaśnienia do tego egzaminu w jednym miejscu i zaoszczędź godziny przygotowań. Ponad 1000 certyfikacji · Ponad 20 języków · Zacznij za darmo.
Zdaj egzamin szybciej → Karta nie jest wymagana