Em sistemas de IA generativa, a que o termo "token" se refere?
Escolha uma resposta
Toque em uma opção para verificar sua resposta.
Resposta correta: As unidades básicas que o modelo processa como entrada e saída, como palavras, subpalavras ou outras peças linguísticas..
Por que esta é a resposta
Em sistemas de IA generativa, um "token" é a unidade fundamental de texto que o modelo processa. Isso pode ser uma palavra inteira, uma subpalavra (como "des-" em "desfazer"), um caractere individual ou até mesmo um sinal de pontuação, dependendo do tokenizador usado. Os modelos de linguagem dividem o texto de entrada em tokens para entender e gerar sequências. A representação numérica ou vetorial (embedding) é a forma como o modelo interpreta esses tokens, não o token em si. Os pesos pré-treinados são parâmetros internos do modelo, e os prompts são as instruções fornecidas, não os tokens.
Passe no seu exame — sem a busca interminável por respostas
Obtenha todas as perguntas e explicações verificadas para este exame em um só lugar e economize horas de preparação. Mais de 1.000 certificações · Mais de 20 idiomas · Grátis para começar.
Passe no seu exame mais rápido → Não é necessário cartão