Welke parameter van een groot taalmodel bepaalt hoeveel kandidaat-volgende woorden of tokens worden overwogen bij elke generatiestap?

Top K bepaalt het aantal meest waarschijnlijke volgende tokens dat het model overweegt bij elke stap van de tekstgeneratie. Als Top K bijvoorbeeld op 10 is ingesteld, kiest het model het volgende woord uit de 10 meest waarschijnlijke opties. Dit beïnvloedt de diversiteit en relevantie van de gegenereerde tekst. Maximum tokens stelt de maximale lengte van de gegenereerde uitvoer in, niet het aantal overwogen tokens per stap. Temperature regelt de willekeurigheid van de uitvoer; hogere waarden leiden tot creatievere, maar potentieel minder coherente tekst. Batch size verwijst naar het aantal sequenties dat tegelijkertijd wordt verwerkt, wat relevant is voor efficiëntie, niet voor de selectie van volgende tokens.