대규모 언어 모델 파라미터 중 각 생성 단계에서 고려되는 다음 단어 또는 토큰 후보의 수를 결정하는 것은 무엇입니까?

Top K는 대규모 언어 모델(LLM)에서 다음 단어 또는 토큰을 예측할 때 고려할 후보 단어의 수를 제한하는 샘플링 파라미터입니다. 예를 들어, Top K가 10이면 모델은 확률이 가장 높은 상위 10개의 단어 중에서 다음 단어를 선택합니다. Maximum tokens는 생성될 출력의 최대 길이를 결정합니다. Temperature는 모델 출력의 무작위성 또는 창의성을 조절하며, 값이 높을수록 예측이 더 다양해집니다. Batch size는 한 번의 훈련 또는 추론 단계에서 처리되는 입력 시퀀스의 수를 나타냅니다.