LLM有哪些可控超参数
目录
-
- LLM有哪些可控超参数
-
- 生成控制类
- 采样相关类
- 推理优化类
- 惩罚类
- 其他类
- 计算资源与批量处理类
- 上下文与Token相关类
- 内存相关类
生成控制类
-
以流式返回对话响应:指模型在生成回复时,是否以逐字或逐句的流式方式返回给用户,而不是等全部生成完再返回,能提升交互实时感,比如在聊天场景中,用户能更快看到回复内容。
-
种子(Seed):用于初始化随机数生成器的值。如果设置相同的种子,模型在相同输入下会生成相同的输出,常用于可重复性实验等场景。比如研究人员希望每次测试模型在特定输入下的表现都一致时,就固定种子值。
-
停止序列(Stop Sequence):指定一个序列,当模型生成的文本中出现该序列时,就停止生成。例如在生成故事时,设置“故事结束”为停止序列,当模型生成到“故事结束”时就不再继续。