LLAMA 配置AI大模型参数 --temp、--top-p、--top-k

📅 2026/7/7 2:02:27 👁️ 阅读次数 📝 编程学习
LLAMA 配置AI大模型参数 --temp、--top-p、--top-k

温度(非常重要)

–temp/–temperature:0 ~ 1.0(确定性 ~ 创造性


参数作用典型取值范围
–temp(temperature)对概率分布进行“缩放”。
temp<1 → 高概率 token 更突出(更确定),temp>1 → 概率更平缓(更随机)。
0.0 ~ 2.0
–top-p(nucleus sampling)从概率累积和达到 p 的最小 token 集合中采样(如 p=0.9 → 只考虑概率最高的、累计占 90% 的 token)。0.8 ~ 1.0
–top-k只保留概率最高的k个 token,其余丢弃。1 ~ 100

重要交互

  • top_k=1时,强制选择概率最高的 token,此时temptop_p都无效。
  • 通常top_k用于初步裁剪(如 40~60),再配合top_ptemp进行采样。
  • temp=0也等价于贪心(总是选最高概率 token),但某些实现不允许 0,可用--temp 0.0或极小的值。

需求temptop-ptop-k备注
每次答案一模一样0.01.00*--top-k 1
安全、稳定、少跑偏0.30.8530适合敏感内容
日常对话(平衡)0.70.940多数情况的最佳起点
创意写作1.00.9560--repeat-penalty 1.1
完全无限制(极随机)1.51.00*可能输出无意义内容

*top-k=0或未设置表示不进行 top-k 剪裁;top-p=1.0表示不进行核采样。