大模型中Temperature的意思

大模型中Temperature的意思
Temperature温度是大模型生成时的超参数通过缩放 logits 调节输出概率分布的‌随机性与确定性‌值越低输出越保守可预测值越高越多样但可能失准 。‌‌核心作用与数值含义‌T 1低温‌概率分布变“尖锐”高概率词被放大输出更确定、重复、适合事实问答/代码/翻译。‌T 1‌保持模型原始概率分布为标准采样基准。‌T 1高温‌概率分布变“平滑”低概率词机会增加输出更多样、跳跃适合创意写作/头脑风暴过高如1.5易导致逻辑混乱或幻觉。‌T 0‌退化为贪婪解码始终选概率最大词输出完全固定可复现 。‌‌