通过 Api 调用LLM 的 `temperature=0` 是可以吗

通过 Api 调用LLM 的temperature=0是可以吗

结论：

1. 设置temperature=0是完全可以的，而且在很多场景下（如代码生成、数学解题）是推荐的做法。
2. 你是对的，数学上确实不能除以 0。但在工程实现代码中，程序做了“特判”处理。

让我们从数学原理和代码实现两个层面来拆解这个“除以 0”的悖论。

1. 数学视角：为什么 T 趋近于 0 时，结果变成了“唯一解”？

大型语言模型输出下一个词时，使用的是 Softmax 函数。加上温度 后的公式如下：

其中 是模型给每个候选词打的分数（Logits）。

当我们让 无限趋近于 0（即取极限 ）时，会发生有趣的数学现象：

• 最大值被无限放大：假设“苹果”得分 10，“香蕉”得分 5。

• 如果 ： vs 。差距很大，但还算正常。

• 如果 ： vs 。 是一个天文数字，而 相比之下就像一只蚂蚁。

• 赢家通吃 (Winner Takes All)：
  当 趋近于 0 时，得分最高的那个词的概率会趋近于1 (100%)，而其他所有词的概率会趋近于0。