temperature 对输出的影响

“temperature”（温度）是用来调整 softmax 函数输出的分布的一个参数。在 softmax 中，较大的温度值会导致输出的概率分布更加平滑，而较小的温度值会导致输出的概率分布更加尖锐。

softmax 函数的公式如下：

$$
\text{softmax}(z)_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
$$

其中，(z_i) 是输入向量的第 (i) 个元素，(T) 是温度参数。

• 当 (T) 较大时，$(\exp(z_i / T))$ 中的 (T) 会趋近于 1，这会使所有的概率接近相等，因此输出的概率分布更加平滑。
• 当 (T) 较小时，$(\exp(z_i / T)) $ 中的 (T) 会趋近于无穷大，这会使 softmax 对输入中的最大值更加敏感，输出的概率分布更加尖锐。

在深度学习中，使用温度参数进行 softmax 操作的技术被称为 “softmax 温度调度 ”（softmax temperature scaling）。这个技术有时候用于调整模型生成的概率分布，以便在不同的场景中达到更好的效果。

在代码中，你可以通过调整 softmax 函数的温度参数来控制输出的分布。例如，在 Python 中，使用 NumPy，可以这样实现：

import numpy as np

def softmax(x, temperature=1.0):
    exp_x = np.exp(x / temperature)
    return exp_x / np.sum(exp_x, axis=-1, keepdims=True)

在这个例子中，temperature 参数就是控制温度的参数。你可以尝试不同的温度值，看看对输出的影响。