我们在调用LLM的API时，有时候需要调整温度(temperature)参数，这个参数有什么用呢？

我们在调用LLM的API时，有时候需要调整温度(temperature)参数，这个参数有什么用呢？

在Google的“生成式AI学习”课程的“Encoder-Decoder Architecture: Overview 编码器-解码器架构”这期视频里面，里面谈到了temperature参数的作用。

如果温度很高，它会使得所有Token的得分变得接近于0，这意味着这个Token更有可能被选中。会有更多的多样性，更多的内容可以被预测，这会使得模型变得更有创造性。但如果温度太高，神经网络只会预测出无意义的东西。

如果温度非常低，最高的概率得分会被乘以一个非常大的数，这会使得最高得分的Token有更大的被选中的概率，也就是说，模型的行为会更加确定。