刘大海伸出手，一个手指一个手指地点：“可以是好，可以是热，也可以是冷。”
“从我们刚才那点儿上下文里，只靠“今天天气真”几个字，可能统计出来下一个词是“好”的概率有40%，“热”是30%，“冷”是20%，其他乱七八糟的加起来也有10%。”
“既然这样，”马小飞疑惑地问，“那就选概率最高的不就行了？”
“如果我每次输入“今天天气真”之后都出现一个“好”字，那还是AI吗？”刘大海问，“或者说，那还有用吗？”
马小飞皱着眉头。听着是没什么用了。
“那刚才那个例子，模型的分布比例是40、30、20还好，多试几次，几个选项都有可能出现；可要是那种统计出来是80、10、8的分布呢？是不是就只会出现概率最高的那个了？”马小飞问。
刘大海惊讶地看了看马小飞：“小飞，你很有天赋啊！咱们机器学习里，专门就有一个工具是来解决这个问题的！”
他模仿着马小飞刚才的样子，朝着半空中伸出手。
“所有的模型设置里，都会有一个参数，叫Temperature，也就是中文的温度。”
然后他对马小飞说了一句：“这块后期加特效哈。”
马小飞笑了笑。不愧是博士，学得真快。
“那这个温度怎么解决呢？”马小飞问。
“简单地说，这是一个可以把概率分布拉平的操作。”刘大海说道，“假设你的数据概率分布就是很极端，前四高的选项分别对应的概率是90、3、3、3，那你可能无论怎么选，选到的都是90的那个。但通过把温度调高，我们可以把总体的概率变成30、22、22、22；调整之后，几个选项之间的排序不变，但分布更均匀了，你选到小选项的概率也变大了。”
“我们这样做的根本原因，是因为我们知道统计规律高的结果并不一定是最好的；所以我们通过人为操作概率的方式，让结果出现更多的变量。”
马小飞一脸“我听懂了”的表情，说道：“大海老师，我以前也在各种界面上看到过这个温度的选项，一直不明白是干什么的；你这一说我就明白了。所以，温度越低，模型就越冷静，输出也就越固定；温度越高，模型就越激情，输出也就越随机。我总结得没错吧？”
刘大海面露犹豫。总结得是没错，可“激情”什么的，这用词对吗？
“那除了温度之外，模型里还有什么常用的参数呢？”
“还是两个和温度经常出现的参数：一个是Top K，一个是Top P。”刘大海说道，“咱们先说Top K吧。”
“你知道，现在的大模型是很大的，几万亿个参数，一个输入对应的输出可能有几万个可能性；如果我们把它们都算一遍，又慢又浪费资源。为了避免浪费，我们就选择只把前K个放到候选池里，其他的就不放了。”
马小飞点了点头。这个倒是简单明白。
“那Top P呢？”
刘大海也许是好久没给人讲课了，也越谈越兴起。
“这个P在这里是概率的意思，Probability。咱们先说它解决什么问题。你比如说，我输入一句“中国的首都是”，你说答案是什么？”
“是京城啊。”马小飞秒答。
“对，这属于事实性答案，是不允许错的。但在模型里，别的选项仍有很小的概率，比如“金陵”，比如“长安”，在语料里也存在；按照我们刚才的说法，这些选项也可能被输出。”
刘大海说道：“可是我们不想让它被输出，我们只想要最确定的那些答案。所以我们可以设定一个P=0.95；这样，只要我们收集到的选
-->>(第3/4页)（本章未完，请点击下一页继续阅读）