强你。”
“我就是惜才。”
“以后你要是改主意了，随时给我打电话。”
高稳这个时候才慢悠悠地插了一句。
“行了李总，你也别老盯着我们家这棵苗子。”
“田钢院士那边可看着呢，你再这么挖下去，老田明天就得给我打电话。”
李总立马“哎哟”一声，做出一个夸张的告饶手势。
“不敢不敢，田院士的人，我哪敢动。”
三个人相视一笑。
桌上的气氛一下子就缓和下来了。
……
六点半的时候，晚宴正式开始了。
服务员推着餐车从门口的侧门进来。
宴会厅一共就两桌，李东、高稳、李总坐在主桌。
旁边几个也是比较有分量的人。
包括里云那位副总裁，还有一个看起来像是某家做芯片的初创公司CEO的男人，也都坐在主桌上。
服务员退出去之后，话题自然而然就从最近的天气、最近的政策，慢慢地飘到了“那玩意儿”上面。
“那玩意儿”
这是在场所有人对“GPT-3.5”心照不宣的称呼。
最先开口的是里云AI那位副总裁，姓邱，叫邱明丽。
她端着酒杯，慢悠悠地说道。
“上个礼拜我们组里专门搞了一个内部测试。”
“中文常识题、英文阅读理解、代码生成、数学推理、长文本总结，五个方向，各出了二十道题。”
她叹了口气。
“五个方向，它都赢了。”
桌上一片沉默。
李总放下了筷子，眉头皱着。
“赢得多吗？”
邱明丽自嘲的笑了一声。
“我就不说具体分数了，但差距……不小。”
“尤其是那种需要多步推理的题，我们这边的模型基本上做到第三步就开始胡言乱语了。”
“它还能稳稳地往下推。”
“你把一道国内高考压轴题扔给它，它就算做错，它做错的路子也是对的。”
“它是在认真地算错，不是那种一看就知道在瞎编的错。”
“这个东西，是我们目前的模型最缺的。”
那个戴眼镜的男人放下了刀叉，慢慢地开口。
“邱总，我其实一直有个问题想请教。”
“GPT-3到GPT-3.5中间这一跳，到底关键是跳在哪儿的？”
“外面现在一提就是RLHF，好像那一套人类反馈就是所有答案。”
“但我总觉得没那么简单。”
邱明丽笑了一下。
“你这个问题，问到点子上了。”
“RLHF这几个字，最近被炒得有点太凶了。”
他用筷子头在桌布上虚划了一下。
“GPT-3到GPT-3.5，真正那一跳，不是RLHF。”
“是代码。”
桌上有人愣了一下。
“代码？”
邱明丽点头。
“OpenAI中间悄悄干了一件事。”
“他们在GPT-3的底座上，又灌了一轮超大规模的代码预训练，内部叫-davinci-002。”
“GitHub上能扒的高质量代码，加上一部分自然语言和代码混在一起的数据，一锅炖进去。”
“灌完这一轮出来，模型的推理能力莫名其妙地就起来了。”
“不光是会写代码了，你让它做数学题、让它做多步逻辑推理、让它分析一段很长的论证，它突然就会想了。
-->>(第3/4页)（本章未完，请点击下一页继续阅读）