最新网址：m.shukugu.com
从会议室出来后，韩路一和苏念念一起进了他的办公室。两人正准备就方才那场视频会议商量应对策略。
这时，门外忽然响起一阵急促的敲门声。
“韩总，在吗？”
是赵文渊的声音。
韩路一和苏念念对视一眼。
韩路一走过去开门，赵文渊抱着笔记本电脑站在门外，一脸兴奋。
“韩总！真神了！”他边说边走进来，这才注意到苏念念也在，明显一愣。
随即神色松下来，把笔记本电脑搁在办公桌上。
“正好，苏总也在，一起看看。”赵文渊说，“第一轮训练结果出来了。”
他掀开屏幕，手指在触控板上飞快一划，调出一张表格。
“先看基础数据。”赵文渊切到第一页，“先打个预防针啊：7B的开源基座微调，参数量不到GPT的二十分之一。知识问答、逻辑推理、数学计算这些常规指标，在同量级模型里也就是中游偏上，更没法跟那些几千亿的大家伙比。”
说着，他瞥了韩路一一眼，等着看反应。
“但注意，重点在下一页。”
话落，他把表格翻到第二页。
屏幕上是一张柱状图：横轴排着十几个模型名，纵轴是分数。
韩路一认出了几个：GPT、Mercury、Gemini。
它们旁边的柱子高度相近，分数集中在71到78之间。
唯独最右边一根浅蓝色柱子单独拔高，明显比其余的都高一截。
这个模型的名字是PX-7B-post_trained-v0.1。
柱顶标着83.7。
赵文渊的声音里压不住兴奋：“这是单看意图理解维度的结果，评测集用IFEval标准框架，再加上我自己设计的深层意图还原测试，一共一千二百道题，覆盖十六个不同场景。”
他用手指点了点那根浅蓝柱子。
“看见了吗？83.7。”
韩路一当然看见了，也留意了第二、第三名。
GPT是78.2。
Gemini是76.9。
他还特意扫了一眼水星的分数——就是刚才瑞恩展示的那个——这一项是74.8。
赵文渊问：“韩总，猜猜哪个是我——不，是咱们训练出来的模型？”
韩路一露出无奈的神情。
都整得这么明显了，我还能猜错？
他指了指水星：“这个？”
苏念念在旁边白了他一眼：这两个人，一个敢问，一个敢猜，她怎么忽然对这家还没成立的新公司没那么有信心了呢？
赵文渊知道他是故意的，嘿嘿一笑，往后翻页，讲起这项意图理解测试。
韩路一很快听明白了。
意图理解，简单来说，就是模型能不能读懂用户真正想要什么。
用户敲进去的字只是表面；表面之下，是处境，是约束，是没说出口的真实需求。
绝大多数模型做的是理解字面意思，再给一个正确却泛泛的回答。
PX-7B却能从同样的输入里读出用户真正想要的东西。
这任务极难，参数量大几十倍的模型都未必做得好。说到底，模型只能学到训练材料里有的东西；而大部分模型拿到的原始数据和标注数据，根本不足以知道用户的真实意图。
只有韩路一提供的标注数据能做到这一点。
这也是PX-7B如此强的原因。
讲完，赵文渊郑重道：“韩总，我做这行这么多年，从没见过一个7B的东西能在任何单项维度上打赢GPT-4，从
最新网址：m.shukugu.com
-->>(第1/3页)（本章未完，请点击下一页继续阅读）