最新网址:m.shukugu.com
本次测试数据基于当前上线的汤圆0.9版本与新训练完成的汤圆1.0版本进行对比。0.9已经很强了。自4月1日发布至今已近两个月,随着各家陆续发布新模型,汤圆虽不再是全榜单最强,却仍在意图理解、低幻觉率等几个方向霸榜。
在模型迭代飞快、榜单天天轮换的当下,这并不多见。
对汤圆刷榜的质疑声也越来越少。
刚训练完成的1.0与0.9最大的区别,在于加入了更多、逻辑链更长、质量更高的标注数据。
这类数据再次提升了汤圆模型的逻辑能力。
相较0.9,1.0在复杂意图理解、长程任务完成率上又有提高。
这些原本就是汤圆模型的强项。
换句话说,0.9到1.0的演进并非补齐短板,而是把原本就长的长板拉得更长。
除上述之外,汤圆相较其他海外一线模型最强之处,是中文能力。
这源于汤圆后训练中的大量标注数据以中文为主,预训练中文语料占比也高于其他模型。
不少模型虽号称支持多语言,运算和思考过程却常用英语,直到最后输出层才翻译成中文。这样的逻辑自然会导致许多中文语境中的隐藏语义缺失。
韩路一看了看测评结果,问道:“长程任务的提升有这么多?”
“我们在推理侧也用了异步新框架。”赵文渊说道。他没有展开解释,反正一会儿也要讲。
赵文渊随即打开一个长程任务示例,向韩路一展示。
这个任务的输入提示有多简单呢?
其中只有一句话:“写一个Minecraft。”
Minecraft,中文名我的世界,是一款瑞典程序员独立开发的游戏,后来以十亿美元卖给了微软。
它一度是全球销量最高的游戏,全球卖出三亿多份。
这个游戏有趣的地方在于:画面极为简陋,系统却极为复杂。
若对任何一个AI模型说“给我写一个Minecraft”,模型都能输出点儿什么。
一个能移动、能放置、能破坏的像素游戏?还行。
再加上生存系统,游戏人物有饥饿度、健康度,会掉血也会死?这就复杂了一点,汤圆0.9已能做到这种程度。
再叠加生物系统,游戏里有狼、狗、羊、猪,每个动物都有自己的特性和用途?到这一步,已基本超出一般模型能做的范畴。
至于最复杂的红石系统,以现在的模型能力还做不到——至少无法一句话做到。
这个测试任务可以分两面看:一句话的提示词既考验意图理解与信息收集能力,任务本身的复杂程度又挑战模型上下文所能承载的编程极限。
赵文渊双击桌面上的一个可执行文件。
一个游戏窗口弹了出来。
随后,赵文渊示意韩路一自己试玩一下。
韩路一操控游戏中的像素小人探索了一会儿,徒手撸了几棵树,收集了一些木材,接着撞见一个会射箭的野怪,被追着连射几箭,死了。
韩路一回头看了赵文渊一眼,问道:
“完全是用汤圆写出来的?”
“完全是用汤圆写出来的。”赵文渊答道。
“花了多长时间?”
“御风接入模型后,从昨天下午输入指令算起,大概迭代了五六个小时吧。”
一个自运行五六小时的长程任务,不跑偏,还能输出完成度这么高的产品。
而且韩路一体验下来,这个游戏Demo虽能看到Minecraft的影子,却有不少创新设计,并非完全照抄。若直接上传到游戏商城,人们最多会
最新网址:m.shukugu.com
-->>(第1/2页)(本章未完,请点击下一页继续阅读)