以为这是个独立游戏仿品,绝不会想到它由大模型一句话生成,甚至连设计方案都没有。
这意味着汤圆1.0在规划任务时能兼顾发散性与方向约束,对生产级应用意义重大。
“进化得真快啊。”体验完后,韩路一感慨了一句。
赵文渊明白他的意思。
模型进化得太快了。
曾经人们认为AI大模型只能做简单的事,可随着模型不断迭代,它正吃掉越来越多更难的任务。
不同模型的能力差别,有时并不在于多生成几轮或少生成几轮、多花些词元或少花些词元。
这中间隔着做得到与做不到的鸿沟。
韩路一不太确定,汤圆1.0现在能做到的事,究竟有多少模型能做到。
不过,等新加坡人工智能大会的斗兽场打完,汤圆1.0的位置就能见分晓了。
“怎么训练得这么快?”韩路一好奇地问。他印象里,1.0的训练时间相当紧张。
“说到这个,章博士您还记得吧?”
“章闻铎?”韩路一回想了一下,那个有点直、也有点倔的水木博士,他有印象。
“对,多亏了他。”赵文渊说道,“我们按他的想法做了一套新的训练框架,基于异步强化学习,把训练时间缩短了一半。”
韩路一欣慰地点头:人才济济啊。
“不过——”赵文渊忽然说道,“我当时许诺给他二百五十六张L100,去做世界模型研究。”
韩路一疑惑地看向他:“我记得研究院一共才一百多张吧?”
赵文渊嘿嘿一笑:“我这不是来找您了吗?这个成绩值不值得那么多卡?”
好家伙,老赵都学会画空气饼了,这管理水平不得评到A?
韩路一摇了摇头:“最近临港那边富裕出一些算力,张家口这边再拨一个五百卡集群给研究院。”
不是不想多给:用户太多,推理流量压力大,地主家也没有余粮啊。
看罢汤圆1.0的成果,两人又来到赵文渊的院长办公室,把次日专项汇报的材料过了一遍。
国家重大专项的整体流程较长。源智承担的方向是算力国产化,项目全名为《面向千亿级参数模型推理的国产AI加速集群关键技术攻关》。
从源智入选拟立项名单至今已一个多月。按照成长流程,这段时间是研究单位写计划、整理材料、申请补助预算的时间,还不用出成果。
明天的汇报会嘛,说白了就是汇报计划。
汤圆本身有万亿级参数的底子,后训练对显存要求没那么高,千卡集群即可完成。
若要做万亿级参数大模型的预训练,训练集群规模还得再突破。
源智当前总算力有限,在保障大量推理需求的情况下,尚无余力支撑下一轮预训练。
问题在于:若只看千亿级参数,源智已在L100集群上跑通训练侧工作。
攻关已经完成。
明天的会上可以直接展示成果。
“所以韩总,咱们这个汇报该怎么做啊?”赵文渊问道。UC小说网_m.shukugu.com