吧。”
在0.5B的模型上进行微调,还能需要多久呢?
“这个微调出来的模型,可以把上面大部分步骤都打包进去,新的架构就变成这样。”
赵文渊在刚才的架构图正下方又画了一个新的架构图:
采样,模型,动作。
梦瑶的心猛地一跳,问道:“一次模型运算要多久?”
“几百毫秒吧。”赵文渊说道,然后不等梦瑶和詹想失望,又补充道,“不过我们最近恰好在研发一个新的模型架构,叫豆汁儿。”
“豆汁儿?”梦瑶和詹想重复了一遍。
两人都在京城生活多年,当然知道这是什么。
把模型都命名成食物的名字,这位赵总还挺恶趣味。
赵文渊不知道两位梦脑科技的高管把这个锅安在了自己头上——名字明明都是韩总起的。
他接着说道:“这是我受到系统一、系统二理论启发想出来的架构,目的就是让模型以系统一的模式进行运算。如果条件合适,应该可以把单次运算时间控制在五十毫秒以内。”
五十毫秒,五十毫秒。
梦瑶默念了两遍。
如果是这个速度,再加上采样和电信号到设备的时间,可能真的能做到两百毫秒。
“那我们快试试!”梦瑶说道。
赵文渊点了点头:“第一步的训练一到位,我们就可以进行这一步了。”
两个阶段的实现方案都讨论完了,双方也对接下来的工作有了一定预期。赵文渊起身和梦瑶、詹想分别握了握手,说道:“期待梦脑的朋友们下个星期入驻。”
再次接触韩路一和赵文渊——尤其是赵文渊——之后,梦瑶对起源的科研实力有了新的认识。
也许凭借他们的帮助,梦脑科技真的能突破现在的瓶颈,把研究推进到下一个阶段。
到了这个时候,梦瑶对于起源可能会后续强制收购梦脑科技,或者影响研发、落地路线,依然怀着警惕;但同时她也意识到,这次投资给梦脑科技带来的,恐怕远不止四千万的研发运营资金那么简单。
一个人工智能大厂能够带来的科研能力、产品落地能力,有可能比梦瑶一开始想象的还要强大得多。
梦瑶正要告辞,赵文渊突然说道:“梦总,我这里还有最后一个问题想问一下。”
“赵总您讲。”
赵文渊说道:“你们的数据现在存在哪?如果你们可以把数据通过安全的方式共享过来,我想尽快开始第一轮训练,运气好的话,下周一就能有结果了。”
“下周一?”梦瑶惊讶出声。
赵文渊解释道:“刚才我们讨论的,第一轮先跑个五亿参数的模型。如果是这个参数量,直接用汤圆的训练框架先跑一遍,我们现在还有一个千卡集群可以机动,第一轮预训练两三天应该就能出结果,也就是下周一或者周二。”
梦瑶和詹想对视了一眼,都没想到赵文渊这么着急。
而且,千卡集群从赵文渊嘴里轻而易举地说出来,他们又一次从侧面感受到了起源的实力。
赵文渊笑了一下,说道:“现在是周五了,我们要过周末,我可舍不得让计算集群休息,还是尽快给他们安排上任务最好。”
这其实是他的玩笑话。现在起源的算力这么紧张,计算集群怎么也轮不上休息;即使没有梦脑科技的活,也有其他任务要跑呢。
“那我们一会儿去跑一趟吧,把数据硬盘和备份都带过来。反正本来周一也要搬过来了。”梦瑶说道。
赵文渊笑眯眯地看着她说道:“那真是麻烦梦总了。”他语气里全是对数据的期待,全没有一点儿抱歉的意思。
……
-->>(第2/3页)(本章未完,请点击下一页继续阅读)