• 首页
  • 上一页
  • 目录
  • 下一章
  • 书架

《首富从看见信息面板开始》

第一百八十七章 随身老爷爷
表的粒度重新切了一档,又把缓存策略改成按block复用。

    五分钟后,十六K长上下文测试通过,性能损耗从百分之四十七降到百分之十八。

    第二个是LayerNorm。

    这个算子看着简单,可训练里调用频率极高,慢一点,整条训练链路都会被拖住。韩路一改了两个访存顺序,又让智能体补上向量化读写,性能直接从N卡基准的百分之五十二拉到百分之八十一。

    赵文渊当时看着那两个绿色PASS,心情已经很平静。

    平静得有点麻木。

    问题解决完,韩路一拦住赵文渊想接着工作的势头。

    “停一下,我有别的事要和你商量。”

    赵文渊看向韩路一。

    “Nexus那边开始动作了。我预测他们四月起就不会再给我们提供API接口,所以在那之前,我们得把汤圆1.0做出来,确保汤圆能接住Kaiwu海外版迁移过来的流量。”

    赵文渊听完,在电脑上切了下屏幕,看了看训练进度,对韩路一说:“韩总,时间上有点赶,但应该来得及。只是我比较担心双语适配问题。”

    赵文渊调整坐姿,面向韩路一,谨慎分析起来。

    “预训练问题不大,用的是互联网上的原始数据,本身英文居多。关键是后训练——模型的理解能力主要来自后训练的提升。你现在提供的那批标注质量极高,但都是中文,对英文能力的提升恐怕……”

    赵文渊话没说完,意思却到位了。

    随即,他用期待的眼神看向韩路一:“韩总,不知道英文标注,你能不能——”

    这就是赵文渊的新策略。

    有需求,找韩总。

    别管他怎么解决,反正他能给你解决。

    直接问就完了。

    韩路一看着赵文渊期待的眼神,沉默片刻,才缓缓点头:“……你确保训练进度,标注的事,我来想办法。”

    说完,他起身走了。

    赵文渊赶紧投入工作。

    刚才卡住的难题,韩路一虽然解决了,却是简单粗暴地给出正确答案。至于中间为什么这么做、和其他替代方案比有什么提升,这些都还是空白。

    赵文渊现在要做的,是拿着问题和正确答案,补全中间的答题过程。这些对将来的研究和开发来说,都是至关重要的资料。

    他知道,韩路一不做这些繁琐工作,不是因为不会,而是工作繁忙,没时间。

    把这些资料整理好,就是他赵文渊体现价值的地方。

    况且,给天才解的题写文档,也不是谁都有机会做的啊。

    想到这儿,赵文渊突然抬头,看向韩路一离开的方向。

    奇怪,他刚才的脚步,看起来是不是有点儿沉重?UC小说网_m.shukugu.com

  • 加入书签
  • 上一页
  • 目录
  • 下一章
Copyright shukugu.com 返回首页
顶部