西早晚都得接触，就算不懂原理，也要了解个大概。
所以他举起手，动作像个在课堂上提问的小学生。
赵文渊看看张彪：“怎么了？”
“什么叫退火？”张彪问。
“退火就是——”赵文渊想了想，“Annealing。”
张彪头上写满了问号：你这解释和没解释有什么区别？
韩路一在旁边笑了一声，开口解释：“退火本来是冶金里的术语，因为形象，模型训练时也借鉴了过来。”
张彪想了想，说：“就是铁匠打铁，往水里“嗤”的那一下？”
赵文渊纠正：“你说的那个是Quenching，中文叫淬火，要的是急速冷却。退火不一样，是慢慢冷却。”
韩路一说：“不用纠结这个，就是个比喻，差不多就是那个意思。”
然后韩路一从张彪手里拿过笔记本和圆珠笔，边画边说：“咱们说过，模型训练分为预训练和后训练。但在预训练的最后阶段，还有一个特殊阶段，就是退火。”
说到这儿，韩路一已经在本子上画出一个简单示意图，用笔在其中一个地方点了一下。
“在这里，前面喂的数据已经足够多、足够杂了，但都是些背景知识。想让模型的基础能力提升，这个阶段要单独给很多高质量语料，比如经过筛选的代码库、文学出版物之类。”
韩路一画完，觉得解释得似乎还不够通俗，于是又加了一句：“如果说一开始的阶段是从小学到高二上课学知识，现在就是高三复习刷真题。不是什么都学，而是只学最经典、最有代表性的题。”
然后他把笔记本转回给张彪。
张彪接过笔记本，对韩路一举的例子并没有什么感同身受——他没刷过真题。
但他感觉自己这一回听两个高材生讨论，已经不像以前那么一头雾水了。
“这个阶段一般耗时比较短。”韩路一说完，转向赵文渊，“你预计还需要多久？”
赵文渊伸出一只手：“最慢最慢，五天就够了。”
然后他把手收回去，端起拿铁喝了一口。
“退火数据是我和团队之前就准备好的，三千万条高质量代码片段，一批精选的各领域书籍和学术论文。”
“原因呢？”韩路一问，“是大年初一修了那次数据问题之后，曲线更稳了？”
“那是一部分。”赵文渊点头，“主要原因是您前面写的那套清洗规则收益比预期高，原始数据质量显著高于业内标准。无效数据少了以后，同样的训练步数，实际有效学习效率高很多。”
韩路一点了点头：视哥出品，让人放心。
赵文渊说着，拿出手机，调出一张曲线图。
“这是修正前后的对比。之前我担心最后阶段会震荡，所以留了比较大的冗余。但现在看，没有必要，可以直接上退火数据。”
韩路一看着曲线，没有立刻说话。
赵文渊继续说：“退火结束后，我们可以先做一轮基础能力评测，代码、数学、中文理解、长上下文，还有通用知识，都跑一遍。只要底座能力过线，就可以进入后训练，到时候标注数据才开始发力。”
“不要只看公开榜单。”韩路一说，“评测集要分开两层：一层是对外可比较的基础能力，另一层是我们自己的产品前置任务。”
他说着把身子往前倾了倾：“和一般的研究机构不一样，我们做汤圆不是为了发论文。御风、开物，我们已经有了真实的应用场景，这是我们的优势。一定要确保汤圆有这方面的潜力。”
赵文渊一愣。确实，他没考虑到和产品结合的这个方面。
他以前在研究院的时候，做研究就是做研究
-->>(第2/3页)（本章未完，请点击下一页继续阅读）