最新网址：m.shukugu.com
郑晓波这话一出口，刘大海便明白，自己不必再多说了。看来，郑总是真懂啊。
这其实不奇怪。执掌鼎盛这样的巨头，总得有两把刷子；哪怕不懂原理，至少也得知道个大概，跟下属沟通的成本才能低不少。
像郑晓波这样的企业高管，对AI行业的关注，甚至不比投资人和从业者少。
Scale AI是硅谷近来最火的AI创业公司之一，可它既不做大模型，也不做AI应用产品，业务只有一项——卖标注数据。
仅凭这一项业务，Scale AI的估值就做到了几百亿美金。
也好。既然郑总懂，刘大海就不用从头讲起，直接上干货。
“去年六月，微软研究院发过一篇论文，叫《Textbooks Are All You Need》（你只需要教科书）。他们用精心筛选的教科书级数据，训练出一个十三亿（1.3B）参数的小模型，名叫Phi-1。就是这个模型，在代码生成任务上打赢了市面上那些参数量是它十倍、训练数据是它一百倍的大模型。”
程远插话：“刘博士，这是什么意思？”
“这么说吧，当时除了GPT，没有一个模型跑得过它。这个十三亿参数的模型，只用8张A100训练了4天，折算下来的训练成本也就几万美元，就这么点。论文证明了一件事：只要数据质量够高，小模型也能干翻大模型。”
说完，刘大海转向郑晓波。
“这和汤圆的情况完全吻合。7B，也就是七十亿参数，一万条训练数据，在意图理解上打赢了坤元。我猜，他们的秘密武器就是数据质量足够好。”
最近几年，一个新观点正成为AI行业的主流：谁的标注质量高，谁的模型就强。
原因主要是架构近来变化不大，算力的边际效益又在递减，而高质量的数据标注还有很长的进步空间。
问题是，所有人都知道数据标注重要，却没人知道标注质量要高到什么程度才算够。
OpenAI、Anthropic、Meta每年都要在数据标注上砸几十亿美金，模型表现也确实一代比一代强，可进步越来越慢。谁也不知道什么时候会撞墙，更没人知道极限在哪。
不管资本炒得多热，这个行业的从业者都像在一望无际的大海上摸索前行。
直到昨天看到汤圆，刘大海才确信，自己看见了未来的信标。
最后，刘大海说出结论：
“从模型表现倒推，他们的标注精度，恐怕是我从业这些年能想象到的最高水平。”
郑晓波没说话，低头沉思。好一会儿，他才开口：“那他的数据，会是从哪儿来的呢？”
这话一问出来，刘大海和程远都一惊。
郑晓波转向刘大海：“大海，这是你手底下的项目。你先说说，咱们现在的标注大概是什么水平？”
刘大海答道：“咱们的标注大部分自己做，也和中文领域内一些专业标注团队有合作。算成本，大概一条10块到50块钱。但那个汤圆，数据精度一定比我们高得多。”
“成本会高出多少？”郑晓波追问。
“中文领域没什么参考对象，英文领域里，Scale AI的专家级标注应该算最顶级的标注服务。他们请各行业资深专家来标，成本大概七八十美金一条。但按我的经验，汤圆模型用的训练数据，应该还要再高一阶。”
“如果我们想买呢？”
“先不说市场上有没有这种服务。真要估价，一条怎么也得100美金往上。他们说不到1万条，就算1万条，光数据成本就是100万美金。这还只是给7B大的模型做微调；要适配更大的模型，数据量
最新网址：m.shukugu.com
-->>(第1/3页)（本章未完，请点击下一页继续阅读）