回复。
模型回什么,是做模型的人该操心的事。
他只看硬件性能和利用效率。
服务器里存着硅明平时测试用的脚本,能大量生成模型输入,对承载能力做压测。
他没犹豫,运行测试脚本。
监控数值开始变化。
最先跳的是显存利用率。
以前跑开源小模型,硅明自己的算子库连显存都分配不好,七成显存白白空着。
眼下这个数字远远越过30%。
75%……82%……88%……
最后差不多稳在95%。
没检测到回灌压力前,压测脚本还在加大并发。
实时吞吐量已到二十五万词元/秒。
薛兆恒记得,同样的测试上次卡在两万就上不去了。
算力芯片上,真正衡量软件水平的关键指标叫模型算力利用率(Model FLOP Utilization,MFU)。它不直接显示在面板上,因为计算它要用芯片算力的极限值。
若理论上芯片能跑1000 TFLOPS,模型实际只用到200 TFLOPS,MFU就是20%。
跑21B模型,每生成一个词元约需2×21B,也就是大概42 GFLOPs。
二十五万词元每秒对应250000×42 GFLOPs=10500 TFLOPS。
L100理论算力600 TFLOPS,32卡集群就是32×600=19200 TFLOPS。
10500÷19200=54.7%。
54.7%?
薛兆恒心算完,总疑心自己看错了位数。
他打开计算器,又算一遍。
确实是54.7%。
要知道,英伟达最先进的H200,MFU极限也只在60%上下。
这一刻,薛兆恒心跳快得像二十多年前和老婆结婚那晚。
他一直以为L100的路子不对,硅明落到今天这步,是芯片设计败了。
可这一刻他意识到:自己缺的只是一套软件。
有了它,硅明就真成了中国的英伟达。
薛兆恒缓缓起身,回头看向韩路一。韩路一正带着若有若无的笑看他。
“薛总,我没骗你吧?”韩路一说道。
薛兆恒仍能听见胸口剧烈的心跳。
这是这么多年,他离梦想最近的一刻。
算力国产化,真在他手里实现了。
又深呼吸几次,他才开口:“韩总,对不起。”
韩路一尚未答话,薛兆恒又道:“我为刚才的傲慢向您道歉。这套软件的价值比L100大,比硅明大,我竟以为您是个骗子。”
韩路一上前一步,拍拍他肩膀,笑道:“薛总言重了。这样严谨的作风,正是芯片研发最需要的;我还指望你将来带队做出更好的芯片。”
“况且,软硬件缺一不可,说不上谁价值更大。没有L100,软件层也只是空中楼阁。”韩路一给他递了个台阶。
薛兆恒心里却清楚,这层适配软件不是两家合作攻坚出来的,而是源智团队全靠逆向做出来的;能做硅明,自然也能做别家显卡。
真正稀缺的从来不是显卡,而是这种快速完成软件层适配的能力。
硅明被选中,是运气。
几百兆的适配层,U盘传进来不过几秒;可有了这几百兆文件,硅明二十亿的估值怕要翻上一百倍还多。
要知道,全中国都在找突破英伟达体系的国产化替代方案。
中国AI芯片市场规模三年前就已达三千亿。
-->>(第3/4页)(本章未完,请点击下一页继续阅读)