城市，才行。
更要命的是，全世界的人都已习惯这座老城市的规矩：写代码时默认CUDA可以调用，默认用英伟达显卡，论文里说的也都是在英伟达上才能跑通的用例。
不用英伟达？那你自己试试吧。
本来能跑的代码，把CUDA依赖删掉，一下冒出一千个错误；修完第一个，又冒出一千个。
模型能跑，不代表跑得快；小模型能跑，不代表大模型能跑；单卡能跑，不代表多卡能跑；多卡能跑，不代表千卡集群能稳定训练几十天。
大模型训练最可怕的地方就在这里：不是做到“能跑”就算成功，还必须稳定、高效、鲁棒。
必须在极端昂贵的算力成本下，把每一张卡的利用率挤压到极致。
否则你花了同样的钱，别人训练只要一个月，你训练却要三个月。
或者同样的训练量，别人只需要一千万，你却要烧掉三千万。
最后模型效果还不一定赶得上。
赵文渊潜心研究了两天，越研究越觉得难做。
他发现最大的问题不是技术上完全不可行；恰恰相反，很多东西理论上都有办法做。
但工程量太大了。
这可不是一个天才程序员闭关三个月就能解决的问题。
他面对的，是一个行业十多年、无数公司、无数开发者、无数论文、无数开源项目共同堆起来的生态。
这就像愚公移山：别说赵文渊一个人，别说源码科技模型组这点人，就算韩路一给他一个上百人的开发团队、花几年时间，可能也只够把最核心的部分做出一个可用版本。
这现实吗？
不现实。
赵文渊狠狠抓了抓头发，看看抓掉的头发，又心疼地摸了摸。
他打开微信，找到一位在谷歌工作时的华人同事。
那位同事当年给TPU做过适配。谷歌自研芯片加自研框架的路线面临同样困境，只是他们当年砸钱砸出来了。
赵文渊写了一条长长的信息，把自己的困境简短说了说。
如何从训练框架层面对新硬件做适配？自研芯片生态早期最难补的短板是什么？如果一个创业团队想在国产AI芯片上跑大模型，有没有现实些的切入方式？
这里面可能涉及保密内容，赵文渊和这位前同事也两年没联系了，本不预期一定收到回复。
没想到半个小时之后，对方回复了。
看到内容，赵文渊气笑了。
回复很简短：
“别想了，没戏。”
原来人真能气笑。
过了一会儿，对方又发来更长一段话。
“TPU这条路不是创业公司能复制的。你们如果只是想省钱，直接买N卡；如果想支持国产芯片，那也该让芯片厂来做生态，你们最多做应用层适配。总不能花几千万美元给硬件厂商补生态吧？”
几千万？美元？朋友，你说保守了。
赵文渊锁了手机，打开电脑，看着自己在飞机上写的那个文档。
《汤圆模型国产算力适配路线图》
有点儿讽刺。
他删掉标题，重新打了一个。
《汤圆模型国产显卡适配评估：暂不具备可行性》
整层办公楼只剩赵文渊一个人。他透过玻璃看向外面的黑夜，玻璃上映出自己的脸，看起来有点陌生。
这时，手机震了一下，屏幕又亮起来。
他低头一看，是韩路一发来的消息。
“文渊，我刚落地海城，周一早晨我们对一下模型训练的进度。”
赵文渊犹豫片刻，一时不知该怎么回韩路一。UC小说网_m.shukugu.com