程团队几个月时间的工作做完了,同时消耗掉六百多点精力。
这么看来,今晚没办法继续肝了;但在视界如此给力的情况下,只要规划好精力分配,一个月内把所有算子适配都做完完全可行。
韩路一满意地点了点头,手动在电脑上敲上提交命令。
git add .&& git commit -m "FusedAttentionBackward adapter completed"&& git push
回车。
下班。
……
在韩路一下楼离开办公室的同时,十三楼的人工智能基础设施组还有不少人在加班。
江松然今天开组会时已把接下来的计划传达过了:全力做L100的推理适配。
全组压力都很大。
给国产卡做算子适配,这在全国乃至全世界都是最前沿的工作。
这种工作最不敢保证交付时间:都是没人做过的东西,你根本没办法预测会在什么地方冒出个填不平的大坑。
但江松然说话的语气很笃定。虽然没说明确时间线,大家都感觉到了他的决心。
任务分配到人,每个人负责几个算子,按优先级从高到低做;只要求功能实现,先不做性能调优,做完就提交评审,然后再做下一个。
工作量很大,所以不少人都自愿留下来加班。
范小天是其中一个。
源智基础设施团队的高级工程师,薪水拿得不低,但他不是为了钱来的。
他不一样,他是为了理想。
毕竟,一个人如果靠英伟达的股票已经实现了财务自由,接下来的工作不去追求理想,又去追求什么呢?
当然,范小天一般不会把这句话说出来。
因为听起来太欠揍了。
但他确实是组里最资深、最有话语权的人之一。
原因很简单:他以前在英伟达做的就是类似工作——给大模型训练框架里的内核(Kernal)做适配,做性能分析(Profiling)工具。
可也正因为这份履历,他对公司现在的方向不太看好。
太急功近利了。
太想毕其功于一役了。
在硬件上做适配、做调优,和做互联网不一样。
这里需要的不是什么快速迭代、小步快跑;这是一件必须沉下心,慢慢扣、慢慢做的事。
心急吃不了热豆腐。
干起活来很痛苦,这很正常。
今天拿起分析工具一跑,运算效率又波动了,为什么?
不知道。可能是显存访问模式不一样了,可能是寄存器压力不一样了,也可能是编译器展开方式不一样了。
想知道为什么,只能一个一个试过去。
拿着分析数据一点点猜。
所以江松然把训练算子适配的任务压下来时,范小天很不舒服。
但他也能猜到原因。
一定是大老板给的压力太大,把江松然的进度压变形了。
毕竟这么不切实际的任务,不像一个在行业里干了十几年的老兵能派出来的。
大老板可能是不懂,也可能是有投资人那边的压力,还可能是模型做得太好、心态飘了。
反正不管怎样,范小天已经在心里给源智调低了评分。
理想终究是错付了。
摇了摇头,把这些杂念赶出大脑,他在公司提供的链接下单了晚餐外卖,然后开了一听可乐。
哪怕老板再傻逼,活还是要干,毕竟他拿的薪水也不低。
范小天面前的屏幕上,开着江松然共享的算子适
-->>(第3/4页)(本章未完,请点击下一页继续阅读)