网络组收到。”
“监控平台准备完成。”
“开始上电。”
随着一声声指令下达,一排排指示灯从远处亮起。
绿光像潮水一样,从第一排机柜一直蔓延到最后一排。
低沉的风声和水泵声渐渐变大,像一头沉睡的巨兽正在醒来。
江松然站在监控屏前,盯着上面的数字。
供电正常。
温度正常。
液冷流速正常。
单卡自检正常。
第一轮测试很顺利。
张彪松了口气,旁边几个运维组的人也忍不住交换了一下眼神。
但江松然知道,真正的挑战才刚开始。
之前的五百卡跑在同一个集群里,现在八千一百九十二张卡可以分成十六个集群,每个上限五百一十二张卡。
这次布线,能不能把新的十六个集群都提到和老集群一样的效率?甚至,还能不能扩大成更大的集群?
以前没这么多卡,没法试;这次可以试试了。
江松然在机房控制终端前坐下,开始压力测试。
他没一上来就跑五一二卡,而是先从八卡开始。
一般八张显卡放在一台服务器上,也叫一个节点;这八张卡之间的通信叫节点内通信,速度更快。
每个机柜有八台服务器。
五一二卡就是八个机柜。
从节点内通信到节点间通信,再到机柜间通信,每一步都是难度升级。
随着测试进入五一二卡,监控屏幕上的曲线已不是平滑上涨,能看到斜率变缓的趋势。
看了一会儿监控,江松然更改设置,把两个五一二卡集群并在一起。
新任务下发。
这一次,监控屏上的曲线明显变动,延迟迅速上升。
监控屏上出现一片红色。
“失败了啊——”江松然苦笑了一声。
这其实在预料之中。
大型显卡集群需要从硬件到软件再到通信协议,各层级都优化才能实现。
源智的L100集群现在用的是东拼西凑来的各种开源技术,还没来得及做任何优化。
能达到五一二卡的集群规模已经谢天谢地;想在什么改动都不做的情况下去冲千卡,只能坠机收尾。
韩路一收回视界,满眼红光从视野里消失。
视界定位的结论是:注意力层之后的归约通信,几个任务分片同时撞上同一批物理链路,触发了跨排链路堵塞。
他正准备开口,江松然先说话了。
“通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说,“你们看,每次拥塞都在注意力层之后;几个分片同时跑归约运算,一起发到跨排链路上,所以每个尖峰都在注意力层后面。”
赵文渊抱着手站在旁边,开口问:“是因为通信协议?”
“是啊,是因为通信协议。”江松然确认道。
随后他转向韩路一,语气遗憾:“韩总,现在用的通信模式在五百卡已经是上限了。”
江松然和赵文渊得出了和韩路一一样的结论。
区别在于:韩路一是开挂看出来的,视界直接帮他定位到数据阻塞处,也给出了原因。
江松然和赵文渊却是凭多年实战经验和技术理解得出的结论。
顶级技术专家的含金量,在这里就体现出来了。
人才虽然贵,但贵有贵的道理。
韩路一暗自点头。
视界再厉害,他也只是一个人,不可能自己攻克所有技术难关。
团队里有了赵文渊、江松然,以及新加入的薛兆恒这些各
-->>(第2/3页)(本章未完,请点击下一页继续阅读)