• 首页
  • 上一页
  • 目录
  • 下一页
  • 书架

《首富从看见信息面板开始》

第二百四十四章 他还没看过图吧?
机没问题,小集群也没事;大集群的量上不去,肯定出在集群层面——而且是大集群有、小集群没有的东西。”

    赵文渊注意到了韩路一的举动。

    “韩总。”赵文渊站起身,追过去。

    韩路一已穿戴完,看了赵文渊一眼:“你也穿上,一起来看看。”

    赵文渊赶紧套上鞋套、防静电服,戴好防静电手环,跟着韩路一进了机房。

    刘彧和张彪留在外面,没进去。

    机房里静电防范要求极高,不允许带手机;即便带进去也基本用不了。机房本身要防火防震,里面又有大量金属机柜,天然就是个法拉第笼,手机根本用不上。

    此时在赵文渊看来,眼前只有一排排冰冷的金属机柜,个个长得一模一样。

    可在韩路一眼中,景象完全不同:机柜之间的连接、数据流转,都以不同颜色像水流一样呈现。

    GPU、服务器、交换机、光纤、端口、链路……所有东西都变成一张地图,复杂到超出人的理解能力。

    这图就算拿到别人眼前,也没人看得懂。

    太复杂了。

    可韩路一理解起来毫无障碍。

    他几乎一瞬间就定位到数据阻塞的来源。

    有几组推理组之间的通信出了问题:节点之间没有物理直连,逻辑上却被分在一起;数据从一处绕远路跑到另一处,再绕远路回来。

    看似只是一个小点,可在大模型推理的并行通信里,这种细微差别会被反复放大。

    韩路一开口:“不是模型的问题。”

    赵文渊一愣:韩总,你已经解决了?这么快?

    韩路一回头看了他一眼,发现赵文渊没有要问的意思。

    他随即用对讲机和外面联系。

    “问题在网络拓扑。”韩路一说。

    声音通过对讲机、再经视频传到江松然耳朵里。他马上在电脑上翻找原始网络拓扑图。

    那是他自己设计的,为的是把集群效率打满。

    张彪很快换好衣服,拿着打印好的拓扑图进来。

    图与实际一对比,问题很快显出来。

    江松然原本的设计,是为降低推理组之间的通信延迟,把几个关键节点尽量放进同一个低延迟域。

    可云垠实际交付时,没有完全按这张图部署。

    他们用了内部更标准、更易维护的方法。

    普通服务器对通信延迟不敏感,这种接法完全没问题;为可维护性做点小牺牲,大家都能容忍。

    可放到大模型场景里,这点小延迟会被放大很多倍。

    单点测试当然没问题,整机测试也没问题——问题出在服务器间的通信。

    江松然的推断其实没错;再给他一点时间,加上赵文渊现场排查,他们应该也能查出来。

    只是没韩路一这么快罢了。

    赵文渊看着两份图,脸色很难看。

    他昨晚查了一整夜:GPU、驱动、配置、算子、服务、调度,全查了;结果问题不在任何他能看到的软件层面。

    偏偏出在机房布线。

    还好韩总亲自来了,赵文渊心想。

    视频那头,江松然咽了口口水——韩总怎么看出来的?他之前是不是连这张原始网络拓扑图都没看过?

    张彪已经迅速叫来现场运维工程师,通过节点间测速确认了问题。

    排查完,修复就容易了。不到十分钟,刘然带着两个人跑过来。

    “韩总,韩总!实在不好意思。”刘然气喘吁吁地说,“不知道你已经到了,不然我肯定全程陪同。听说你这边发现了点问题?”

    张彪上前解释。

    刘然脸

    -->>(第2/3页)(本章未完,请点击下一页继续阅读)
  • 加入书签
  • 上一页
  • 目录
  • 下一页
Copyright shukugu.com 返回首页
顶部