• 首页
  • 上一页
  • 目录
  • 下一页
  • 书架

《首富从看见信息面板开始》

第二百六十八章 得一可安天下
小集群,三十二张,是我们做内部验证的。”

    韩路一点头:“三十二张够了。薛总,不介意带我去机房看看?”

    薛兆恒明白,韩路一还要坚持那套说法。

    他没有理由拒绝;况且到这时,心底也松了一丝。

    L100,真有这么厉害?

    两人起身,一前一后出了办公室。

    ……

    硅明的机房就在隔壁。严格说,那算不上标准机房。

    不过是办公楼里一间房改的。

    没有冷暖风通道,没有湿度控制,也没有静电屏蔽。

    几台服务器机柜立在房间中央,风扇嗡嗡作响。

    机房里空无一人。

    这个点团队早下班了,薛兆恒是为见韩路一特意留下的。

    机房和服务器集群的全部权限,仍在他手里。

    “韩总,您打算怎么验证?”薛兆恒问。

    “你自己也说过,L100集群要跑千亿级大模型,至少得解决两个难题。”

    “对,通信效率和算子库。”薛兆恒点头。

    大类只有两个,里头的技术挑战却数不清。

    单说算子库,英伟达的生态是一点一点磨出来的水磨工夫;不仅算子齐全,还一直在调优。同一个运算交给模型,在英伟达显卡上走CUDA就是快,换别的生态便快不起来。

    L100要做到同样的事,得让软件、硬件架构等多个团队协同,找出最高效的参数。

    CUDA生态的根基,就在这里。

    “这两个难题,我们解决了。”韩路一说得轻描淡写。熟悉他的人一听便知,他是故意的。

    薛兆恒还不熟他的风格,却仍觉得自己被嘲了。

    你知道自己在说什么吗?

    韩路一没理会他的反应,从兜里摸出个U盘。

    U盘是刚才在外头找刘彧要的,原本是空的;说话的工夫,他已用视界把源智私有代码库里的适配文件写了进去。

    薛兆恒只当这是他提前备好的。

    “这是源智团队重写的运行时和算子适配。你可以试着用一下,再去部署一个开源模型。”

    薛兆恒将信将疑:“你是说,源智抛开硅明提供的软件层,完全重写,还能跑到接近CUDA的水平?”

    韩路一没答,只把U盘又往前递了递。

    薛兆恒接过,插进机房中一台连着服务器集群的电脑。

    服务器都在内部局域网里,他不太担心U盘带毒。

    可他实在不信源智有本事做到韩路一说的那些。

    那不是真成中国英伟达了?

    U盘里躺着几个编译后的文件,命名规范,恰好能替换L100软件栈中算子库和运行时的部分。

    甚至不用韩路一指点,薛兆恒就知道该复制到哪儿,随即重启服务器。

    重启时,这些新写入硬盘的二进制文件会被载入内存,供集群调用。

    控制台终端开始滚动日志。

    L100 backend detected.(检测到L100后台)

    runtime initialized.(运行时已初始化)

    kernel fusion enabled.(算子融合已启用)

    memory planner initialized.(显存规划已初始化)

    multi-card scheduler ready.(多卡调度准备就绪)

    服务加载完毕。

    21B模型进入运行状态。

    薛兆恒呼吸微急。

    他没去手动输入问题、看模型

    -->>(第2/4页)(本章未完,请点击下一页继续阅读)
  • 加入书签
  • 上一页
  • 目录
  • 下一页
Copyright shukugu.com 返回首页
顶部