最新网址:m.shukugu.com
韩路一意念一动,数据工厂的模型迅速拉近。他不再置身其外观看,而是已经身处其中。
从内部望去,这座工厂极为壮观。
每一个线程块都是一座楼高的机械臂,数量多得一眼望不到头;它们整齐列成阵列,在半空中井然有序地运动,带起的气流让空气都在震颤。
脚下是密密麻麻的传送带,无数发光的数据块高速滑行,偶尔有几个相互碰撞,迸出短暂的电光,随即消散无踪。
头顶则是层叠的共享内存储物格,每一格都以惊人的速度吞吐数据,进进出出,像呼吸一样。
整个场景令人震撼。可这么近距离细看,许多不合理之处也变得格外扎眼。
几个巨型计算核心还有不少空位,数据块却被堵在传送带上运不进来,这些核心只能高速空转。
旁边几条传送带明明空着,几个机械臂却把数据一股脑塞向一条已经堆满的传送带;塞不下时,几只机械臂就呆呆悬在半空,一动不动。
用计算机科学的术语说,这就是线程阻塞了。
韩路一观察了一会儿,心里只剩一个念头:
这工厂还能跑起来,也真是难为它了。
视界的数据在眼前浮现:
【当前算子:FusedAttentionBackward】
【目标:完成L100适配,并进行软硬件协同调优】
【当前状态:未适配】
【备份路径:拆分为13个通用算子执行】
【单步耗时:46.8ms】
【显存读写量:理论最优值的5.7倍】
【利用率:31%】
看着这些数据,韩路一眉毛轻轻一挑。
难怪赵文渊和江松然一提到训练就头疼。
推理路径还能靠工程手段投机取巧,训练这边就没那么好糊弄了。
反向算子吞吐拉不上去,L100这辆车明明有跑车的性能,却硬生生跑出了拖拉机的速度。
没关系,让我调调你,调调就好了。
韩路一切换视角,又做了一下视野覆盖。
很快,一条条数据流水线浮现在眼前,顺畅的通路被渲染成蓝色,堵塞的通路则呈刺眼的红色。
有点像在看模拟城市的交通俯瞰视角。
他挥了挥手,几个机械臂重新调整搬运节奏和对准方向,很快,那些红线都变成了浅蓝色。
这下舒服了。
【策略:块内重计算(Block-wise recompute)】
【显存读写下降:37%】
效果出来了。
韩路一手指挥动间,刚才的策略改动已变成优雅的代码,仿佛被一只看不见的手输入到屏幕上的代码编辑器里。
接下来是调整数据块大小。
为了让巨大的数据运算可以在很多显卡的很多计算核心上并行,在进入运算管线之前,原始数据必须按一定规则切分;子计算完成后再合并运算,把结果汇总起来。
数据块要切多大,对芯片工程师和算子工程师来说都是不小的挑战;想找到不大不小正合适的点,只能先用数学方法粗算,再一遍遍做工程验证。
如果做纯数学运算不可以吗?
答案是不可以。
现在的GPU芯片,包括电脑CPU或其他计算核心、手机芯片,采用的都是十纳米上下的制程量级。
像L100,是七纳米制程。
这是什么概念呢?
一根头发丝直径大约七万纳米。也就是说,把一根头发丝横切开来,可以并排放下整整一万根七纳米的晶体管。
最新网址:m.shukugu.com
-->>(第1/4页)(本章未完,请点击下一页继续阅读)