他愣住的原因只是因为……刚才他的脑子里毫无征兆地冒出来一些更深的东西。
【当网络宽到极限的时候，不再被看成一堆死板的旋钮，而是化作了一片连续的“概率分布”】
【每一个神经元，都成了这片分布里的一粒尘埃。】
【训练也不再是苦哈哈地一个个拧旋钮，而是这一整片分布，在一个叫 Wasserstein空间的几何世界里，顺着最省力的方向流动。】
这是把训练直接写成了一道描述质量如何流动的偏微分方程啊。
而顺着这道方程往下，那道卡了无数人从懒惰到特征学习的坎，竟隐隐约约露出了一点能绕过去的缝。
这才是李东懵逼的原因，他立刻就反应了过来……
这是姚先生脑子里的思路，是姚先生那些还没来得及说出口、甚至自己都未必理顺了的灵感。
它们被薪火相传进阶版的效果，塞进了李东的记忆宫殿里。
可紧接着李东又觉得不对劲。
刚才他坐在底下听，姚先生讲了那麽久，他脑子里也只是把旧东西串了串，半点新的没冒出来。
偏偏是他喃喃问了那一句、姚先生回了他那一句之後。
这股灵感才出现的。
“不会吧……”
“难道非得我开口问才能……触发这个效果？”
他越想越觉得是这个理。
於是李东抬起头，有些抱歉地，看了一眼教室里那一张张还懵着的脸。
对不住了，各位。
接下来我要干的这些事，真不是我自己想这麽干的。
……
於是在智班这一屋子人的眼皮子底下……
李东自打问完头一个问题以後，就完全停不下来了。
“姚先生，那顺着这个往下想。”
“要是干脆别盯着一个个参数看了，把整张网络拉到无限宽，看成一片连续的分布，训练是不是就能看作这片分布的演化？”
姚先生握着粉笔的手，微微一顿。
他没料到，这小子一张口，直接切到了平均场理论的腹地。
“……可以这麽看。”
他眼里也透出了光。
“把训练写成分布的流动，那你紧接着就会撞上一个问题，它顺着什麽尺度在流动？”
“顺着最省力的方向呗。”
李东几乎是脱口而出。
“可省力得有个尺度，寻常的欧氏距离不顶用，得换一种能丈量两片概率分布远近的法子……”
“最优传输给的度量尺度。”
姚先生接了下去，语速也快了几分。
“拿 Wasserstein距离当尺度，这片分布的流动，就成了一道最优传输空间里的梯度流。”
“再往下一落地，你就得到一道偏微分方程。”
“连续性方程！”
两个人几乎是同时说出了这五个字。
UC小说网_m.shukugu.com