《我的学习群里全是真大佬》
第401章 李东教授真是“好人”而李东对此,毫无心理负担,毕竟李东也没骗人,只是给他们的路全是真的,但是没有细节而已。
他端着那杯早就凉透的咖啡,在偌大的展厅里,一个挨着一个地薅了过去。
在一家以sora类视频生成闻名的多模态公司展台前,他同对方的预训练负责人,切磋了一下“高维时序数据的流形展开”。
十分锺後,记忆宫殿的书架上多了一份文献。
【抛弃基於像素重建的视频生成范式,将其重构为可交互的world model(世界模型):输入action,自回归预测next state,让agent在隐空间的“世界梦境”里,率先完成对现实物理法则的低成本试错与先验对齐。】
然後又在一家以模型可解释性研究出名的初创实验室那边,他同一位核心研究科学家,探讨了“高维隐空间内的稀疏结构”。
书架上又多了一份……
【模型内部的特征存在严重的polysemanticity,单个神经元往往身兼数职。】
【引入稀疏自编码器作为外挂字典,将纠缠的特征解耦成单义的线性组合,再沿着计算图回路,对大模型的幻觉或越狱行为执行定点编辑。】
再往後,是一位做非自回归生成架构的独角兽cto,聊的是“并行拓扑展开与采样收敛路径”。
灵感再次+1
【打破语言模型从左至右next-token prediction的强制因果约束。】
【将全局序列视为高斯噪声,引入diffusion架构全序列并行去噪,在迭代采样路径中,赋予模型在隐空间内反悔与自我纠错的非马尔可夫演化能力。】
一圈聊下来,记忆宫殿大厅里的临时书架,已经密密麻麻堆满了。
李东站在书架前,望着那一份份字迹崭新的文献,由衷地发出了一声感叹。
这些开源布道者,真是大好人啊。
而与此同时,展厅的各个角落里。
那些刚同李东教授做完深潜级技术交流的各路大佬,也都在心里发出了同一声感叹。
李东教授,真是个开源先驱的好人啊。
……
vip休息室的门口。
凯利、朗、哈特,三个人并排站着,谁也没有说话。
他们就这麽眼睁睁地看着,李东从算力芯片生态的展台,溜达到头部云厂商的展台。
前一刻还在同他们竞品家的资深研究员谈笑风生,下一刻就同他们战略合作夥伴家的技术副总裁相见恨晚。
全场上下,凡是工牌上印着scientist(科学家)或者engineer(工程师)字样的核心高管,几乎被他一对一深聊了个遍。
而且每聊完一个,那些人脸上都会浮现出一种拿到神级paper一作般的潮红。
三个人的心,一点一点地往下沉。
也不知道,这帮家夥背地里又掏出手机给自家的算力集群下了多少调参指令了。
哈特低头看了一眼手机上的航班追踪软件。
地图上那三个小小的飞机图标,才刚刚飞过白令海峡。
凯利也没有说话,只是再一次拨通了那个号码,对着听筒吼道。
“雅各布,马上把pre-training组全员拉进线上会!”
“在飞机落地前,把李东教授开源仓库里的每一行代码连带着底层算子,全给我逐行盘一遍!”
UC小说网_m.shukugu.com