间平移不变性的?」
「这就是他最厉害的地方!」
「本没有在算子层面做任何复杂的几何证明,他只是对数据进行了随机裁剪和镜像翻转,然後用了两张英伟达的显卡,靠着算力,让模型在庞大的数据洪流中自己学会了空间不变性!」
「马斯克,你明白这意味着什麽吗?我们一直在做的游戏AI,那个困扰我们许久的视觉输入瓶颈,现在有了解决办法了!」
「等等,哈萨比斯,你确定这个QInet跑出的数据是对的?」
「评测伺服器没有作弊的可能,那是李教授的团队多次验证後的结果。」
「这个世界上总有一些怪物,他们能看到我们看不到的盲区,我认为漆昊就是这样的人。」
「有意思,太有意思了。」马斯克想着他的汽车和火箭,心中的火苗逐渐热烈了起来。
加州山景城,谷歌总部的一间实验室里。
这里是刚刚成立不久,被外界寄予厚望的谷歌大脑项目基地。
伺服器排气带来的燥热总是围绕着这个地方,此时数十个监控屏幕上正飞快划过一行行数据流。
——
项目负责人吴恩达正与谷歌架构师杰夫并肩站在一起,看着他们那引以为傲的分布式系统跑出的成果。
为了让神经网络学会从油管视频中自动识别出猫的特徵,他们动用了谷歌的伺服器资源,拼凑出了一个拥有达2000个CPU核心的庞大集群。
「杰夫,虽然无监督预训练的参数调整非常繁琐,但看着这个拥有十亿级参数的模型开始在庞大的集群上收敛,我真的觉得,我们正在接近真正的人工智慧。」吴恩达骄傲地说。
然而,还没等杰夫点头赞同,吴恩达手机震动了起来。
当他滑开锁屏,看到了十几封来自史丹福大学实验室学生以及谷歌内部AI研究员们相继转发过来的ICCV现场速报。
「怎麽了,难道是哪里的分布式节点又发生内存溢出了?」杰夫察觉到了老友的异样,半开玩笑地凑了过来。
「杰夫,不是溢出。」吴恩达将手机屏幕递到了杰夫面前,「刚刚从巴塞隆纳传来的消息,今年的ImageNet挑战赛结果出炉了,有人用卷积神经网络,把错误率直接干到了15%。」
「15%?!"
即便是见惯了各种先进技术的杰夫在听到这个数字时,也惊讶了。
「是哪个国家实验室?是BM那帮家夥用超级计算机跑出来的?」杰夫眉头紧锁,脑海里瞬间闪过全球顶尖算力中心的名单。
「不,是一个来自华国的年轻数学学者,叫漆昊,他的模型叫QInt。
「他没有使用超级计算机集群,甚至没有动用任何大型伺服器,他只用了两张英伟达的商用显卡。」
实验室里顿时陷入了死一般的寂静。
吴恩达现在内心复杂极了。
作为早在2008年就撰写论文极力倡导利用GPU进行大规模神经网络训练的先驱,他当初在加入谷歌後,曾极力向高层推荐GPU路线。
然而,在谷歌工程文化中,CPU才是包治百病那个选择。
谷歌拥有世界上最庞大最成熟的CPU闲置集群,在庞大的工程惯性下,谷歌大脑项目最终还是选择了用2000个CPU核心来堆叠参数。
「杰夫,我之前就说过,在处理神经网络这种本质上是高并发高密度矩阵乘法的运算时,CPU那庞大的控制单元就是灾难。」
吴恩达忍不住叹了口气,既有对自己理论被证实的欣慰,又有眼睁睁看着首发红利被旁人夺走的复杂情绪。
「实话说,和QInet相比,我们现在的这个集
-->>(第3/5页)(本章未完,请点击下一页继续阅读)