最新网址:m.shukugu.com
中午休息的时候,主会场外的大厅里。人群三三两两的凑在一起,也不知道在讨论些什麽,时不时的还会爆发出一阵的老钱笑声。
李东和唐杰站在大厅一角。
“怎麽样,听出门道没有?”
唐杰端着一杯咖啡问道。
李东:“底层范式全在切变道。”
“眼光够毒的呀。”
唐杰有些诧异的说道。
“那你再往深处琢磨琢磨,这帮巨头为什麽不约而同,非要赶在这个节骨眼上改写技术路线?”
李东看着他:“为什麽?”
“撞上data wall(数据墙)了呗。”
“互联网上那些高质量的预训练语料,github开源代码、arxiv论文库、优质百科,早就被各家用爬虫吸干了。”
“万亿参数规模的模型每年胃口都在变大,但是现在大家都没东西喂了。”
“所以你看今天台上讲的那些套路。”
唐杰教授抬了抬下巴。
“在inference端堆算力,靠慢思考平摊成本,这叫避开数据墙。”
“花重金搞rlhf,弄一套刁钻的reward model去给生成的合成数据打分提纯,靠模型自己左右互搏,这叫虚空造数据。”
“说穿了全是被高质量数据枯竭给硬生生逼出来的。”
李东若有所思地点了点头,然後又想到了一个问题。
“那模型架构呢?顶会的paper全公开了,哪怕只照着公式复现他们不怕别人追上吗?”
“paper这玩意儿,只是个前瞻pr。”唐杰笑了笑说道。
“可真正拉开代差的核心壁垒有两样,paper里从来都不会写半个字。”
“一样是infra,另一样是基於真实交互反馈的数据飞轮。”
“这个护城河一旦转起来,後来的人光靠砸钱买算力,是不可能弯道超车的。”
李东沉默了。
就在这时一个头发花白的老者端着咖啡走了过来,隔着几步就笑着打招呼。
“唐!”
唐杰回头一看,也笑着迎上去握手。
来人是kaist的金教授,做具身智能和机器人方向的,前两年起就一直在用唐杰他们开源的视觉-语言大模型跑端侧部署的控制实验,两人在别的学术论坛也碰过几面。
这一回韩国做东道主,金教授热情得不行,张口就邀请唐杰会後去他们实验室里坐一坐。
客套了几句唐杰很自然地介绍道。
“金教授,给您介绍一下,这位是李东教授。”
“李教授,幸会。”金教授礼貌地伸出手,嘴里默念了一遍这个名字。
李东。
这名字,听着有点耳熟。
就在他暗自琢磨的工夫,唐杰补了一句。
“菲尔兹奖得主。”
金教授握着李东的手,整个人都僵住了。
然後连声音都有哦点变调了。
“哦!”
“原来是您呀!”
金教授先前那点矜持早就没了,握着李东的手连晃了好几下,又是久仰,又是掏手机,非要留个联系方式不可。
临走前还说他们基础科学研究院那边一直想请李教授去做场高维流形的报告,这回可算逮着真人了。
金教授前脚刚走,又有人凑了过来。
这回是国内一家大厂智能云那边的何姓负责人。
他先客客气气地同唐杰打了招呼,两边毕竟在b端生态上是同行,所以还是很熟的。
等唐杰把李东介绍给他
最新网址:m.shukugu.com
-->>(第1/3页)(本章未完,请点击下一页继续阅读)