的共现结构。”
“要成为世界模型,必须满足三个条件。”章闻铎伸出三根手指,“第一,状态压缩,不同表述在同一世界状态下的内部映射要一致;第二,状态更新,新观测会引起内部变量按可复用规则更新;第三,因果性,对事件的预测不能纯基于相关性,而要给出相应的因果关系。”
赵文渊边听边点头。
这位章博士对世界模型的理解还挺深。他说的这些虽然没有官方学术定论,却都描述了世界模型的主流方向。
第一点说的是,同一件事不管怎么表述,本质一样,就该表示为同样的内部状态。比如“一只猫在桌上”和“桌上有一只猫”,不能因为说法不同,就在内部当成两种表示。
第二点则是说,世界变化时,内部表示要更新,而且更新要遵循规律。这样一来,不必每次面对瞬时状态都从头做大量运算,可以用上一状态和变化量计算下一状态。
第三点是学界当下最热门的课题之一:相关性不代表因果性。夏天冰淇淋销量增加,淹死的小孩也变多,但并不是吃冰淇淋导致小孩被淹死。这是纯语言模型最容易出错的地方。
赵文渊继续提问:“那你怎么验证一个语言模型有没有内部状态?拿不到权重,只能黑盒调用。”
章闻铎嘴角浮起微笑。
这正是他博士论文的课题,现在还没发表,但在面试里牛刀小试完全没问题。
“黑盒很难验证模型是否真有内部状态,最多只能排除低级解释。”章闻铎说,“我会设计状态追踪任务:定义一个隐藏状态,把同一状态用不同叙述方式包装——叙事文本、表格、聊天记录,甚至带噪声的口述,都可以。如果模型真有稳定的内部表示,不同包装下对同一问题的回答应该一致。”
“一致就够了吗?”
“不够。还要加干扰项,再做反事实:问它如果第三步没有发生,最后状态是什么。只有在反事实任务上也稳定,才说明它有某种状态迁移能力。”
赵文渊点点头,章闻铎在世界模型检测这块研究得挺深。
“假设你已经有很好的状态探针,需要一个状态追踪框架。如果要把它作为持续评测指标跑进训练循环,你怎么保证评测信号本身不成为训练目标的一部分?”
赵文渊接着问。
这在机器学习里是个永恒的难题。
在现实世界中同样是永恒的难题。
考核标准固定时,你怎么知道考核对象是学会了知识,还是背过了答案?
章闻铎皱起眉头。
从概念上,他知道这是什么问题。
但他从没处理过需要循环训练、动态更新的大规模项目,没资源,也没必要。
赵文渊微微一笑。
这是典型的工业界问题,而非学术界问题。
章博士,你要学的东西还很多啊。
章闻铎还在思考,赵文渊看了看表,已经十点五十。
“今天的面试问题就先到这里,还有十分钟,你有什么想问我的?”赵文渊说。
章闻铎被打断思路,有点不甘心,但一时确实想不出可行的答案,只能强行把思维从问题里拽出来。
面试多了,章闻铎也有自己的“对面试官问题集”,直接抽题来问就行。
“贵单位现在有多少人?”
赵文渊说:“在京十五人,在招岗位十五个,最终会有三十名研究员,另有其他行政岗位。”
“你们的可用算力有多少?”
“算力全部是自有集群,现在有十多个五百卡集群,机房在张家口。”赵文渊回答。
至于这些集群其实都是国产卡、用不了CUDA体系这些事,赵文渊没说
-->>(第3/4页)(本章未完,请点击下一页继续阅读)