• 首页
  • 上一页
  • 目录
  • 下一页
  • 书架

《我的学习群里全是真大佬》

第297章 疑似高能事件,幅度不寻常(三合一)
句。

    “哎,李东。”

    “有些事,你自己心里有数就行。”

    “剩下的,你别管,明白吗?”

    李东点了点头。

    “高老师,我知道。”

    “林总之前和我说过。”

    高稳听见这话,神色一下子放松下来。

    “那就好。”

    “对了,你之前要问我什么?”

    “我现在倒是有很多时间。”

    李东赶紧拿出了攒了两个月的问题,他将笔记放在两个人中间那张小茶几上。

    先简单挑出来前面几条。

    脉冲编码权重在初始化阶段的边界条件他有一个版本号上的疑问,他自己其实查过了,也大致知道答案,他只是想跟高稳确认一下。

    高稳听完,“嗯”了一声,几句话就把那个边界条件给他点透了。

    李东在笔记上勾了一道。

    他又挑出来两条关于稀疏放电模式下数值稳定性的小问题,高稳同样几句话就给他过掉了。每过一条李东都勾上一道。

    到了第六条,李东把笔放下了。

    他抬起头。

    “高老师,下面这一条我自己琢磨过很久,没琢磨明白。”

    高稳挑了挑眉。

    “你说。”

    李东组织了一下措辞。

    他没办法直接把小黑那件事摆出来。

    他只能把这个问题剥到最干净的一层皮,把它装作一个教科书上那种典型的“假设”。

    “高老师,假设啊,假设我这边有这么一套SNN。”

    “它在初始喂了固定的几份语料以后,就再没从外界拿过一行新数据。”

    “按我们现在这个领域的主流理解,它的模型参数应该停在那儿才对。”

    “可它没停。”

    “它表征“内部演化'的指标,自己往上爬了一截。 ”

    “并且这个爬升不是噪声。 ”

    “它对应的,是真的多出来了一些它原本不会的、可解释的能力。 ”

    “高老师,这种情况,从动力学上讲,怎么解释? ”

    高稳听完,沉默了大概有七八秒。

    然后抬起头,盯着李东看了半晌。

    “小子。 ”

    “你这个假设……”

    “还挺有意思。 ”

    李东心里立马一紧。

    他赶紧装出一副若无其事的样子,端起桌上那只一次性纸杯喝了口水。

    高稳并没有继续追问,只是慢慢开口。

    “如果真有你说的这种情况,我先给你说一个我自己的猜测。 ”

    高稳伸手在面前那张白纸上,画了一个简单的小框。

    “你看啊,我们现在主流这一套大模型,走的是Transformer加scaling的路。 ”“它的学习,是被关在训练这个阶段里的。 ”

    “训练完了,权重一冻,模型就死了。 ”

    “它推理的时候,参数一根毛都不会动。 ”

    “所以你给它喂完料以后再不动它,它当然停在那儿。 ”

    “可SNN这套不一样。 ”

    高稳在那个小框边上画了一根弯弯的箭头。

    “SNN底子里是脉冲、时序、突触可塑性。 ”

    “这三个东西,本身就是带活性的。 ”

    “哪怕外面没有新数据进来,只要它内部还在跑脉冲、还在重排时序、还在做局部的那一点权重微调,它就有可能在自己内部.……”

    他停了一下,挑了一个比较小心的词。

    “……整合出一些新的连接

    -->>(第3/7页)(本章未完,请点击下一页继续阅读)
  • 加入书签
  • 上一页
  • 目录
  • 下一页
Copyright shukugu.com 返回首页
顶部