“我的思路反过来。在模型选择下一个tOken之前,先过一道贝叶斯筛。候选tOken的概率分布和训练语料中的事实分布做交叉验证,偏差超过阈值,直接在源头截断,不让它进入生成序列。”
电话那头的笔停了。
安静了很久。
“计算开销呢?每一步都做后验概率计算,推理速度会被拖垮。”
“所以锚定模块不是每一步都触发。”林宇的语速不急不慢,“只有当生成层的困惑度突然飙升——模型自己也'拿不准'的时候——锚定模块才介入。常规生成任务,根本不需要额外计算。”
对面没有声音了。
安静得只剩风声。
林宇低头看了眼屏幕,通话时间还在跳。没断。
“林老师。”
沈一舟再开口的时候,语气跟二十分钟前完全不是一个人。
The content is not finished, continue reading on the next page