任少卿的第一反应是脱口而出的。

        “计算量会爆炸。”

        紧接着他的眉头皱成了川字，

        “而且这不符合逻辑。如果不靠卷积的滑动窗口，也不靠循环网络的先后顺序，模型怎么知道这句话的语序？'我爱你'和'你爱我'，在这种每个位置同时交互的结构里，权重会变得完全一样，位置信息彻底丢失了！”

        顾屿眼底透出赞赏。

        不愧是任少卿，立刻就捏住了Self-AttentiOn最致命的七寸——位置编码。

        但他没有立刻解答，只是微微一笑：

        “对。”

        顾屿点头，毫不意外。

        “十二个字，每个字和其他十一个字交互，就是十二乘以十二，一百四十四次运算。如果是一千个字呢？一百万次。一万个字呢？一亿次。复杂度是字数的平方。”

        他看着任少卿。

  The content is not finished, continue reading on the next page