任少卿也被卡住了。

        他试过各种补救办法。换激活函数，调学习率，加Batbsp;NOrmaliZatiOn。

        有些有用，但都治标不治本，网络超过三十层之后精度就开始往下掉，跟没加深是一个样。

        在连续失败了将近两个月之后，某天凌晨三点，他趴在键盘上半睡半醒。脑子里突然蹦出来一个念头。

        如果不让梯度穿过所有层呢？

        如果给它开一条捷径呢？

        他一下子坐直了。

        思路很简单。

        假设网络有两层，输入是X，经过两层运算之后的输出是F(X)。正常做法是直接用F(X)往下传。

        但他的想法是，不要让网络去学习F(X)这个完整的映射，而是让它只学习F(X)和X之间的差值，也就是F(X)-X。最终输出变成F(X)+X。

        这个“+X”就是捷径。

  The content is not finished, continue reading on the next page