任少卿也被卡住了。
他试过各种补救办法。换激活函数,调学习率,加Batbsp;NOrmaliZatiOn。
有些有用,但都治标不治本,网络超过三十层之后精度就开始往下掉,跟没加深是一个样。
在连续失败了将近两个月之后,某天凌晨三点,他趴在键盘上半睡半醒。脑子里突然蹦出来一个念头。
如果不让梯度穿过所有层呢?
如果给它开一条捷径呢?
他一下子坐直了。
思路很简单。
假设网络有两层,输入是X,经过两层运算之后的输出是F(X)。正常做法是直接用F(X)往下传。
但他的想法是,不要让网络去学习F(X)这个完整的映射,而是让它只学习F(X)和X之间的差值,也就是F(X)-X。最终输出变成F(X)+X。
这个“+X”就是捷径。
The content is not finished, continue reading on the next page