解決Dead ReLU Problem,提出了將ReLU 的前半段設為ax 而非0,a=0.01,值負數時,梯度不會為0; 實際操作當中,也沒有完全證明Leaky ReLU 總是好於ReLU.
確定! 回上一頁