解决上述的dead ReLU现象, 让负数区域也会梯度消失;. 理论上Leaky ReLU 是优于ReLU的,但是实际操作中,并不一定。 2.4、PReLU(parametric ReLU).
確定! 回上一頁