Leaky Relu 函数. 为了解决relu函数z<0时的问题出现了Leaky ReLU函数,该函数保证在z<0的时候,梯度仍然不为0。 ReLU的前半段设为αz而非0,通常α=0.01.
確定! 回上一頁