ReLU可解決消失的梯度,但均值大於零非標準化,所以有:Leaky ReLU (LReLU), ELU等嘗試解決。 但ReLU是預設值。其他還有Softplus, BRU(Biological Root Unit)等解決方法 ...
確定! 回上一頁