不會有Dead ReLU問題; 輸出的均值接近0,zero-centered. 它的一個小問題在於計算量稍大。類似於Leaky ReLU,理論上雖然好於ReLU,但在實際使用中目前並沒有好的證據ELU ...
確定! 回上一頁