雖然這篇mnist數據集鄉民發文沒有被收入到精華區:在mnist數據集這個話題中,我們另外找到其它相關的精選爆讚文章
在 mnist數據集產品中有3篇Facebook貼文,粉絲數超過1萬的網紅DeepBelief.ai 深度學習,也在其Facebook貼文中提到, 由谷哥大腦與deepmind攜手推出新論文,透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層,這個被找出來的新結構稱之為EvoNorm,論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。 Evolving Normalization-Activation La...
mnist數據集 在 DeepBelief.ai 深度學習 Facebook 的最佳貼文
由谷哥大腦與deepmind攜手推出新論文,透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層,這個被找出來的新結構稱之為EvoNorm,論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。
Evolving Normalization-Activation Layers
https://arxiv.org/pdf/2004.02967.pdf
為了確認這個EvoNorm是否該納入經常性的使用,因此我做了一下簡單的測試,我原本用了mnist數據集,總共做了(1)只有卷積、活化函數與全連接層(2)加入batch normalization (3)加入batch normalization與dropout(4)使用EvaNormB0
以上皆是卷積層3層,卷積核皆為(3,3),第一層strides為1其餘為2,活化函數為leaky_relu,在優化器為adam,學習速率1e-3,批次大小128,跑了2000個批次的結果。
從圖上看來,EvoNorm前段比較普普,後段在四種架構中的確是損失最低評價最高。若是利用center loss圖來觀察這幾個模型的決策空間(每個顏色是指0~9數字在特徵空間的分佈,顏色交疊意味著分類錯誤),EvoNorm的中心點比較空洞,這表示分類案例重疊誤判的狀況是最輕微的。
mnist數據集 在 DeepBelief.ai 深度學習 Facebook 的精選貼文
其實這也意味著像是mnist以及cifar10這種又小又單純的數據集,隨便作都能高分,根本不適合研究用
mnist數據集 在 DeepBelief.ai 深度學習 Facebook 的最讚貼文
Mnist手寫數字數據集,算是深度學習流傳已久的數據集,到現在像deepmind許多前沿的研究也都是使用來做練習,但是mnist 28*28灰階圖片能夠反映真實嗎?當然不能,所以有人就做了mnist的改進版,fashion Mnist轟動,因為它結構做的完全依樣,手邊以mnist為基礎開發的模型幾乎不需要修改即可套用。
https://www.oschina.net/p/fashion-mnist