[爆卦]全連接層是什麼?優點缺點精華區懶人包

雖然這篇全連接層鄉民發文沒有被收入到精華區:在全連接層這個話題中,我們另外找到其它相關的精選爆讚文章

在 全連接層產品中有3篇Facebook貼文,粉絲數超過1萬的網紅DeepBelief.ai 深度學習,也在其Facebook貼文中提到, 這陣子幾乎每天都有transformer的新突破,不但能搞定文字,還能跨行搞視覺,甚至還能根據文字產生視覺圖像,但我始終不愛transformer,這篇文章是很標準的transformer擁戴者論點,什麼卷積只能處理局部特徵啦,為了處理遠程依賴動用大尺寸卷積會造成維度災難啦,然後接著安麗自注意力(但...

 同時也有261部Youtube影片,追蹤數超過15萬的網紅中環孫老師 Mr. Central Official,也在其Youtube影片中提到,恒大暴雷,是實現社會主義房住不炒的第一步。房住不炒,是實現全民吃草的第一步。這個道理很簡單,原本就是一群賭客,一個賭場。現在卻派人把賭局全部都砸爛,那請問這些只會賭博的人除了吃草還能幹什麼?所以,接下來生活在中國內陸地區的朋友們,不妨研究一下,哪種草比較有營養。 #地產金融 #中國經濟 #恆大 #債...

全連接層 在 Why Not Reading Instagram 的最讚貼文

2021-09-24 14:09:09

⁡ sw📖 no.200 #靈魂穿越手稿 ————————— 之前在限時動態做過一個問卷,包括我在內將近八成的人都是同時讀好多本書,依據心情的不同文章類型的不同,搭配隨時滿坑滿谷的待讀書單,一起同時並進好幾本書應該是常有的事。然而,「靈魂穿越手稿」是一本翻開第一頁之後,會完全無視手邊正在閱讀的所有...

全連接層 在 鯤腹腳史蹟-張鎧臣de台南 Instagram 的最讚貼文

2021-09-24 18:20:51

【台南州會開幕③】210918 (今天先發三篇就好,活動紀錄和來賓長官明天再發) 今天2021年9月18日,配合「台南市文化資產月-南都天光」,舉行開幕活動,並舉辦市集,展覽匠師的傳統工藝作品,以及開辦工藝手作體驗。 同時今年也是臺灣文化協會一百週年,也邀請了點心擔合唱團表演,演唱美台團歌、台灣...

全連接層 在 鯤腹腳史蹟-張鎧臣de台南 Instagram 的最佳貼文

2021-09-24 18:20:51

【台南州會開幕②】210918 今天2021年9月18日,配合「台南市文化資產月-南都天光」,舉行開幕活動,並舉辦市集,展覽匠師的傳統工藝作品,以及開辦工藝手作體驗。 同時今年也是臺灣文化協會一百週年,也邀請了點心擔合唱團表演,演唱美台團歌、台灣文化協會會歌、台灣自治歌、台灣議會設置請願歌等共十曲...

  • 全連接層 在 DeepBelief.ai 深度學習 Facebook 的最讚貼文

    2021-01-07 18:21:21
    有 50 人按讚

    這陣子幾乎每天都有transformer的新突破,不但能搞定文字,還能跨行搞視覺,甚至還能根據文字產生視覺圖像,但我始終不愛transformer,這篇文章是很標準的transformer擁戴者論點,什麼卷積只能處理局部特徵啦,為了處理遠程依賴動用大尺寸卷積會造成維度災難啦,然後接著安麗自注意力(但都忘了自注意力來自於視覺)有多好能處理全局特徵。

    我要說的是,如果1700億個權重的gpt3的不會有維度災難,那卷積鐵定不會。我不喜歡transformer的最大原因是因為他就只是傳統的全連接層改裝,他不像卷積是權值共享,他純粹就是以權重為基礎的特徵儲存器,所有的神奇結果都來自於他強大的「記憶」能力而非是智力,以及有個喜歡強迫餵食的富爸爸(谷歌臉書或微軟),因為是背的,所以不管再厲害他而,他都是一隻鸚鵡而已,我認為智能的一種特性就是高壓縮比以及高復原能力,所謂高壓縮比指的是人類可以很快的掌握事物相似相異之處(歸納),在腦中存的不是記憶的細節(transformer很擅長),而是抽象的概念理解,這是機器無法辦到的,而高復原能力指的是即使數據缺失或僅有局部,但仍能復原(腦補)全貌,就像帶了口罩或只靠背影我們就能認出熟人,這兩個能力,現在的AI可以透過大規模數據做到後者一部分,但高壓縮比就是卷積所擅長但tranformer沒辦法的部分
    https://mp.weixin.qq.com/s/V43dbrdvJgar1nyi-Uy5GA

  • 全連接層 在 DeepBelief.ai 深度學習 Facebook 的精選貼文

    2020-12-22 14:22:36
    有 54 人按讚

    現在主流的transformer並沒有像cnn,rnn的權值共享,基本上是透過大量全連接層+注意力機制+順序編碼來讓機器狂背答案,其實根本不智能,隱私洩漏只是必然發生的技術債
    https://mp.weixin.qq.com/s/aY65Tl_56XRyd6s467umnQ

  • 全連接層 在 DeepBelief.ai 深度學習 Facebook 的最佳解答

    2020-05-06 23:32:19
    有 89 人按讚

    由谷哥大腦與deepmind攜手推出新論文,透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層,這個被找出來的新結構稱之為EvoNorm,論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。

    Evolving Normalization-Activation Layers
    https://arxiv.org/pdf/2004.02967.pdf

    為了確認這個EvoNorm是否該納入經常性的使用,因此我做了一下簡單的測試,我原本用了mnist數據集,總共做了(1)只有卷積、活化函數與全連接層(2)加入batch normalization (3)加入batch normalization與dropout(4)使用EvaNormB0

    以上皆是卷積層3層,卷積核皆為(3,3),第一層strides為1其餘為2,活化函數為leaky_relu,在優化器為adam,學習速率1e-3,批次大小128,跑了2000個批次的結果。

    從圖上看來,EvoNorm前段比較普普,後段在四種架構中的確是損失最低評價最高。若是利用center loss圖來觀察這幾個模型的決策空間(每個顏色是指0~9數字在特徵空間的分佈,顏色交疊意味著分類錯誤),EvoNorm的中心點比較空洞,這表示分類案例重疊誤判的狀況是最輕微的。

你可能也想看看

搜尋相關網站