為什麼這篇深度學習實作鄉民發文收入到精華區：因為在深度學習實作這個討論話題中，有許多相關的文章在討論，這篇最有參考價值！作者nk11208z (小魯)看板PC_Shopping標題Re: [情報] 4090接招！AMD ...
深度學習實作 在 Rochelle | 讀書帳 Instagram 的最佳解答
2021-09-10 22:13:51
《自律小技巧》 我真的很熱衷於看各種教你如何自律、學習有效率的內容，尤其最近很常在讀不下書時去看這些。 所以這則貼文就紀錄一下近期看到的我實作很有用的技巧吧~大家可以斟酌服用！ 1.學會進入深度學習模式：現在我們的注意力太常被各種媒介給干擾了，專注做事變成一項難能可貴的能力，所以該如何重新訓練自...
※ 引述《ultra120》之銘言
: 按計劃AMD將於時間11月4日早上4點
: 召開RDNA3新品發布會，預計推出RX 7000系列顯示卡。
: 趕在這之前，疑似Navi 31大核心的RDNA3架構GPU玉照搶先曝光
: 圖中可以看到中間是一顆大的GCD單元，周圍環繞6顆小的MCD單元
: 外界預計晶片面積533mm 2，封裝面積55 x 47.5 mm (2612 mm 2 )。
: 事實上就在昨天AMD CEO已經確認RDNA3 GPU採用5nm，Chiplet小晶片設計
: 有著巨大的性能提升和能效提升
: 爆料預計Navi 31擁有12288個處理器，96MB無限快取
: 搭配GDDR6，其中RX 7900 XTX是24GB 384bit。
: 希望RDNA3能給NVIDIA RTX 40系列造成衝擊
: 最終的性能和售價，我們拭目以待。
: 來源 https://news.mydrivers.com/1/869/869907.htm
: XF編譯 https://www.xfastest.com/thread-268699-1-1.html
: https://i.imgur.com/RTgIWme.png
可是蘇媽的顯卡都有一個很大的問題，就是深度學習，尤其是tensorflow，A卡跑起來問題真
的很大，我覺得老黃現在賣顯卡除了一般玩家外，另一個客群就是深度學習的客群，很多企
業可能不想花更高的成本，跑神經網路
那4090，4080其實就是還不錯的選擇
現在要跑深度學習一定離不開N卡，希望A卡能加油，讓未來的深度學習也能有便宜的A卡用
----
Sent from BePTT on my iPhone 12 Pro
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 106.64.33.163 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1667519641.A.3EC.html
推 FreedomTrail: 蠻難的 不能跑CUDA 又晚發展 註定是條好漢坡 11/04 07:55
推 AreLies: CUDA深耕多年 這部份大概難追了 11/04 07:55
→ AreLies: 早就是NV的形狀惹 11/04 07:56
推 e446582284: 蘇媽主打的是純遊戲玩家吧？ 這次如果定價贏，跑遊戲 11/04 08:01
→ e446582284: 2K也能追上4080，那就很ok，至於4K沒DLSS黑科技，這 11/04 08:01
→ e446582284: 塊玩家少放生也沒差，主力2K+定價贏4080，滿有競爭力 11/04 08:01
→ e446582284: 的 11/04 08:01
推 oopFoo: ROCm的hip就是要CUDA相容，但目前ROCm的毛還很多，相容好 11/04 08:04
→ oopFoo: 的instinct又買不到。AMD真的需要多投資源在Radeon上 11/04 08:06
推 cody880528: 遊戲卡當深度學習卡的市場應該也沒有很大吧(? 11/04 08:12
→ cody880528: 先把遊戲卡跟深度學習卡單獨搞好 避免兩頭空? 11/04 08:12
推 dibblo: amd這塊幾乎放棄了吧，前個月不是有新聞，承認追不上nv, 11/04 08:13
→ dibblo: 就專注遊戲市場 11/04 08:13
→ zzahoward: 問題是遊戲玩家搞Driver問題會森氣氣 11/04 08:13
→ guanluvsquat: DL這塊追也追不上了吧 把能做的地方做好就萬幸了 11/04 08:14
→ zzahoward: 所以低價單就摸摸鼻子買30庫存 高價單就買40系列 11/04 08:14
推 oopFoo: 你看Stable Diffusion多熱門，你radeon不支援，所有美術就 11/04 08:16
→ oopFoo: 全跑去N家了。這塊只會越來越大，A家真的要多投資源 11/04 08:17
推 rock0807: 老黃G80就架構大改要朝這個方向走了，真的有遠見 11/04 08:21
推 csh810317: 深度運算就NV場子 11/04 08:36
推 leviva: 可是各家顯卡評測只會測遊戲，誰知道A卡深度學習怎樣，只 11/04 08:37
→ leviva: 有自己買來測才知道..... 11/04 08:37
推 ingramchen: ML 這塊大宗都會在雲端, 消費性產品沒什麼市場 11/04 08:40
噓 a000000000: rocm最新版的好像改進很多 11/04 08:45
→ a000000000: 老黃不可能讓尼遊戲卡爽跑ML 沒啥意義 11/04 08:46
推 LoveShibeInu: DL/RTX voice/dlss/CUDA加速/nvenc都是我個人願意 11/04 08:49
→ LoveShibeInu: 多付一點錢買相同遊戲性能卡的原因 11/04 08:49
→ friedpig: 遊戲卡爽跑ML的意義喔 綁生態阿 窮學生跟一般想玩玩ai 11/04 08:51
→ friedpig: 的隨便買張便宜的遊戲卡就能跑跑基本的東西了 跟MS玩法 11/04 08:51
→ friedpig: 一樣啊 你習慣這生態以後就綁死了 11/04 08:51
噓 a000000000: 會跑ML的學生市場沒有很大喇 想太多惹 11/04 08:52
→ a000000000: 而且老黃AI卡營收已經快要到一年20b的境界 11/04 08:53
→ a000000000: 大客戶只要到2b的規模一定會想自主開發 11/04 08:54
→ a000000000: 1b的規模在現在要不要自製還有點微妙 2b就不會問惹 11/04 08:55
→ friedpig: 學生又不是賺那小小的卡錢 是養這個人把整個生態系綁著 11/04 08:56
→ friedpig: 在cuda而已 非cuda的ai 開發者到底有多少 11/04 08:56
→ a000000000: 不要小看一年20b的規模R 這擺脫cuda的吸引力很大 11/04 08:57
→ a000000000: 現在是16b喇 按預估如果老黃獨占態勢不變的話 11/04 08:57
→ a000000000: 五年後恐怕會超過40b 半導體各大市場僅次於手機晶片 11/04 08:58
→ a000000000: 所有cloud/ai大戶都在為五年後座準備 11/04 08:58
→ zzahoward: 老黃會開始築專利壁壘 這點倒是不用懷疑 11/04 08:58
→ DEAKUNE: 老黃早轉向了，玩家他不在乎，AI才香 11/04 08:59
→ a000000000: 那不是專利壁壘的問題 老黃賣一片賺十片 11/04 08:59
→ friedpig: 牙膏one api也都盡量去吃cuda豆腐了 不就整個生態系太龐 11/04 09:00
→ friedpig: 大搞到不這樣玩也沒多少人會寫了 各種花式自動轉code 11/04 09:00
→ a000000000: 成本不知道有沒一千鎂的ai卡他要賣上萬鎂 11/04 09:00
→ zzahoward: 他大概會把你自研Certainty equivalent拉高 11/04 09:00
→ a000000000: 現在已經不是玩自動轉code而已惹 花招聽說越來越多 11/04 09:01
→ zzahoward: 專利壁壘可能太過 實際上就是拉高成本脫台錢讓你追 11/04 09:01
→ a000000000: 過陣子大概各大戶會把底下ML工程師workload有沒擺脫 11/04 09:01
→ a000000000: 老黃當績效 11/04 09:01
→ zzahoward: 然後把生態系弄越來越大 讓你擺脫不掉像軟軟那樣 11/04 09:02
→ a000000000: 總之有很多複雜問題 11/04 09:03
→ friedpig: 是各種招 但是軟體問題也沒那麼單純 要解決的成本也不低 11/04 09:03
→ friedpig: 重點是有這樣技能組的人也沒那麼多 11/04 09:03
→ a000000000: 沒辦法保證說老黃一定會廢 因為大軟公司的晶片部門 11/04 09:03
→ a000000000: 塞滿一堆過太爽都在混的人 11/04 09:03
→ a000000000: 尼把績效考核放上來 工程師就會乖乖作惹 獎金問題 11/04 09:04
→ a000000000: 大軟公司在衝的時候會把人關進war room 做完領錢 11/04 09:04
→ zzahoward: 講到晶片部門 媽的剛剛爬文才發現教主以前會推 11/04 09:04
→ a000000000: 一拿就是幾萬鎂 11/04 09:04
推 oopFoo: 你派個小組專門幫stable diffusion，這些開源專案移植， 11/04 09:05
→ oopFoo: 花不了多少錢。市場馬上擴大許多，有時學生不在乎跑得慢 11/04 09:05
→ zzahoward: 可是效率有CUDA這麼好嗎 從頭來過最後回頭的也不少 11/04 09:06
→ oopFoo: 但要能跑。A家花點時間起碼能跑，性能可以以後再說。這塊 11/04 09:06
→ oopFoo: 再不投資，市場真的就全部被搶走 11/04 09:07
→ a000000000: 各大公司晶片部門基本上目標都是三五年後 11/04 09:07
→ zzahoward: 學生不在乎跑得慢 可是市場也不大 商用市場才肥 11/04 09:07
→ a000000000: 而且work load最佳化只有自家知道 老黃沒辦法 11/04 09:07
→ a000000000: 他悶當然認為很有機會跑贏老黃卡 11/04 09:07
→ a000000000: 老黃卡理論能耗效能真要比 其實真的就普普 11/04 09:08
→ zzahoward: 可能要再觀察CUDA舒適圈到底多暖 11/04 09:09
→ a000000000: 我聽G社學長講的 非本人立場 11/04 09:09
推 s1011282: a卡(ROCm)也可以跑tensorflow、pytorch，只是穩不穩就是 11/04 09:09
→ s1011282: 另外一件事情了 11/04 09:09
→ a000000000: 老黃cuda舒適圈其實是enterprise這塊不是cloud惹 11/04 09:09
→ a000000000: enterprise客戶規模不可能自製 完全被綁死 11/04 09:10
→ a000000000: 蘇媽那邊就真的沒啥人能帶大軟專案 11/04 09:11
→ a000000000: 而且比較認真作軟的raja又跑去牙膏自殺 11/04 09:11
→ a000000000: build team不是說尼隨便底下找群人來弄就好 11/04 09:12
→ a000000000: 帶的人搞不清楚狀況 就是先胡搞瞎搞 11/04 09:12
→ a000000000: 外面挖人進來弄也可能走上同一條路 11/04 09:12
→ zzahoward: 這一波人力重整看看蘇嬤要不要順便整理一下組織 11/04 09:15
→ a000000000: 蘇媽策略已經講惹 他跟M軟合作 卡便宜賣 11/04 09:16
→ a000000000: 軟體尼想辦法 11/04 09:16
→ a000000000: M軟也知道自家晶片部門沒幹過大事 跟蘇媽合作省事 11/04 09:17
→ a000000000: 當然這種事情很機掰 蘇媽想偷學 M軟想防 11/04 09:17
→ friedpig: 玩得起的只有那幾間 但是Cloud這部分還得看營收到底怎麼 11/04 09:19
→ zzahoward: M$這兩年錢太多戰場開好多 11/04 09:19
→ friedpig: 分成的 你自家商用的AI能靠自家人努力轉是沒差 但這部分 11/04 09:20
→ friedpig: 到底佔比多大? 客戶的東西不太可能讓你花人來幫忙改 11/04 09:20
→ friedpig: 最後人家還是乖乖跟你租Cuda Server跑Cuda而已 11/04 09:20
→ friedpig: 除非真的能做到100%相容 但很難 11/04 09:21
噓 a000000000: 以前的數據cloud是佔中央八成 11/04 09:21
→ friedpig: 重點是軟體不是無痛上 不是你家的軟體要怎麼幫人家改 11/04 09:21
→ a000000000: 而且大戶像估狗買老黃主要是自用 出租的比例還不高 11/04 09:21
→ a000000000: 當然五年後會怎樣還很難說 11/04 09:22
→ a000000000: 這東西就跟x86轉arm server有點類似 11/04 09:22
→ a000000000: 有的人好轉 有的人難轉 有的人不敢轉 11/04 09:22
→ zzahoward: 軟軟太大惹不同部門都不知道發生啥 11/04 09:22
→ friedpig: 牙膏那邊走過一次了 問題也是蝦雞吧多的 11/04 09:23
→ a000000000: 問題是老黃實在賣太貴惹 蘇媽epyc根本白菜價 11/04 09:23
→ a000000000: 40b真的太大惹 GG幾年前營收才破50b而已 11/04 09:23
→ a000000000: 很難搞還是得搞R 都是$$$$$$ 11/04 09:24
→ zzahoward: 老黃價格、專利兩邊燒讓你做不起來就好了 11/04 09:24
→ friedpig: Complier這塊至少牙膏能力還是比AMD強不少 這條路要走 11/04 09:24
→ friedpig: 說不定還走輸牙膏 11/04 09:24
→ a000000000: 沒 牙膏gpu類效能沒辦法跟蘇媽打 11/04 09:25
→ friedpig: 反正現在連生態都搞不定 根本還沒談到硬體 11/04 09:25
→ a000000000: 牙膏問題已經4完全不同層次惹 11/04 09:26
→ friedpig: 至少牙膏轉Code那邊做的應該是比AMD好不少 11/04 09:26
→ a000000000: 牙膏也是很愛吸血 然後G叔不喜歡主事的raja 11/04 09:27
→ a000000000: 問題不是只有轉code 沒人想養出第二家老黃 11/04 09:27
→ a000000000: 蘇媽遇到大戶姿態都很低 而且沒有吸血紀錄 11/04 09:27
→ friedpig: AMD大起來吃像也沒真的比較好看 算了吧 11/04 09:27
→ a000000000: 牙膏這些年14++++++已經吸到天怒人怨惹 11/04 09:28
→ friedpig: AMD目前只是還不夠大而已 11/04 09:28
→ a000000000: 蘇媽就真的還沒大到可以亂喊價 11/04 09:28
→ friedpig: 但說真的 AMD每次GPU都有夠重本的 成本比人家貴那麼多 11/04 09:29
→ a000000000: 就沒這樣過 所以大戶不會這樣假設 11/04 09:29
→ friedpig: 售價又只能比人家低 11/04 09:29
→ a000000000: 目前跟蘇媽合作的公司幾乎沒聽說過抱怨價格 11/04 09:30
→ a000000000: pc以外喇 11/04 09:30
→ zzahoward: 問題是蘇嬤連遊戲Driver都零零落落 11/04 09:30
→ zzahoward: 搞葛chromium硬體加速問題搞一年XD 11/04 09:31
→ friedpig: 沒辦法 軟體人才對AMD沒啥興趣吧 一堆更好的地方 11/04 09:32
推 peter080808: 專業級深度學習卡售價是20萬 30萬的 11/04 09:34
→ zzahoward: 然後DP會掛驅動直接黑螢幕或Crash好像還是無解 11/04 09:35
→ peter080808: 如果沒有要訓練AI 其實消費級頂級顯卡是夠用 跑AI繪 11/04 09:35
→ peter080808: 圖的可不是人人都有這個錢啊 11/04 09:35
→ friedpig: 老黃積累的軟體壁壘是真的蠻難跨越了 不管是人還是程式 11/04 09:37
推 Rollnmeow: 新的Radeon又不支援ROCm只能買Instinct 11/04 09:43
→ Rollnmeow: 完全看不出AMD還有餘力建立生態系 11/04 09:45
→ friedpig: 眼光只盯著企業大戶了 是好是壞就不知道了 11/04 09:49
→ friedpig: Open source一堆免費人力幫忙Debug是前陣子的流行 11/04 09:50
→ friedpig: 現在回去搞封閉的開發環境到底是好是壞就看結果吧 11/04 09:50
推 Kaids: 深度學習的客群在資料中心，PC玩家除了板上幾隻小貓最好有 11/04 09:52
→ Kaids: 人拿去跑DL 11/04 09:52
→ DEAKUNE: 價格壁壘也是 11/04 09:54
推 AmigoSin: NV是軟體公司(X 11/04 10:11
→ suitup: 電源接頭都可以搞成這樣 看來真的是軟體公司 11/04 10:17
推 aegis43210: 老黃是直接一個架構可以同時遊戲/繪圖/運算，而蘇嬤已 11/04 10:28
→ aegis43210: 經繪圖和運算分家了，RTG想玩老黃的策略不太可能，專 11/04 10:28
→ aegis43210: 注加速卡其實更好，大客戶單價高又量大，而且能發揮EP 11/04 10:28
→ aegis43210: YC的優勢 11/04 10:28
推 ltytw: 蘇媽不是已經把rx系列當成遊戲卡來經營了不是？當然跟遊戲 11/04 10:35
→ ltytw: 無關的就被醃掉了 看看fm 11/04 10:35
→ ltytw: 除非復刻gcn架構 11/04 10:35
→ AKSN74: 這次發表還可以看出一些端倪是，部分功能有用上賽靈思的東 11/04 10:39
→ aegis43210: 現在是i皇想玩老黃的策略，磨合到2025應該有機會，只 11/04 10:39
→ aegis43210: 是pat要有耐心 11/04 10:39
→ AKSN74: 西去補足，雖然說兩者分開還是有些重疊之處 11/04 10:39
→ AKSN74: 只是變成部分不是原本自己的RTG部門硬幹了 11/04 10:40
→ cor1os: 現在又沒啥大作,純遊戲顯卡死得更慘,驅動還-5000 11/04 10:58
推 qweertyui891: 往純遊戲走還好吧，PS跟凶盒遊戲機先顧好 11/04 11:06
→ tn601374: amd 加油 好嗎 11/04 11:06
→ qweertyui891: 最好遊戲機都膠水黏一黏，賣便宜一點 11/04 11:07
推 ltytw: 不久前還在嫌遊戲與專業計算混合讓顯卡很熱的 11/04 11:22
→ gameguy: 拼裝品就算了，結果FSR3與HYPER RX 明年才實裝，有沒有這 11/04 11:46
→ gameguy: 麼遜 11/04 11:46
推 NoyVaughty: 拜託AMD給點力，NV卡在Linux上就是雞巴毛一堆煩死 11/04 11:50
→ NoyVaughty: 這輩子大概是等不到NV支援Wayland了 11/04 11:52
→ DEAKUNE: L 托瓦茲: NVIDIA, Fxxk you 11/04 12:01
噓 DrGun: 天下苦老黃久已！ 11/04 12:38
推 Bencrie: 沒 wayland 也不會怎樣吧，就繼續用 Xorg 11/04 12:43
→ Bencrie: NVIDIA 的 EGL 有做 dmabuf extension 了 11/04 12:44
→ Bencrie: 雖然只有做一半，但是至少不是完全絕望 XDD 11/04 12:44
→ LiNcUtT: 叫組人去幫忙維護ffmpeg編解碼,硬體支援軟體跟不上也沒用 11/04 12:53
→ LiNcUtT: 支援av1編解碼就講好聽的,實際上機跑跟in差太多 11/04 12:54
→ LiNcUtT: 264.265.av1一路爛,到底有沒要改進的意思 11/04 12:56
推 forest6601: 還好畢業不用跑cuda了，以後有便宜的A卡用 11/04 13:00
推 lc85301: 難，生態系都建好了 11/04 13:11
推 Severine: 蘇媽做GPU只是為了吃Console的市場吧?其他就放飛了 11/04 14:01
推 aegis43210: AV1編解碼還是i皇最用心了 11/04 14:57
推 Ekmund: 看下來怎麼好像各家弱項被噴一遍... 11/04 16:13
→ commandoEX: AMD driver在Linux上好像也沒比較好...之前用一個 11/04 22:52
→ commandoEX: Linux rescue LiveCD，跑了6個開源Driver全部Fail 11/04 22:52
→ commandoEX: 最後還是跳成終端機模式 11/04 22:53
推 Bencrie: 那個要看是哪張卡，kernel 版本、linux-firmware 版本、 11/04 23:25
→ Bencrie: mesa 版本。 11/04 23:26
→ felixr0123: 燒起來成本更大 11/05 07:13