AI 時代的摩爾定律？黃氏定律靠的是自身技術力將 AI 性能年年加倍

作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45

1965 年，時任快捷半導體公司工程師，也是後來英特爾（Intel）的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore’s law），預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。

後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司 NVIDIA 創始黃仁勳（Jensen Huang）名字命名的定律——「黃氏定律（Huang’s Law）」對 AI 性能的提升作出預測，預測 GPU 將推動 AI 性能實現逐年翻倍。

Intel 提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI 性能將逐年翻倍

受疫情影響，一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行，黃仁勳缺席今年的主題演講，由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家，擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。

在 GTC China 2020 演講中，Dally 稱：「如果我們真想提高電腦性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。」

Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱，MAGNet 生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流，最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所採用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為「密集波分複用」的技術，有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸，是如今連網密度的 10 倍以上。

Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著，利用「密集波分複用」技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion，借助 Legate，開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。

Dally 稱 Legate 正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵，但 GPU 的成功才是基礎。因此，GPU 當下的成功以及未來的演進都尤其重要。

GPU 是黃氏定律的基礎

今年 5 月，NVIDIA 發布了面積高達 826 平方毫米，整合了 540 億個晶體管的 7 奈米全新安培（Ampere）架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升，並可以同時滿足 AI 訓練和推理的需求。

憑藉更高精度的第三代 Tensor Core 核心，A100 GPU AI 性能相比上一代有明顯提升，此前報導，在 7 月的第三個版本 MLPerf Training v0.7 基準測試（Benchmark）結果中，NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑，共打破 16 項紀錄。

另外，在 10 月出爐的 MLPerf Inference v0.7 結果中，A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。

更強大的 A100 GPU 迅速被多個大客戶採用，迄今為止，阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例，包括圖像辨識、語音辨識，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。

Dally 在演講中提到：「經過幾代人的努力，NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術，即時生成令人驚豔的圖像，並能夠借助 AI 構建整個場景。」

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。

Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU 是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。

黃氏定律能帶來什麼？

NVIDIA 已經在構建 AI 生態，並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司，這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧交互，語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。

對於行業應用而言，星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的 AI 升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測，並且 NVIDIA 正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時藉生態的打造想要更深遠的影響 AI 發展。

黃氏定律值得我們期待。

附圖：▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。（Source：影片截圖）
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。

資料來源：https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI

自我專業提升有感，轉錄好文: 你可以沒有熱情，但不應該自我設限
---------------------------------------------------------------

前幾天在 Front-End Developers Taiwan版有一篇文章： 大家都有熱情研究新技術嗎？ 探討詢問軟體工程師們是否都對新技術有熱情去學習， 吸引了很多工程師參與討論。

軟體工程師算是比較特殊的行業，相對其他領域變化更加劇烈，之前我有一篇文章探討軟體工程師需要持續精進自我技能 “軟體工程師無法逃避的宿命：持續學習、大量練習”。如果一個人沒有熱情，要在工作中，或是下班後持續學習新事物會很容易burn out。既然學習、進步是大家對這軟體工程師的必備期望，那我們應該要想辦法培養我們的熱情，用技術做有興趣的 side projects，換個自己喜歡的公司或工作等等。在上篇文章之後，Pochen Lin 的針對這個主題寫了一篇軟體工程師對新技術、自我進修、熱情培養寫了一篇好文章。以下是經過他同意轉錄的文章。

題外話一下，我是藉由 Dosudo 讀書肚 (矽谷工程師讀書會) 其中一次的分享會認識來分享的Pochen Lin，讀書肚是部落格台灣工程師的矽谷故事作者（同時也是『砍掉重練：30歲開始也不遲的工作術 』的作者） Winston Chen 和台灣工程師 Ko-Chih Wu 共同創辦的讀書會。如果你也在矽谷，可以來參加活動認識身懷絕藝的華人工程師。

你可以沒有熱情，但不應該自我設限 - by Pochen Lin

自我進修是對於自身專業的尊重，這可以套用到所有行業，只是前端技術迭代的輪替非常快所以特別有感，當技能樹越廣越深, 待遇與職稱也會呈正相關向上

學習新技術的好處，具體來說我覺得有以下幾點
- 人腦的知識是由神經元網路連結而成， 越多的連結會深化你對於這門知識的掌握程度，學習曲線到後期是越來越簡單，你會發現自己學新東西越來越快，處理問題上也能用更全面的角度去思考，提出更高效簡潔的解法

-優化你的工作流程，我不曉得有多少人喜歡做重複浪費時間的事，至少我非常討厭，能自動化的東西就不會想手動，我不相信人類在做重複性質高的工作上會勝過電腦的效率與正確性，新技術很多時候其實是在優化你的工作流程，讓你能事半功倍 （換言之, 如果導入新技術是在拖慢你速度的話, 那不用也罷）

-跟上業界潮流，這個就比較偏現實考量，當職缺開出來與自己的技能樹不相符，你機會就硬生生少人一截，身為碼農雇員技術力就是你的籌碼，籌碼少的時候談甚麼都顯得彆扭，程序員職涯最怕就是掉入死亡螺旋，想離職但沒人要，留在一間技術債太多的公司追著解不完的bug也提升不了自身實力，惡性循環的結局就是等到公司營運不佳被Layoff而面臨中年失業危機

簡言之，學習新技術的目的是在於：
- 深化對專業的掌握度
- 優化自身的工作效能
- 提升在職場上的籌碼

如果你是認真看待這份工作，想靠這份工作吃一輩子的飯，你都不應該停止學習，It’s part of the job.

新技術那麼多，怎麼追都追不完，哪來那麼多時間學？
新技術有如過江之鯽，尤其前端，常常會讓人有種怎麼追也追不完的感覺，怎麼在這一波又一波的技術浪潮站在風尖浪口， 我自己會簡單的過濾一下:
- 這個技術解決了甚麼痛點？
- 跟同類型技術相比，有甚麼優缺點？
- 能解決我目前會碰到的問題嗎？還是帶來更多技術債？

通常這樣的過濾花不到你十分鐘，看個Demo、幾行程式碼、Benchmark，大概就可以略知一二了，要用沒有時間做為藉口實在說不過去

時間就像乳溝, 擠一擠總是有的
如果新技術正巧可以解決你現有的痛點，太棒了，一定要玩一下看怎麼整合到現有工作流程

如果新技術聽起來很炫砲但並不是直接能用上，那連結先存起來，有時間再來研究看看（通常會回頭看是當這技術變成Buzzword一直聽到，或是碰到難題突然想起來好像有這樣的解法）

如果技術聽起來就是個雷，果斷放棄吧，人生應該浪費在更美好的事物上

技術又有分
- Design Pattern / Coding Style：這種比較抽象高大上，不是很好理解但是念通了對自己程式設計功力會大幅提升

- 公用函式庫 / 框架：實戰的時候可以省掉很多手工，無聊可以看看原碼看人家怎麼實作的，萬一哪天想勤快一點自幹也知道該從何下手

- 流程自動化 / 優化：Webpack、Git、Unit testing、CI 這些都算，看團隊看個人看需求，當用則用，最高原則是你是用這些來幫你省事而不是自添麻煩的

三者來說以第一種知識最為受用，因為內化成心法不管在哪都用得上；後兩者則是對你工作效能表現上會有助益，一個是內功一個是外功，兩者都應該與時並進不該偏廢一方

學以致用，做中學方能找到熱情
學技術是用來解決現實問題的，拿著牛刀沒牛好殺是件很無趣的事，如果你沒牛好殺，該思考的是是不是現在的工作環境限制住了你的發展，小心我前面提過的死亡螺旋！

熱情來自於設定目標達成之後大腦釋放多巴胺的正向循環，如果對學習沒有熱情，很可能是對於目標設定上的迷惘：

我學這個到底可以幹嘛？
這才是導致沒有學習動機的真正原因，你的大腦需要獎勵機制，你得先有一個痛點，通過學習而克服獲得獎勵，你才會食髓知味產生熱情

然而萬事起頭難，並不是誰一開始都知道有什麼問題好解，我在文章開頭說 “你可以沒有熱情，但不應該自我設限” 其實另一層意思是，你應該試著去培養對這份專業的熱情

不管是說提升自己工作效率，找題目解，甚至是換份新工作（通常會伴隨大量學習機會）這些都可以是動機，火車起步雖慢，但一旦跑起來後要停下來也很難

但如果火車真的啟動不了，恩～人生很長，每天做著沒有熱情的工作真的有意義嗎？

糊口飯吃不需要熱情，但有熱情在這條路上肯定能走得比較快樂也比較遠

又或許不是非得當碼農不可，換個跑道搞不好能見到另一片風光啊

願每個人都能在自己的領域找到屬於自己的熱情

你是如何培養及維持對新技術持續學習的熱情呢？歡迎留言討論！

https://brianhsublog.blogspot.com/2018/04/PassionForImprovement.html

上次就講咗RAM容量點揀
速度又點呢？成日講AMD CPU要用快RAM係咩意思？
記得睇到尾，有聖誕禮物
多謝 VSTECS 贊助依條片

活動詳情
1. Like Lau Kin Lam - 林仔 以及 VSTECS FB Fans Page
2. 訂閱 Lau Kin Lam - 林仔 Youtube Channel
3. 必須於留言回答以下兩條問題
-GeIL Orion 記憶體產地是?
-為甚麼你想得到這套記憶體？

答對而最高LIKE數者就可以得到 VSTECS 送出 GeIL Orion DDR4-3200 C16 8GB 兩條
截止時間 2020年12月31日23時59分59秒
*留言不能編輯，已編輯留言不會計算
**每層只會睇第一層留言，層內留言不會計算
***林仔保留最終決定權

00:00 引言
00:39 AMD CPU 要配快RAM原因
02:49 插播廣告
04:18 測試 AIDA 64 Memory Benchmark
05:09 測試 剪片 by Power Director 輸出影片
06:13 聖誕禮物活動

頻道會員已開!!! 加入助養小林林啦!
會員加入: https://www.youtube.com/channel/UCo-mxhiCrlNb9P3DVLkOpKw/join
Patreon 贊助: https://www.patreon.com/lkl0120

林仔Facebook專頁: https://www.facebook.com/OCFAT/
林仔IG: https://www.instagram.com/siulamnotfat/

夾錢買玩具計劃
https://streamlabs.com/laukinlam-/tip

助養小林林 PayLink
一按即 PayMe！
https://payme.hsbc/lkl0120