AI 時代的摩爾定律？黃氏定律靠的是自身技術力將 AI 性能年年加倍

作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45

1965 年，時任快捷半導體公司工程師，也是後來英特爾（Intel）的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore’s law），預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。

後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司 NVIDIA 創始黃仁勳（Jensen Huang）名字命名的定律——「黃氏定律（Huang’s Law）」對 AI 性能的提升作出預測，預測 GPU 將推動 AI 性能實現逐年翻倍。

Intel 提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI 性能將逐年翻倍

受疫情影響，一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行，黃仁勳缺席今年的主題演講，由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家，擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。

在 GTC China 2020 演講中，Dally 稱：「如果我們真想提高電腦性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。」

Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱，MAGNet 生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流，最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所採用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為「密集波分複用」的技術，有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸，是如今連網密度的 10 倍以上。

Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著，利用「密集波分複用」技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion，借助 Legate，開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。

Dally 稱 Legate 正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵，但 GPU 的成功才是基礎。因此，GPU 當下的成功以及未來的演進都尤其重要。

GPU 是黃氏定律的基礎

今年 5 月，NVIDIA 發布了面積高達 826 平方毫米，整合了 540 億個晶體管的 7 奈米全新安培（Ampere）架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升，並可以同時滿足 AI 訓練和推理的需求。

憑藉更高精度的第三代 Tensor Core 核心，A100 GPU AI 性能相比上一代有明顯提升，此前報導，在 7 月的第三個版本 MLPerf Training v0.7 基準測試（Benchmark）結果中，NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑，共打破 16 項紀錄。

另外，在 10 月出爐的 MLPerf Inference v0.7 結果中，A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。

更強大的 A100 GPU 迅速被多個大客戶採用，迄今為止，阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例，包括圖像辨識、語音辨識，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。

Dally 在演講中提到：「經過幾代人的努力，NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術，即時生成令人驚豔的圖像，並能夠借助 AI 構建整個場景。」

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。

Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU 是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。

黃氏定律能帶來什麼？

NVIDIA 已經在構建 AI 生態，並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司，這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧交互，語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。

對於行業應用而言，星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的 AI 升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測，並且 NVIDIA 正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時藉生態的打造想要更深遠的影響 AI 發展。

黃氏定律值得我們期待。

附圖：▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。（Source：影片截圖）
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。

資料來源：https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI

早安！今天天氣☁️變化大，出門小心。迫不及待來分享 #閃耀的女生～
給你看：）
https://www.facebook.com/1733216233658780/posts/2238461743134224?s=100000556267443&v=i&sfns=mo

▍ 首位台灣籍畢業生代表 於柏克萊加州大學致詞 《演說全文 》


葉采衢代表畢業生於今年度在希臘廣場(Greek Theater)致詞。她畢業於UC Berkeley轉譯醫學碩士(Master of Translational Medicine)。


她在大學的指導教授、陽明大學生化暨分子生物研究所副教授蔡有光表示，台灣的醫師於全球堪稱尖端水準，但從事科學研究的人卻很少，是一件非常可惜的事情。


葉采衢以「讓世界成為更好的地方」（make the world a better place）為題，在柏克萊分校發表演說。 #閃耀女性




▏葉采衢演講全文：

祝賀家人、朋友、全體教職員們與2018畢業同袍，恭喜！
今天我站在你們面前，以最不尋常的身份當作畢業生代表。

其實我不是體制下訓練出來的工程師，卻在這裏致詞，
儘管如此，在你開始懷疑委員們眼花了，選了我之前，
我想告訴你們，我們醫生和你們工程師有多少的相似之處。

我們都同樣享受那些生活中的小小驚奇，
像是組成人體的小積木以及程式語言的小模組。

我們也都極其..熱愛熬夜工作，尤其是在那些假日時光。
我們不是在累的時候停下來，而是在終於找到答案時。

但並非是那些成就以及獎勵、認可驅動著我們，
我相信是對於周遭他人的正面影響滿足了我們。

記得開學的第一天早上，
學程主任在桌面上放滿了工具，有鐵鎚、捲尺和湯匙。
主任要我們選一個工具，卻沒告訴我們拿來做什麼用。

然後這時我們被分組玩破冰遊戲，
原來真的要用所拿到的工具，打碎一個巨大的冰塊，

挑戰是讓冰塊剛好重達一公斤，
那時的我沮喪地低頭望向我手中選的湯匙！

站在這裡與你們並肩，我的同袍們。
我意識到我們正面對一個很類似的挑戰。
我們的世界正在以無法預測的方式改變，改變的速度比以往更快。

而我們手中握有的工具卻可能因而轉瞬間過時，
或甚至純粹無法匹配我們面對的挑戰。

我們每一個人進到加州大學柏克萊分校，
都選擇了一項自己最擅長的領域，
儘管我們還不知道將來會面對什麼樣的問題。

不論你手上握有一具天文望遠鏡、工程計算機、或是生物吸量管，
我想要向你保證，在柏克萊我們學會的遠遠不只是如何使用手中的工具。

不論接下來挑戰如何展開，我們都會完成任務，
透過不只利用單一工具對付那專屬的冰塊，
而是透過創造力、邏輯思考與團隊合作解開。

在一次去西藏的旅行，我遇見當地學生優玫，
儘管學校教育完全免費，他還是因為財務困難而輟學了，
到後來我才發現，他需要超時工作才能撫養兄弟姊妹。

能從學校畢業僅是他小小的夢想，
一年後我再和他的書信裡發現，他全部省下來的錢都去買了煤炭，

這樣一來，那些像他一樣暑期工作而不能上學的同學，
將能夠在嚴寒的冬季繼續完成學業。

我們何其有幸，身處於全世界最好的公立大學，
同時手中握有不只一項工具來改變世界。

優玫，手中幾乎沒有任何資源，
卻利用自己的積極毅力與決心，讓這世界更美好。

外面的世界充滿著那些要你不要再作夢的人，
但其實沒有人能告訴你可不可能，除非他們真的做過。

就像偉大的德國哲學家尼采所言，
“He who has a Why to Live can Bear almost any How.”
只要你有人生目的，再悲慘的生活你都可以忍受。

只要願意，我們都可以將資源分享給他人，讓周遭的生命更美好。
科學家或藝術家，醫生或是工程師都好，

不論你的背景，這樣的信念都成立。

只有你能夠賦予生命它的價值與含意。

今年我們歡慶柏克萊創校150週年，以及那些改變人類與世界的科學發現。

在這裏我們不只努力去達到完美，而是一同去創造新的標準。
那就是不只成為照亮他人的燈塔，而是讓其他人也成為燈塔般閃耀。

在柏克萊大學，我們曾經創造歷史，
我們同時被賦予改變世界的能力。

如果沒有你們所有人，我們不會有今日的成就，
從第一天直到現在都陪伴著我們。

今天是我們在柏克萊大學的最後一天，
如果我又面對一次破冰挑戰，我想我將不那麼擔心我選了什麼工具。
因為重要的不是手中工具，而是毅力與決心。

我親愛的同袍們，讓我們延續柏克萊點燃的夢想，
保持樂觀，保持大膽，保持著勇敢。

然後最後，出發吧！金州的熊寶貝們！Go Bears !!

（柏克萊時報翻譯 - Courtesy to UCLITE）



Source Courtesy and Motivation to Cat. B
Commencement 2018 webcast by Berkeley Engineering
Subtitle by Y.C


✍留言告訴我們 哪句話最觸動你？

A. “He who has a Why to Live can Bear almost any How.”

B. 只要你有人生目的，再悲慘的生活你都可以忍受。

C.只有你能夠賦予生命它的價值與含意。

D. 因為重要的不是手中工具，而是毅力與決心。

E. 不只成為照亮他人的燈塔，而是讓其他人也成為燈塔般閃耀。

F. 出發吧金州的熊寶貝們！（咦

#影片右下角設定720P高畫質 ＃看人美心也美

【柏克萊大學新創MBA學程】 >> https://goo.gl/9Ffjuq

【#演講推薦】讓他們為之瘋狂的詩悲秀

今天吃醋了，兩秒鐘，
他講新詩，她們笑靨如花；
他中間下課，被她們瞬間包圍；
他揮一揮肌肉，她們報以滿天雲彩。

他是洪丹，
Java工程師、勞工安徒生、諧音詩人。
讓詩成為學生信仰的seafood。

這學期語實班最後一場演講，
我們請來詩人洪丹演講，
主題是：「斜槓詩人的詩悲秀」。

先說結論，
這是一場讓學生為之瘋狂的演講。

不誇張，
徐志摩的詩再美，他們沒fu；
卞之琳的夢再甜，他們只是理解；
但洪丹的詩，比幽王的烽火有效，
她們嗝嗝嗝的笑，還沒有副作用。

唯一的副作用是：會上癮。

跟大家聊聊從洪丹演講裡的啟發。

一、詩是一種慈悲

你上一次寫詩，是什麼時候呢？
又或者，你還讀詩嗎？

大部分的時候，
詩好像我們很遙遠，
有人說詩晦澀難懂、
有人說詩無病呻吟。

也許他們都被現實傷過，
卻沒想到以詩為藥，
他有一種配方，叫慈悲。

在洪丹演講前，
我讓孩子們每天讀點洪丹詩，
他們邊讀邊笑，為什麼？
一來現實荒謬，他笑著說；
二來詩心慈悲，他哽咽道。

面對勞基法修惡，
洪丹寫了《勞工童話》；
面對居里夫人正名論，
洪丹寫了《居里夫人》；
面對種種社會議題，
洪丹寫了《沙漏》。

慈悲放在心裡不算，
寫出來才算。

二、每一天都是囚徒困境

上一次，聽到囚徒困境，
是在榮哲的小說課，
但這一回是在洪丹的新詩課。

洪丹帶孩子們玩了囚徒困境，
當你背叛對方，能得到暴利，你叛嗎？
當你相信對方，反而變體傷，你怨嗎？

洪丹說了個很美的故事，
他說，后羿帶回兩顆靈藥，
吃一顆長生不老，
吃兩顆羽化成仙。

后羿不願獨自羽化登仙，
他想跟嫦娥長生不老，
結果嫦娥羽化登仙去了。

如果你是后羿，
看到嫦娥飛上天的背影，
你會怎麼做？

孩子們笑說：「把他射下來！」

對齁，別忘了，
后羿是連太陽都射得下來的男人啊！

他牙咬得都出血了，
引弓拉箭，感覺到手在顫抖，
咻！他射出穿雲箭，為嫦娥開路。

后羿傻傻的相信，
重複的囚徒困局，
意味再一次會更好。

囚徒困局，殘忍，
但被洪丹，説美了，
因為詩的緣故。

三、洪丹教你三分鐘寫首詩

這次的重頭戲就是，
洪丹教你寫詩。

心法就是：「官商勾結」！

你：？？？？？？？

啊啊！打錯字，是「觀傷勾結」！

你看，洪丹連心法都諧音，
但承認吧！你牢牢記住了。

第一步：觀傷

寫詩要正視你的傷悲，
洪丹請孩子們列出三個害怕的事。

公布高中生最害怕的事：

手機沒電⋯⋯

這樣真的可以嗎 XD

第二步：勾結

勾結就是「縫合」，
把傷悲跟新詩模組結合。
洪丹以《在啦幹》這首詩為架構，
讓孩子們把傷悲注入，
慢慢形塑成一首詩。

最後，
是見證奇蹟的時刻，
孩子們一首首的詩
還真的寫出來了。

當看見孩子們圍著洪丹，
聊天、問詩、拍照、簽名，
我才發現，
這就是洪丹出現的意義。

把詩從天上，拉回地面，
讓孩子們不用羽化登仙，
也能從容遊月宮。

醋我是吃了，
但吃的甘之如飴，
如果因此能讓他們愛上文學，
那麼，請你再拿一壇醋過來！

📕 好書推薦： 洪丹《一點一點流光》
http://t.cn/E4yesJx

#全力支持洪丹詩集一點一點流光

#謝謝丹鳳行政團隊對語實班的支持