AI 時代的摩爾定律？黃氏定律靠的是自身技術力將 AI 性能年年加倍

作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45

1965 年，時任快捷半導體公司工程師，也是後來英特爾（Intel）的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore’s law），預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。

後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司 NVIDIA 創始黃仁勳（Jensen Huang）名字命名的定律——「黃氏定律（Huang’s Law）」對 AI 性能的提升作出預測，預測 GPU 將推動 AI 性能實現逐年翻倍。

Intel 提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI 性能將逐年翻倍

受疫情影響，一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行，黃仁勳缺席今年的主題演講，由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家，擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。

在 GTC China 2020 演講中，Dally 稱：「如果我們真想提高電腦性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。」

Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱，MAGNet 生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流，最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所採用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為「密集波分複用」的技術，有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸，是如今連網密度的 10 倍以上。

Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著，利用「密集波分複用」技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion，借助 Legate，開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。

Dally 稱 Legate 正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵，但 GPU 的成功才是基礎。因此，GPU 當下的成功以及未來的演進都尤其重要。

GPU 是黃氏定律的基礎

今年 5 月，NVIDIA 發布了面積高達 826 平方毫米，整合了 540 億個晶體管的 7 奈米全新安培（Ampere）架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升，並可以同時滿足 AI 訓練和推理的需求。

憑藉更高精度的第三代 Tensor Core 核心，A100 GPU AI 性能相比上一代有明顯提升，此前報導，在 7 月的第三個版本 MLPerf Training v0.7 基準測試（Benchmark）結果中，NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑，共打破 16 項紀錄。

另外，在 10 月出爐的 MLPerf Inference v0.7 結果中，A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。

更強大的 A100 GPU 迅速被多個大客戶採用，迄今為止，阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例，包括圖像辨識、語音辨識，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。

Dally 在演講中提到：「經過幾代人的努力，NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術，即時生成令人驚豔的圖像，並能夠借助 AI 構建整個場景。」

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。

Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU 是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。

黃氏定律能帶來什麼？

NVIDIA 已經在構建 AI 生態，並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司，這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧交互，語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。

對於行業應用而言，星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的 AI 升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測，並且 NVIDIA 正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時藉生態的打造想要更深遠的影響 AI 發展。

黃氏定律值得我們期待。

附圖：▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。（Source：影片截圖）
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。

資料來源：https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI

#小週末分享開箱文
#日本東芝 #TOSHIBA

有沒有試過在風和日暖、微風和暢～
看著洗後晾乾的衣物飄逸，清新芳香撲鼻、眼裡滿是幸福🌈
這就是我最近在家洗衣服的心情啊(迎著風ing

有小寶貝的家庭或是想入手洗衣機、為了挑選洗衣機而煩惱著，
可以先參考喬安這篇 #洗衣機 #開箱文 喔👆
來自 #東芝17公斤全新旗艦機款、#搭載全功能設計
【 #日本東芝Toshiba】#變頻洗衣機AW-#DMUH17WAG

#Toshiba東芝製造㊝ #日本品質㊝ #10年變頻壓縮機保固㊝
更是擁有全功能洗衣機應有盡有的完美優點 ☟
✔#奈米悠浮泡泡洗淨，神奇柔軟效果
✔#神奇鍍膜洗衣槽，防污去垢省荷包
✔#SDD超變頻直驅馬達，勁! 靜! 淨!

外型時尚，高雅質感，含 #藍光LED科技指示燈 ，
更榮獲 #日本GoodDesign設計大賞👏👏👏
使用時看到也舒爽，就算沒在使用狀態，
看到它立在那也舒壓(算是洗衣界中以貌取人實例XD

功能的設計、超大容量～除了可容納大家庭洗衣量，
更是適合小朋友每天換下的無敵多、不知哪葛來的髒汙💢
尤其它的『#奈米悠浮泡泡』可以輕鬆自如進出深層衣物纖維、
順勢帶走一般洗衣機都無法帶走的汙垢；
更是讓我放心的把全家人的衣物都交給它！
#神奇鍍膜 內槽更讓我不再煩惱細菌異味的產生了！
#洗衣約26分貝，#脫水37約分貝
安靜多做事少說話的乖巧性格💕
同時也是默默挺著媽咪的好幫手喔哈哈👌
真的讓我覺得每一天穿到的衣服都是確實乾淨的🌞
乾淨的衣味不會騙人～滿滿日光香氣超透鼻啊(深呼吸～

▎產品資訊 ▎

官網：http://bit.ly/2QVDR4r


#智能感知 #環保省電 #省荷包
#低震動噪音 #勁流雙渦輪 #不繡鋼洗衣槽

【臺大於歐洲雙邊高教國際論壇會議發表 進行高效國際合作鏈結】

2018年7月8-12日，臺大參加由財團法人高等教育國際合作基金會（FICHET）籌劃的「2018臺灣-法國高等教育論壇」及「2018臺灣-比利時高等教育圓桌會議」。本次訪歐進行雙邊交流，臺灣代表計有教育部國際司長畢祖安、FICHET、18所大專院校34位代表，其中有8位大學校長參與本次法國及比利時雙邊交流深度訪問。法國主辦方稱譽本訪團「有史以來最重要的臺灣訪歐學術代表團」，臺大由張淑英國際長與國際處國合組張華玲股長、歐洲區統籌劉瑀恬幹事共三位代表參加，短短五日造訪兩國四個城市，與法國、比利時高教代表進行一箭雙鵰高效率國際合作鏈結。

本校張淑英國際長受邀在「2018臺灣-法國高等教育論壇」第一場論壇場次「臺法高教創新」，代表郭大維校長發表講題「全面啟動：創新臺法學生交流模式」。該場次由成功大學校長暨 FICHET 蘇慧貞董事長主持，法方發表人是臺大姊妹校巴黎薩克雷高等師範學院 Pierre-Paul Zalio 校長，主講「啟動創新的新興模式」 (New and innovative program models to activate innovation)。本次訪法、比兩地行程分別造訪法國漢斯、巴黎、比利時布魯塞爾、魯汶，舉辦會議及參訪交流。

此行首站法國，重點行程為「2018臺灣-法國高等教育論壇」，此為第二屆臺法雙邊論壇。首屆論壇在2017年3月，藉由臺灣舉辦亞太教育者年會（簡稱APAIE）同時於高雄舉辦。回溯當時，臺大也在本校校園舉辦「姊妹校夥伴日」，法國巴黎薩克雷大學聯盟由巴黎薩克雷高等師範學院 Pierre-Paul Zalio 校長帶團來訪，並與本校簽署合作續約。2018年第二屆臺法高等教育論壇於法國舉辦，主辦單位細心安排本校張淑英國際長與 Zalio 校長於論壇第一場次「臺法高教創新」同場發表。法國行程除臺法論壇外，也參訪42 電腦資訊學校、臺大姊妹校巴黎薩克雷大學 (University Paris-Saclay)、巴黎理文大學 (PSL Research University)、法國國家重點研究中心法國同步輻射實驗室 (Synchrotron SOLEIL)、奈米創新中心 (Nano-Innov) 等。其中42 電腦資訊學校共同創辦人暨主秘 Nicolas Sadirac甫於2018年1月由天下雜誌及本校創新設計學院邀請來臺舉辦工作坊。 Nicolas Sadirac也在臺大代表訪問42時，提到一月訪臺是他第一次到臺灣，印象非常好，日後也期待42與臺灣教育機構有更多交流合作。

本次臺灣比利時圓桌會議則是首次舉辦，由FICHET與比利時法語區高等教育與研究學會（Academie de recherche et d’enseignement supérieur 簡稱ARES）在布魯塞爾辦理。本次圓桌會議合計26個高教機構共39位代表與會，舉辦期間剛好與北約高峰會同時進行，所以布魯塞爾城市維安等級升到最高，也為首次臺比圓桌留下特別紀念。在臺比圓桌會議開幕致詞時，比方代表也提到本次雙邊圓桌論壇的舉辦與2017年APAIE息息相關。當時比利時ARES代表來臺參加APAIE，與我高教對應單位 FICHET談及如何在既有合作基礎上，以槓桿鏈結臺比高教研究單位，更進一步深化實質合作，本次臺比高教論壇雛形便在討論中成形。

值得一提的是，臺大在法國有46間姊妹校 98項合作計畫，與比利時有7間姊妹校24項合作計畫，其中亮點合作計有雙聯學位、國合策略聯盟、歐盟研究及職員交換計畫 (Erasmus Staff Training) 等，加上科技部雙邊研究計畫論，臺大與兩國的國際合作，無論質與量，皆成果豐碩，為臺灣首屈一指。本次訪問法比兩國，到訪單位在進行機構簡介時，幾乎全數提及臺大是他們在臺灣既有且最活躍的國際合作夥伴，以實例證明過往十年本校國際化進程質量並進，展現國際合作實績。