AI 時代的摩爾定律？黃氏定律靠的是自身技術力將 AI 性能年年加倍

作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45

1965 年，時任快捷半導體公司工程師，也是後來英特爾（Intel）的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore’s law），預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。

後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司 NVIDIA 創始黃仁勳（Jensen Huang）名字命名的定律——「黃氏定律（Huang’s Law）」對 AI 性能的提升作出預測，預測 GPU 將推動 AI 性能實現逐年翻倍。

Intel 提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI 性能將逐年翻倍

受疫情影響，一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行，黃仁勳缺席今年的主題演講，由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家，擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。

在 GTC China 2020 演講中，Dally 稱：「如果我們真想提高電腦性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。」

Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱，MAGNet 生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流，最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所採用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為「密集波分複用」的技術，有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸，是如今連網密度的 10 倍以上。

Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著，利用「密集波分複用」技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion，借助 Legate，開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。

Dally 稱 Legate 正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵，但 GPU 的成功才是基礎。因此，GPU 當下的成功以及未來的演進都尤其重要。

GPU 是黃氏定律的基礎

今年 5 月，NVIDIA 發布了面積高達 826 平方毫米，整合了 540 億個晶體管的 7 奈米全新安培（Ampere）架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升，並可以同時滿足 AI 訓練和推理的需求。

憑藉更高精度的第三代 Tensor Core 核心，A100 GPU AI 性能相比上一代有明顯提升，此前報導，在 7 月的第三個版本 MLPerf Training v0.7 基準測試（Benchmark）結果中，NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑，共打破 16 項紀錄。

另外，在 10 月出爐的 MLPerf Inference v0.7 結果中，A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。

更強大的 A100 GPU 迅速被多個大客戶採用，迄今為止，阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例，包括圖像辨識、語音辨識，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。

Dally 在演講中提到：「經過幾代人的努力，NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術，即時生成令人驚豔的圖像，並能夠借助 AI 構建整個場景。」

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。

Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU 是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。

黃氏定律能帶來什麼？

NVIDIA 已經在構建 AI 生態，並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司，這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧交互，語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。

對於行業應用而言，星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的 AI 升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測，並且 NVIDIA 正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時藉生態的打造想要更深遠的影響 AI 發展。

黃氏定律值得我們期待。

附圖：▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。（Source：影片截圖）
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。

資料來源：https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI

分享亞勤的精彩演講。這是他上周在哥倫比亞大學工學院2020畢業典禮演講。他稱為是絕對是最大的“熵”的一屆畢業生。

本文來自人工智能學家微信公眾號
……………………………………

張亞勤2020寄語哥倫比亞大學畢業生：引領未知時代

2020年5月18日，人工智慧和數位視訊的世界級科學家和企業家，美國藝術與科學院院士、百度前總裁、清華大學智慧科學講席教授張亞勤博士，在哥倫比亞大學工程學院的畢業典禮上發表了主題演講。

張亞勤說:“面對全球疫情，技術成為最關鍵的變革力量，高速網路、軟體和人工智慧等基礎技術塑造我們生活、學習、工作和娛樂方式。”他提到：“隨著世界進入一個充滿挑戰和不確定性的新階段，年輕工程師迎來了回應歷史使命的決定性時刻，不僅要以技術創新，還要以同理心、勇氣和人文主義精神來迎接使命。”

哥倫比亞大學工程學院院長瑪麗·博伊斯(MaryC. Boyce)表示:“我們很高興能請到張亞勤博士(Dr.Ya-Qin Zhang)給我們的畢業生做演講，以此來紀念這一重要的里程碑。”她談到：“我們的畢業生將進入一個變化的世界，他們也將成為時代變化的締造者。學生們將受益張亞勤博士的觀點，其非凡職業道路也將鼓舞學生們。”（引用哥倫比亞大學新聞報導）

以下為百度前總裁、清華大學智慧科學講席教授張亞勤在2020年哥倫比亞大學工程學院畢業典禮上的致辭全文：

尊敬的Bollinger校長, Boyce院長，家長們，同學們，大家好。
我很榮幸能夠在這個非常時期，以特殊的形式出席這次特別的典禮。首先，恭喜2020屆畢業生，對你們取得的傑出成就表示衷心祝賀。你們做到了！

我也是一名哥倫比亞大學的學生家長。我的兒子現在哥大工學院二年級學生，我女兒是哥大商學院2020屆的畢業生。我想與所有家長分享這份難以言表的喜悅和驕傲，我們都做到了！

這無疑是我們有生記憶以來最具挑戰性和不確定性的一個時期。

我們不僅看到了科技創新的極速進步和第四次工業革命的巨大力量，人工智慧、納米技術、量子電腦和5G通信等等技術不斷突破。

我們還目睹了百年一遇的流行疾病在全球範圍內帶來的突發性破壞和災難性影響，對我們的社會基礎、經濟結構和生活方式帶來挑戰。

對於那些學習過熱力學第二定律的人來說，“熵”這個術語一定不陌生，它表示動態系統中的混沌程度(Chaos)。資訊理論的創始者Claud Shannon將這一概念擴展到了資訊的不確定性和隨機性。可以說，2020屆畢業生是被賦予“熵”值最高的一屆。未來的不可預測和混沌程度都是前所未有的。對你們如此，對我們所有人也是如此。

與你們的交流令我回想起我的學生時代和年輕時的工程師工作經歷。1990年畢業後，我的第一份工作是開發演算法，壓縮圖像和視頻，完成遠端傳輸，對國際標準MPEG和H.26x做出一點小貢獻：MPEG和H.26x也是如今Netflix、YouTube、Skype和Zoom等流行視頻應用程式的重要基礎。在過去的三十年裡，我有幸一直在激動人心的創新技術中徜徉， HDTV、自動駕駛、人工智慧和雲計算等等。在這一路走來，收穫的不僅是無窮的樂趣，也有超凡的艱辛。我想跟同學們分享我的三個體會：

1）在數據爆炸和不斷變化的世界中，成為具備強適應能力的學習者。在瞬息萬變的技術行業中，五年前學到的知識大多已無用處。你們在哥倫比亞大學中學習到最有價值的是學習新知的能力，是從繁雜噪音中分別信號的能力，是從眾多數據中提取“熵”的能力。我有一個行之有效的習慣，每天早上花10分鐘，找出對我而言最新的發現或最重要的3件事情，當天來學習。

2) 要擁有獨特的觀點和視角。當你們進入現實世界，會自然而然的開始被“打磨”，去遵循已有的趨勢，融入他人。我懇請你們保持自己的尖銳、棱角和與眾不同。當我與年輕工程師面聊時，我期待他們的觀點、他們的“熵”、他們鮮活的想法，這些遠比圓滑、打磨、“正確”要重要得多。

3) 無論做什麼事情，要秉承道德和人性。兩千多年前，偉大的希臘思想家蘇格拉底將道德作為追求真理的靈魂。大約同一時期，偉大的中國哲學家孔子把人性的“仁義”作為社會結構的基礎。在截然不同的文化下，兩位偉大思想家所見略同，並非巧合。今天，當我們面臨更多選擇、迷茫和誘惑時，這一點就變得更加重要。技術是中立的，但創新者是有使命的。技術是工具，但技術人員是為人類服務的。院長Mary Boyce對哥倫比亞工學院提出的願景“技術以人為本”是工程學的核心，也是我們工程師和技術人員的宗旨。

年輕的朋友們，對你們而言，這是一個決定性的時刻，請盡情的用你們的才華、激情和創新，更用你們的同理心，勇氣和人性，去展現，去閃耀，回應使命的召喚！

再次恭喜你們，2020屆畢業生！

以下是哥倫比亞大學對張亞勤作為畢業生典禮發言人的報導和過往成就的介紹
https://engineering.columbia.edu/news/class-day-2020-ya-qin-zhang

人工智慧和數位視訊的世界級科學家和企業家，百度前總裁張亞勤於2020年5月18日，在哥倫比亞大學工程學院的畢業典禮上發表主題演講。因為疫情的緣故，演講和畢業典禮將採取提前錄製形式，發送給全球的畢業生及其家人。

百度作為科技巨頭，向全球超過20億人提供包括移動互聯網和雲計算等服務，張亞勤曾負責智慧駕駛、雲計算、新興業務和公司的技術部門。是一位廣受讚譽的科學家和技術專家和創新領導者。他是聯合國、世界經濟論壇和許多公共論壇的領導人和發言人，積極討論新技術對社會變革性的影響以及如何縮小數位鴻溝。2018年，他帶領百度成為第一家加入國際人工智慧道德組織AI (PAI)的中國公司，目前也是全球最大自動駕駛開源平臺Apollo理事會的主席。

張亞勤說:“面對全球疫情，技術成為最關鍵的變革力量，高速網路、軟體和人工智慧等基礎技術塑造我們生活、學習、工作和娛樂方式。”他提到：“隨著世界進入一個充滿挑戰和不確定性的新階段，年輕工程師迎來了回應歷史使命的決定性時刻，不僅要以技術創新，還要以同理心、勇氣和人文主義精神來迎接使命。”

加入百度之前，張亞勤擔任了16年Microsoft的高管，任公司全球資深副總裁和微軟亞州研究院院長。2011年，他在中國創立了微軟風險投資加速器(Microsoft VentureAccelerator)。作為中國最有活力的創業引擎之一，該加速器已經幫助孵化了200多家公司。

張亞勤將在7月加入清華大學，擔任AI科學講席教授，並創立智慧產業研究院（AIR），將專注於第四次工業革命中的技術，包括自動駕駛，人工智慧、物聯網以及神經網路計算。

哥倫比亞大學工程學院院長瑪麗·博伊斯(MaryC. Boyce)表示:“我們很高興能請到張亞勤博士(Dr.Ya-Qin Zhang)給我們的畢業生做演講，以此來紀念這一重要的里程碑。”她談到：“在這個非凡的時代，沒有人能夠更好地講述技術在我們生活中扮演的角色，來描述技術在創造一個更緊密、更安全、更有創造力的人類社會中的潛力。無論工作還是社交，我們比以往任何時候都更加依賴技術來保持聯繫，我們的畢業生將進入一個變化的世界，他們也將成為時代變化的締造者。學生們將受益張亞勤博士的觀點，其非凡職業道路也將鼓舞學生們。”

張亞勤在12歲進入中國科技大學少年班，並獲得電氣工程學士和碩士學位。之後前往美國獲得喬治華盛頓大學的理學博士學位。他畢業于哈佛大學高管商業課程，在職業生涯的早期，曾擔任新澤西州普林斯頓（現為SRI）的Sarnoff Corp多媒體實驗室總監，還曾是GTE Labs（現為Verizon）的高級技術人員。

張亞勤是美國藝術與科學院院士和澳大利亞國家工程院院士。

1997年，年僅31歲的他，成為有史以來最年輕的科學家，被任命為IEEE會士。他撰寫了550多篇論文、12本書，並獲得了62項美國專利，為視頻編碼、流媒體、互聯網服務等領域的演算法和理論制定了全球標準。被IT時報、CNBC、《商業週刊》和全球商務評為亞洲十大CEO、年度CEO、50位全球傑出人物和十大創新者。

張亞勤博士是哥倫比亞工學院2022屆學生和2020屆商學院畢業生的家長，他同時還是哥倫比亞工學院訪問委員會的成員，也是哥倫比亞商學院的高級學者。

張亞勤哥倫比亞大學畢業典禮演講英文原文：

Leading in times ofuncertainty
President Bollinger, Dean Boyce, Parentsand Students:
I am honored to be here at this veryspecial occasion, at a very special time, in the most special form. First, abig congratulation to the class of 2020 for your remarkable accomplishments. Youmade it!
I am also a proud parent of Columbia.My son is a rising junior at the engineering school, and my daughter is also aclass 2020 for the business school. I share the immense joy and incrediblepride with all the parents, we all made it too!
This is undoubtedly the mostchallenging and uncertain time in our living memory.
We see the staggering pace ofinnovation and the transformative power of the fourth industrial revolution,with technology breakthroughs such as artificial intelligence, nano-technology,quantum computing, and 5G advanced communications.
We also see the sudden disruption andcatastrophic impact of the once-in-a-century pandemic at a global scale thatchallenges the very foundation of our social fabric, economic structure, andlife style.
For those of you who have learned the 2ndlaw of thermodynamics, you know the term “entropy”, which represents degree of chaosin a dynamic system. Claud Shannon, the founding father of information theory,extended this notion to measure information uncertainty and randomness. It’s fair to say that the Class of 2020 is the one that is “given” the highest entropy. The level ofunpredictability and chaos is unprecedented for you -- and for all of us.
Talking with you reminds me of my earlyyears as a student and young engineer. My first job after graduation in 1990was developing algorithms to compress imagery and video for remote transmission,essentially to extract the maximum entropy. The work eventuallycontributed in a small way to a set of international standards known as MPEGand H.26x, the base for today’s popular video applications used in Netflix, YouTube, Skype andZoom. Over last three decades, I had the distinct opportunity to work on someof the most exciting technologies such as HDTV, autonomous driving, AI, and cloudcomputing. I have had the wildest ride with not only a great deal of fun, butalso extraordinary hardship along the way. Let me share with you three of mypersonal learnings:
1) Be an adaptive learner in the world of dataexplosion and constant change. In today’s fast changing technology industry, most of what you learned fiveyears ago is irrelevant. The most valuable skill you’vegained at Columbia is the ability to learn new things, to discern the signalfrom the noise, and to extract entropy from the ocean of data. One routine Ifind particularly helpful is to commit just 10 minutes each morning and prioritize3 things – anything new and important to me – to learn that day.
2) Have a unique point of view and perspective. When you get into the realworld, there is a natural tendency to become “polished”, to follow existing trends, and toblend in with the rest.
I ASK you tomaintain your sharpness, your edge, and your differences. When I interviewpeople, particularly young engineers, I look for their point of view, theirentropy, and their flash of ideas, which to me is far more important than beingsmooth, polished or “correct”.
3) Hold Ethics and humanity at theheart of what you do. Over 2000 years ago, the great Greek thinker Ｓock-ruh-tease put ethics as the soul forthe pursuit of truth. Around the same time, the great Chinese philosopher Confuciusplaced “Renyi”, whichessentially means humanity, as the foundation for social structure. It is nocoincidence that two of the greatest minds from vastly different cultures hadthe same idea. This has become even more critical today as we all face morechoices, confusion, and temptations. Technology is neutral, but innovatorshave purpose. Engineering is a tool, but engineers serve humanity. “Engineering for Humanity”, the vision set byDean Mary Boyce for Columbia engineering is the very core of engineering andwhat engineers are all about.
My youngfriends, this is the defining moment for you, for you to rise, to shine andanswer the historic call of duty, with not only your talent, spark andinnovations, but also compassion, courage and humanity.
Congratulations again, Class 2020 !

#5G通訊 #網路傳輸

5G時代即將來臨，許多民眾對於5G的概念僅限於「網路速度飛快」，然而5G真正的應用卻不僅僅只是這樣。日本總務省日前特地拍攝了一支「用5G與世界連結」影片，以虛擬的情境向外界展示未來5G時代的創新科技應用，其中不但包含自動駕駛、遠端醫療、同步翻譯、高畫質直播影像、無人機等技術，影片中的主角甚至還能從各地連接立體影像進行直播。

在短短3分鐘的影片內涵蓋了大量的5G科技，在影片一開始，準備前往鄉下爺爺家的男主角先是使用「智慧型眼鏡」在車內收看透過5G傳送的「360度全景攝影」球賽，感受到宛如身歷其境的臨場感。而男主角所搭乘的車則是透過5G大容量、低延遲通訊的自動駕駛計程車。

身為農民的爺爺則透過平板電腦，操控無人機至果園灑水，如此以來，即便是酷暑或是身體不舒服，也不需要勉強務農，只要一鍵即可搞定。另一方面，奶奶透過家中的鏡子與醫院進行遠端連線，接受醫師診治，並藉由5G傳送的高畫質影像，讓醫師直接確認口腔內狀況，並分析病況。

男主角下車後，走進鄉間的無人商店，透過5G的多端連線技術，不需要再將商品一個一個手動掃描，只要通過商家大門，系統就能自動感應購買的物品並進行扣款。走出商店後，不會英文的男主角遇到一位外國人問路，馬上使用智慧型手錶開啟多功能翻譯功能，透過5G的快速傳送，完成同步口譯並替外籍旅客指引目的地。

男主角抵達爺爺家前，看到優美的夕陽，便將小型無人機投擲到天空拍攝美景，透過5G將高畫質影像傳送給位於都市的姊姊。為了慶祝爺爺奶奶金婚紀念日，男主角將智慧型眼鏡遞給爺爺與奶奶，並透過多點立體影像傳送，與位於都市的姐姐和樂團進行連線音樂表演。

總務省表示，所謂的5G技術不只是「超高速」，更涵蓋了「超低延遲」、「多點同時連線」等新技術，目前政府持續強化研究開發以及與國際間的合作，最快在2020年就能實現「5G社會」。而面對即將來臨的5G時代，由政府拍攝的這段影片不但能幫助民眾更清楚且快速的理解5G對人類社會所帶來的影響，同時更直接體現了跨時代的變革。

https://www.ettoday.net/news/20190209/1374402.htm