AI 時代的摩爾定律？黃氏定律靠的是自身技術力將 AI 性能年年加倍

作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45

1965 年，時任快捷半導體公司工程師，也是後來英特爾（Intel）的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore’s law），預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。

後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司 NVIDIA 創始黃仁勳（Jensen Huang）名字命名的定律——「黃氏定律（Huang’s Law）」對 AI 性能的提升作出預測，預測 GPU 將推動 AI 性能實現逐年翻倍。

Intel 提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI 性能將逐年翻倍

受疫情影響，一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行，黃仁勳缺席今年的主題演講，由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家，擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。

在 GTC China 2020 演講中，Dally 稱：「如果我們真想提高電腦性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。」

Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱，MAGNet 生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流，最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所採用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為「密集波分複用」的技術，有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸，是如今連網密度的 10 倍以上。

Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著，利用「密集波分複用」技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion，借助 Legate，開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。

Dally 稱 Legate 正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵，但 GPU 的成功才是基礎。因此，GPU 當下的成功以及未來的演進都尤其重要。

GPU 是黃氏定律的基礎

今年 5 月，NVIDIA 發布了面積高達 826 平方毫米，整合了 540 億個晶體管的 7 奈米全新安培（Ampere）架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升，並可以同時滿足 AI 訓練和推理的需求。

憑藉更高精度的第三代 Tensor Core 核心，A100 GPU AI 性能相比上一代有明顯提升，此前報導，在 7 月的第三個版本 MLPerf Training v0.7 基準測試（Benchmark）結果中，NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑，共打破 16 項紀錄。

另外，在 10 月出爐的 MLPerf Inference v0.7 結果中，A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。

更強大的 A100 GPU 迅速被多個大客戶採用，迄今為止，阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例，包括圖像辨識、語音辨識，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。

Dally 在演講中提到：「經過幾代人的努力，NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術，即時生成令人驚豔的圖像，並能夠借助 AI 構建整個場景。」

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。

Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU 是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。

黃氏定律能帶來什麼？

NVIDIA 已經在構建 AI 生態，並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司，這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧交互，語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。

對於行業應用而言，星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的 AI 升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測，並且 NVIDIA 正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時藉生態的打造想要更深遠的影響 AI 發展。

黃氏定律值得我們期待。

附圖：▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。（Source：影片截圖）
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。

資料來源：https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI

〈一個在日本的刁民〉撰文：雲海

 以下呢個經驗比較長，大家希望可以耐心小小慢慢睇！你就當我一個香港刁民喺外地遇到嘅情況！
話說3月5號下晝突然間收到消息，話日本政府將會強硬執行由中國包括香港澳門入境嘅人士進行強制14日隔離！身邊好多朋友已經聯絡我問我情況點？我真係一頭霧水！完全理解唔到點解之前日本政府對疫情Hea到爆，甚至我認為所有日本武漢肺炎確診數字都係假嘅時候（因為我認為日本政府為咗東京奧運會會不惜一切，包括做假！）突然剎那間強硬到咁，而且講到明會暫時取消香港人嘅日本免簽證（後來知道包括特區護照同埋BNO持有人），咁我就即時要處理離開辦法，要知道我係因為有事情要做，一個月內兩次要去福島核電廠附近「考察」！我原本3月5號就係由福島返到東京，喺香港訂唔到6號7號嘅回程機票，就唯有8號啦！但黃昏嘅時候日本政府再確認所有強行實施隔離政策係由3月9號開始！咁我係坐3月8號黃昏6:10日本航空公司班機回香港，咁就剛剛擲界了，因為我聯想到，若果這班機深夜飛到去香港，第二日根本就冇人再飛去日本，其實取消嘅機會好大，咁好啦，我就嘗試接觸日本航空公司啦！好嘢到呢，首先根本完全打唔到電話俾佢哋，佢哋網站亦都刪除埋原本有嘅電郵地址！再喺網站留咗句說話：依家太多人接觸佢哋冇辦法會回覆之類！咁即係點呢？若果3月8號班機取消咗，之後短期內都好難返到香港！而我有一個難處，就係3月9號下晝其實我係要去醫管局旗下嘅診所攞藥，其實我已經帶晒所有藥，只能捱多一個禮拜到！咁點算好呢？咁我就即刻去查東京飛關島再由關島飛香港嘅航班，呢個係我之前諗定嘅plan B，美金都帶足啦！點知原來關島直飛香港嘅航班已經取消晒，一定要經馬尼拉，咁一來菲律賓對港人都有隔離限制，二來人質事件之後我話咗以後唔去菲律賓！咁好啦即刻去check東京飛曼谷，曼谷飛返香港嘅航線，正當想選擇邊班航空公司之際，就收到消息話泰國對港人亦都執行14天隔離令（後來消息就更加混亂），莫講話泰國消息混亂，其實日本呢邊嘅消息更加亂；首相安培講嘅嘢同外相同厚身省講嘅嘢可以係完全唔同，而且冇一個標準或者統一說法！咁我第一時間諗起嘅梗係搵返香港政府駐東京經濟貿易辦事處啦！由Google查到佢地地址同聯絡方法，咁我就即刻打電話比佢哋啦，由3月5號黃昏6:00開始打打到9:00，一係就冇人聽電話，一係就唔通，再睇清楚上面資料寫到明佢哋辦公時間一至五都係二十四小時喎！原本諗住即刻飛的士過去，諗諗吓都係聽朝先。到3月6號朝頭早10點幾我就坐的士過去，就遇上我其中一次最離奇嘅經驗：我去到正門，有一位日籍女職員即刻上前招呼我幫我撳電梯，我已經覺得好奇怪，冇理由佢會知我嚟㗎？之後佢就問清楚我係咪相關職員（我諗佢以為我係香港政府派來嘅職員）我就話唔係，我只係香港市民，想來查詢問題！佢就面色一變，趕我出去門口個三角開門位，叫我自己撳掣上去啦！（嘩！冇禮貌到呢！）這女士之後從此就消失咗啦！咁係我撳掣嘅同時就見到塊牌上邊寫着原來佢哋嘅辦公時間係上午9:30至到下晝5:30，仲有一個鐘頭lunch time添！等咗好一陣子，先有人係通話機問我咩事？我就用廣東話好清楚咁講：「我係香港嚟嘅想問關於日本政府依家嘅緊急狀態令之下嘅情況！」對方竟然用普通話同我講：「你等一下！」心都實埋！我就企係個三角門口位起碼15分鐘，不斷被開門冷風吹，直到一位聲稱係香港政府之香港人、識講廣東話嘅職員落到嚟用都幾唔好嘅禮貌問我咩事？之後仲要唔俾我進入大門任何比較冇咁大風嘅位置去問問題（原來咁樣對香港人嘅？！我交啲稅結果原來係咁嘅！）我於是乎就向佢發難，同佢講其實我依家係乜嘢都問唔到，仲有關於攞藥嘅問題萬一飛機停航唔知邊個可以幫到我......等等；但你估都估唔到個陳小姐點答我，佢話：「其實我哋呢個辦事處唔係立亂俾香港人可以嚟問嘢就問㗎！（嘩！）你係要預先打電話俾我哋做個appointment，你先可以嚟㗎！不如上網或者打電話俾我哋做咗個appointment先啦！」嘩！我真係火都嚟！我話：「琴晚打咗成晚電話無人聽電話甚至係冇Voice Mail，我點做appointment呢？好啦我我今朝特登坐的士嚟到現場問你你竟然要我做返appointment先返嚟？！」之後陳小姐仲同我講，佢本身自己唔係屬於「查詢部門」嘅同事嚟㗎，而本身比香港人查詢個部門，原本識講廣東話嗰一位職員咁岩今日唔辦公，上面工作嘅同事全部係講日文同英文！若果我堅持要用廣東話問，就幫唔到你囉！仲有仲有，其實你哋香港人唔應該搵我地囉！你應該自己打1823囉！（其實佢不斷講1823我諗佢係講錯咗，其實佢係想講1868入境處熱線，但我已經冇心情修改佢）嘩！！！！之後佢再強硬地繼續講：「陳生！你冷靜啲先！」（呢句真係所有公務員嘅死穴！）我就即刻爆佢：「琴日日本政府突然間頒發緊急狀態令，我哋而家喺日本嘅香港人乜都問唔到，你電話有冇人接！仲要呢上面寫到明你嘅廿四小時運作（後來所有職員都否認呢個說法，仲要聲稱唔知道Google喺上邊咁樣寫，我離開之後佢地就向Google提出修改變返做佢哋嘅辦公時間！）依家你仲要我去做appointment去問問題，你仲命令我去冷靜？！」之後我繼續爆：「你都幾好嘢喎！我有好大對比囉！同樣係香港政府經濟貿易辦公室，喺武漢嘅同事就可以對係湖北省嘅香港人要藥有藥、要食物有食物、要飛機有飛機、要運輸有運輸、要返香港有返香港，而且全部免費！同一個部門對喺日本嘅香港人連打個電話都做唔到！尼個落差巨大得滯啦掛！」陳小姐好似覺得應付唔到我，就想返Office話聲稱會搵佢哋嘅負責人同我講！好！我等！大概10分鐘之後，一時就話俾我聽得一個廣東話嘅職員，一時就成隊講廣東話嘅職員落晒嚟，包括佢哋嘅辦公室老頂阿頭Thomas Wu以及五位來自香港嘅入境處同事！（唔知係咪我話我係Henry Chen觸動到佢地神經呢？）胡生好似做大龍鳳咁，一落到嚟，就大大聲同我講：「陳生，唔好意思！我哋頭先上邊傾緊所以冇落嚟了解.......！」我即刻插嘴：「我諗我唔使再企喺個三角風口位度吹風可以入嚟大堂個可？」我哋所有人之後都企喺大堂張枱仔前邊，因為連一張凳都冇㗎！（真係好想知道駐東京辦事處嘅財政撥款有幾多？）之後胡生想同我握手，我就話防疫時間唔好啦！我於是繼續向胡生發難，都係表達同一個部門駐武漢同駐東京對港人嘅處理方式係落差咁巨大？！連一個應變小組或者電話都冇！！！當然胡生亦都表達其實佢哋尋日知道日本政府嘅公布之後都完全掌握唔到而家嘅情況！同埋都希望幫到我若果日航取消班機攞藥嘅問題，佢哋開頭就討論啱啱過嚟嘅入境處職員會唔會呢兩日幫我攞到，但時間上做唔到，但係佢哋完全唔覺得3月9號之後會幫我寄到藥過嚟（唔知點解湖北又做到個喎？）佢哋就話若果我真係滯留喺日本，暫時返唔到香港，會帶我去睇日本嘅醫生，請日本醫生方面幫我開藥（當然係我自費啦！）而且佢肯俾佢自己嘅卡片及聯絡電話我，有咩事可以搵佢求助，我不得不承認佢嘅公關手段係好好多！但我都向佢強調，係日本唔係得我一個香港人，有咩事要搵佢地求助並唔可能得到咁樣嘅待遇！基本嘅電話查詢都冇？連電話錄音都冇？之後胡生同幾個入境處職員都同我講：「其實你哋最好有咩事都打返入境處嘅求助熱線1868啦！」我即刻打蛇隨棍上話：「1868求助熱線我交過好多次手㗎啦！我唔能夠話佢哋係廢！不過真係完全唔掌握情況同幫唔到手囉！仲要係某程度上佢哋都要聽命於保安局嘅指揮，呢下我覺得好離奇㗎！點解入境處自己唔可以話事嘅呢？太多擲界嘅權力問題！」現場所有人就好尷尬咁望住我，唔知講咩好！咁我就話：「都唔阻你哋繼續開會啦！若果飛機繼續飛就冇問題啦，我滯留喺日本我就搵你地幫手啦！」呢個時候一位日籍職員我樓上Office衝落嚟，表達問咗日本航空公司，3月8號6:10果班飛機會照常，而且仲print咗一張香港入境處1868政府熱線嘅資料俾我參考！我講句唔該一睇，係簡體字版！（反眼）或者我喺湖北嘅話待遇會好好多嘅！我作為一個喺日本嘅刁民，要辦公室嘅阿頭嚟招呼我，我都已經好唔好意思㗎啦！
Ps我剛踏出辦事處門口，就聽到胡生好大聲咁同啲同事講咗一句：「Well done！」我當時心裏面諗，well done咗喺邊呀？我講笑咁講啦，唔通成功將武漢肺炎惹咗俾我所以well done？！要知道全程同胡生講嘢，佢都係冇戴口罩㗎！企喺我半尺位右手邊嗰個入境處職員都係冇戴口罩同我講嘢㗎，呢位職員係特登過嚟處理鑽石公主號港人嘅同事！講真！若果我之後真係惹到武漢肺炎，你都唔好問我個源頭喺邊！