AI 時代的摩爾定律？黃氏定律靠的是自身技術力將 AI 性能年年加倍

作者 雷鋒網 | 發布日期 2020 年 12 月 16 日 8:45

1965 年，時任快捷半導體公司工程師，也是後來英特爾（Intel）的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore’s law），預測積體電路上可以容納的晶體管數目大約每經過 24 個月便會增加 1 倍。

後來廣為人知的每 18 個月晶片性能將提高 1 倍的說法是由 Intel CEO 大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司 NVIDIA 創始黃仁勳（Jensen Huang）名字命名的定律——「黃氏定律（Huang’s Law）」對 AI 性能的提升作出預測，預測 GPU 將推動 AI 性能實現逐年翻倍。

Intel 提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。NVIDIA 作為當下最炙手可熱的 AI 晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI 性能將逐年翻倍

受疫情影響，一年一度展示 NVIDIA 最新技術、產品和中國合作夥伴成果的 GTC China 改為線上舉行，黃仁勳缺席今年的主題演講，由 NVIDIA 首席科學家兼研究院副總裁 Bill Dally 進行分享。Bill Dally 是全球著名的電腦科學家，擁有 120 多項專利，在 2009 年加入 NVIDIA 之前，曾任史丹佛大學電腦科學系主任。加入 NVIDIA 之後，Dally 曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域的相關研究。

在 GTC China 2020 演講中，Dally 稱：「如果我們真想提高電腦性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。」

Dally 用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的 MAGNet 工具。NVIDIA 稱，MAGNet 生成的 AI 推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為 MAGNet 採用了一系列新技術來協調並控制通過設備的訊息流，最大限度地減少數據傳輸。數據搬運是 AI 晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally 帶領的 200 人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally 說：「我們可以將連接 GPU 的 NVLink 速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。」

這個項目是 NVIDIA 與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所採用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為「密集波分複用」的技術，有望在僅一毫米大小的晶片上實現 Tb/s 級數據的傳輸，是如今連網密度的 10 倍以上。

Dally 在演講中舉例展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。這意味著，利用「密集波分複用」技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是 Dally 分享的第三個項目——全新程式語言系統原型 Legate。Legate 將一種新的編程速記融入了加速軟件庫和高級運行時環境 Legion，借助 Legate，開發者可在任何規模的系統上運行針對單一 GPU 編寫的程序——甚至適用於諸如 Selene 等搭載數千個 GPU 的巨型超級電腦。

Dally 稱 Legate 正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及 Legate 是成功實現黃氏定律的關鍵，但 GPU 的成功才是基礎。因此，GPU 當下的成功以及未來的演進都尤其重要。

GPU 是黃氏定律的基礎

今年 5 月，NVIDIA 發布了面積高達 826 平方毫米，整合了 540 億個晶體管的 7 奈米全新安培（Ampere）架構 GPU A100。相比 Volta 架構的 GPU 能夠實現 20 倍的性能提升，並可以同時滿足 AI 訓練和推理的需求。

憑藉更高精度的第三代 Tensor Core 核心，A100 GPU AI 性能相比上一代有明顯提升，此前報導，在 7 月的第三個版本 MLPerf Training v0.7 基準測試（Benchmark）結果中，NVIDIA 的 DGX SuperPOD 系統在性能上開創了 8 個全新里程碑，共打破 16 項紀錄。

另外，在 10 月出爐的 MLPerf Inference v0.7 結果中，A100 Tensor Core GPU 在雲端推理的基準測試性能是最先進 Intel CPU 的 237 倍。

更強大的 A100 GPU 迅速被多個大客戶採用，迄今為止，阿里雲、百度智能雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了 NVIDIA A100 的多款雲服務及 GPU 實例，包括圖像辨識、語音辨識，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的 A100 PCIe 版本以及 NVIDIA A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的 AI 加速系統。

Dally 在演講中提到：「經過幾代人的努力，NVIDIA 的產品將通過基於物理渲染的路徑追蹤技術，即時生成令人驚豔的圖像，並能夠借助 AI 構建整個場景。」

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，NVIDIA GPU 軟硬體的結合才能應對更多 AI 應用場景苛刻的挑戰。

Dally 在此次的 GTC China上首次公開展示了 NVIDIA 對話式 AI 框架 Jarvis 與 GauGAN 的組合。GauGAN 利用生成式對抗網路，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU 是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作夥伴激發對 AI 算力的需求和更多創新。

黃氏定律能帶來什麼？

NVIDIA 已經在構建 AI 生態，並在 GTC China 上展示了 NVIDIA 初創加速計劃從 100 多家 AI 初創公司中脫穎而出的 12 家公司，這些公司涵蓋會話人工智慧、智慧醫療 / 零售、消費者網路 / 行業應用、深度學習應用 / 加速數據科學、自主機器 / IoT / 工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。會話人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧交互，語音合成和語音辨識保證毫秒級響應。深聲科技基於 NVIDIA 的產品研發高質量中英文語音合成、聲音定制、聲音複製等語音 AI 技術。

對於行業應用而言，星雲 Clustar 利用 NVIDIA GPU 和 DGX 工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的 AI 升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對 AI 性能的提升給出了明確的預測，並且 NVIDIA 正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時藉生態的打造想要更深遠的影響 AI 發展。

黃氏定律值得我們期待。

附圖：▲ NVIDIA GPU 助推 AI 推理性能每年提升 1 倍以上。（Source：影片截圖）
▲NVIDIA 首席科學家兼研究院副總裁 Bill Dally。
▲ 搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。

資料來源：https://technews.tw/2020/12/16/huang-law-predicts-that-ai-performance-will-double-every-year/?fbclid=IwAR1vXHWAGt_b8nDRW6VUqzpAINX_n_DzJ0KwJvdBnl18s8Q1A3Thk7hgBoI

#人資小週末專訪 #職涯360達人訪談 2/5

part 2 #我對業務工作的認知

一開始當業務的時候，我其實很痛苦的，畢竟我是文學院畢業的，「目標導向」這四個字離我很遙遠，包含要陌生開發、簡報、談合約、簽約、收款，這些都是我非常陌生的事情。
　
因為陌生，也不知道會不會一直做下去，所以我給自己兩年的時間。
　
為什麼是兩年？
因為我覺得我的學習曲線裡，第一年會在學習，第二年才會開始知道如何使用。
　
我鼓勵我自己，如果這兩年做得不快樂，那我們兩年後就再也不要思考業務這件事情，我會回歸的行政執行力，我勵志做operation queen（聽起來也是很威的XD）。
　
但如果做得還不錯呢？天啊！那我的人生又更多的選擇了。
　
　
► 業務工作的四個層次
我當時候在選擇業務工作的時候，自己把業務工作分為四個層次：
　
Level 1：賣一個可以看得見、摸得著的實際商品：例如手機、筆電、書本
Level 2：賣的東西看得見，但我們不會說它是商品：例如「獵人頭」的對象是「人才」
Level 3：賣一個看不見，但是我們會使用、可以想像的：例如系統
Level 4：賣的是一個想法：例如概念（海洋保育、愛護地球等等）
　
因為只有兩年的時間，所以我第一份選擇的是獵人頭，我沒有在獵人頭界待太久，就到了系統商做業務。也就是我的業務是從level 2 到 level 3。
　
　
► 陌生開發的第一步是什麼？
我也不是第一天就會當業務，但偏偏陌生開發能力在我們這個世界裡很重要，你要如何在完全沒有名單的狀況之下打電話給你完全不認識的人，還邀約到拜訪，這是我一開始花費最多心力的。
　
廣撒EDM事實上效果奇差無比。我後來轉為認真的在打電話前研究這個品牌，閱讀所有我可以看到的採訪報導（5-10年內），搜集的資訊包含：
　
1. 公司的組織架構圖，尤其是我最一定要見到的部門主管、老闆
2. 我需要見到的人的名字、中文、英文、小名
3. 品牌的過去、現在、未來，他們的方向是什麼，遇到什麼問題，我可以切進去的角度是什麼，為什麼又非要用到你的系統才可以做到（所以對於市場上同類型服務的差異化要很了解）
4. 親自逛他們的店、使用他們的服務，把自己真的變成一個消費者來體驗所有的流程
　
然後才是開始想打電話說詞是什麼，練習所有的反對問題。
　
我記得那時候我家買了一個跟我一樣大的玩偶，我每天回家就是跟它角色扮演，假裝它是在電話中提出反對問題的客戶，而我練習如何回覆。（其實就是自問自答）
　
早上，我帶著這樣的 FAQ 去找我的主管，跟她討論這樣的回答是否合適。
　
　
▶︎ 為了第一次的對外的簡報，練習了100次
當時為了第一次的對外簡報，說練習100次真的不誇張，有50次是簡報給我當時主管聽，她也不是每次都從頭聽到尾，她有時會扮演很沒有耐心的客戶，隨便要我從某一頁開始講起。
　
另外50次，我簡報給我的朋友聽，我的想法是，如果你可以把一個東西講到連路人都聽得懂，那麼，你去客戶那邊簡報一定沒有問題。所以我開始約朋友喝咖啡，帶著電腦簡報給他們聽，也會在聚會走去參加的路上，硬要說「欸，我跟你們說，我的公司最近在做xxx（以下省略介紹詞5000字）」，到後來，我幾乎所有的朋友都聽過。
　
後來，我就練習到三分鐘、五分鐘的去講，然後嘗試白話文、講到所有的人都聽得懂。
　
這是在我對外講了第1次之前的練習，但儘管這樣，每次對外講新的結構時，依舊是需要重新練習，我記得很多週末，我都窩在咖啡廳做簡報、練習簡報。
　
　
任何事情都沒有捷徑的，是業務教會我最多的事情。
　
　

本集的影片連結在這裡：https://www.facebook.com/hricareer/posts/2334942016814403
訂閱100個常見的職涯問題FAQ：https://hi.goldfishblog.tw/100-career-questions

人資小週末 社群/社企 / 人資 i 職涯
#2020年小金魚的日更200篇挑戰 #Day51

#就地避難在家鍛鍊寫作能力

軟體工程師系統設計面試準備指南

當你有了幾年的工作經驗以後，在找工作時一定會遇到系統設計的面試，有鑒於大部分的面試心得都是針對演算法以及資料結構的程式面試 (包括我之前寫的美國軟體工程師求職心得)，對於系統設計的準備資源還真的不多，本篇要來剖析系統設計面試，介紹面試的流程、正確的心態以及準備的方向，讓大家再也不怕系統設計面試！

Medium 好讀版：https://medium.com/jktech/%E8%BB%9F%E9%AB%94%E5%B7%A5%E7%A8%8B%E5%B8%AB%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E6%BA%96%E5%82%99%E6%8C%87%E5%8D%97-acf6ab1f502f?source=friends_link&sk=ca40acf60b749cb1b32c17a868b0c1a3

#為什麼系統設計很重要？

在程式面試表現優異，可以讓你順利拿到 Offer；但是系統設計會決定你加入公司的職等！這也就是為什麼有些人有十年經驗只能拿到 Mid-Level (L4) 的 Offer，而有些人只有五年經驗卻可以拿到資深工程師以上 (L5+) 的 Offer。

另外，如果你是面試 Staff 或是 Principal 級別以上的話，除了系統設計以外，有些公司還會有 Technical Leadership 的面試，來判斷你是否有能力可以跟不同的部門合作、解決問題的不確定性、帶領資淺的人然後推動並且完成一個跨部門的大型技術專案。

簡單來說，系統設計用來判斷你是 L4 或是 L5+，Technical Leadership 面試用來判斷是 L5 或是 L6+。

#為什麼系統設計很難準備？

大多數應徵者在準備的時候會過度偏重於程式面試，原因也不難理解，程式問題的定義很清楚，有給定的輸入以及預期的輸出，就算你真的想不出來，LeetCode 上的討論區也有參考答案；這種有考古題可以參考的面試，對於台灣教育出來的人來說相對好準備，隨著你解的問題多了，你也會更有信心，不知不覺甚至還會刷上癮了呢！但系統設計卻非如此。

系統設計面試的問題描述通常很模糊 (這是刻意的)，沒有給定的輸入與輸出，比較沒有既定規則可以遵循，然後也沒有一個標準答案，針對不同系統你需要提出不同的解法然後分析優缺點，一樣的問題，面試官也會針對你過去經驗往不同的方向問，有些問題你工作上沒有碰過還真的回答不出來，這也就是為什麼很多人看到系統面試就怕了。

#到底要怎麼準備？

首先我們要先建立一個觀念：沒有任何一個人可以知道所有的技術細節

不管你的面試官有多少年經驗，不管他們再怎麼資深，在變化快速的軟體產業，沒有人可以知道所有事情，一定有你知道而他們沒聽過的事情！

請把系統設計當成分享你過去所學的面試，這個面試的目的在於展示你對於軟體架構能力的廣度跟深度，你必須可以給出大方向的架構，知道有哪些元件 (廣度)，同時針對你熟悉的領域深入探討更多細節 (深度)，並且提出幾個解決方案，分析優缺點，並且針對系統需求選擇合適的解法。

大方承認自己對某些領域的細節不熟，也是完全沒問題的，只要讓面試官了解你知道這個東西，如果要深入了解的話你知道有哪些方向要努力，這樣就夠了，因為在大型的軟體專案裡，一定是高度分工的，不會有人同時精通手機端、前端、後端、Infra 以及嵌入式或是硬體的。

講到這裡，相信你也知道如果真的要準備是準備不完的，這些知識是透過平常工作以及閱讀技術文章長期累積的成果，比較沒辦法臨時抱佛腳。

#具體來說會問什麼問題

舉例來說，一個系統設計的問題會像是這樣：如何設計 Facebook?

這類問題的描述通常會很大而且模糊，面試官不預期而且你也不可能在 45 分鐘內就設計出這些公司花了好幾年這麼多人力設計出來的產品，所以第一步要做的事情是確認需求：是要設計動態牆、Messenger、廣告系統還是推薦系統？流量跟資料量為多少？需要支援全球的使用者嗎？

確認完需求以後，會針對最重要的幾個使用場景設計你的 Data model 以及 API，接著畫出大的系統架構圖，大致上會包含客戶端 (手機版/桌面版)、Load Balancer (Reverse Proxy)、App Servers 以及資料庫，接著可以針對細節下去討論，這邊開始就很自由了。

如果你是專精在資料庫，可以討論要用什麼資料庫以及資料要怎麼存可以讓特定使用場景的讀取以及寫入效能比較好，要怎麼做資料庫的 Replication 跟 Sharding 來服務更多的使用者？

如果講到快取，哪些地方可以加快取呢 (瀏覽器前端, CDN, App Server, 資料庫)？具體來說寫入快取有哪些方式以及優缺點 (write-through, write-around, write-back)？什麼時候要失效？要讓哪些資料失效？

如果聊到微服務器架構跟 Service Mesh，不同的服務怎麼跟其他的服務溝通? control plane 要怎麼更新 data plane 的設定？如果 control plane 掛了怎麼辦？要怎麼做 service discovery? 哪一種 Load Balancing 策略比較好 (round robin, random, least connection, ring hash, or maglev)？有些服務掛了影響到整個系統怎麼辦？什麼時候需要 circuit breaker ？

如果你是手機開發者，怎麼實現離線瀏覽？手機要有資料庫嗎？要怎麼以及多常跟伺服器同步？API 要怎麼設計？如何實現 Infinite Loading？剛 Po 文以後要怎麼樣在自己手機上馬上看到？

這些問題真的列舉不完，總之看到這裡你會了解為什麼我說這個面試是沒有範圍而且也準備不完的，重點應該放在跟面試官的討論，展現你在技術方面的廣度跟深度，讓面試結束的時候能夠有一個你們兩個人都同意的設計！

#準備材料

系統設計的資源比較分散，以下是我篩選過後覺得有用的資料，按照素材的類型作分類，也歡迎大家留言補充！

#入門影片

針對完全沒有概念的新手，我建議可以先從哈佛的 CS75 Lecture 9 Scalability 開始，裡面講到的很多基礎觀念都相當重要，值得一再複習，這些概念先有了以後再閱讀其他的材料會比較有感覺：

如果你看完這篇文章後還想再多了解系統面試的形式，也可以看一個前 Facebook 工程師分享的影片：

Distributed Systems in One Lesson 也很推，裡面提到不少業界在使用的設計模式：

有一個需要付費的資源是 SystemsExpert，每個影片會講解一個系統設計重要的概念，我個人覺得內容有點淺所以沒有買，但是整理地還算不錯，如果你看完他們免費的影片有興趣還是可以參考一下。

#閱讀文章

影片是一個讓你很好理解大方向概念的方式，但是如果你要深入理解背後的原理還有怎麼運作的細節，還是得透過大量以及深度的閱讀來吸收呀！

system design primer 整理了很多系統設計的資源，資料量很夠， 個人的建議是先快速過一遍，不要細讀，先知道總共有哪些元件，大概是做什麼用的就好，接著針對有興趣的部分在深入研究，建立自己的知識庫。

Grokking the System Design Interview 也是很多人推薦的材料，主要是針對系統設計的問題提供範例解答，他們的答案可以當作一個參考，但面試的時候不要完全照著回答，還是得看跟面試官討論的結果來進行，但這個是需要付費的，有興趣可以用我的推薦碼註冊購買。

如果你不想花錢或是不確定 Grokking 的文章你喜不喜歡，有一個類似的網站 Crack the System Design Interview 整理得也還不錯。

#書籍

唸書是一個有系統性學習的方法，如果你只想選一本書來看，就選這本大家都推的系統設計聖經 — Designing Data-Intensive Applications，簡稱 DDIA，這本書適合的對象是想要長期準備系統設計或是分散式系統的人，裡面舉的例子都是實際上業界遇到的問題，不會有以前讀教科書那種工作又用不到的感覺；但也因為是書，花了一些篇幅在講解背景知識，包含以前的系統是怎麼設計的以及如何演進到現在，對短期要準備面試的人效率會有點低，所以不適合有時間壓力的人。

這本書我目前讀了一半，最大的收獲是它解釋了很多為什麼現代的系統要做這樣的設計，我們針對不同的系統要求可以有哪些解法，這些解法各有什麼優缺點，總之分散式系統就是我們解決了一個問題，但又會產生更多要考量的點，一切都是 trade-off。

但這本書也不是沒有缺點的，首先我覺得是本書的英文沒有很好讀，我常常一段看了好幾遍才知道他想表達的重點是什麼，而且，有些很重要的觀念常常藏在一段文字裡用一句話帶過，但是不太重要的觀念卻使用 Bullet Point 表達；另外這本書話常常講一半，一些觀念提到了一點卻說我們後面再聊，也因為這樣，我在考慮要不要幫大家整理每一個章節的重點，翻成中文分享給大家，有興趣的朋友麻煩拍手留言告訴我！

除此之外，Google 的 SRE Books 內容也很實在，但是每一個章節的內容是獨立的，建議大家選擇想研究的章節跳著看就好。

最後，Distributed systems for fun and profit 的內容也很好，以分散式系統的理論為主，比較沒那麼針對系統設計面試。

#還想閱讀更多嗎？

我知道光是上面的資源就已經讀不完了，但是行有餘力的話，平時也可以多看看各大公司的技術部落格或是訂閱技術週刊如 TechBridge (台灣) 、HackerNews 以及 InfoQ 等等。

此外，參考別人的經驗也是很好的方式，最近剛好幾個朋友剛找完工作，他們分享的矽谷找資深工程師工作心得分享以及2020 上半年軟工找工經驗分享也都很值得看！

最後，在工作上使用到的技術，除了會用以外，最好也要花時間去研讀技術文件，了解他們設計的考量以及支援的場景，大部分這類型針對開發者的文件寫得會比較深入，所以也是相當好的學習素材；我自己過去一年因為工作上需要整合 Envoy 到我們公司的 Traffic Infrastructure，從他們的文件中學到很多 Service Mesh 跟微服務器的重要概念，學習的深度都是其他資源無法提供的。

#總結

這篇文章我們整理了很豐富的系統設計資源，希望大家不要被這滿滿的資訊量嚇跑。

請記得，我們永遠有各種方法在短期內針對面試做準備，提升面試的表現，但這都只是一時的，沒辦法讓你一夕之間就成為專家；如果想要追求長期的持續成長，那麼沒有捷徑 — 就是養成每天學習以及閱讀的習慣，一開始真的很難看到效果，但是當你持續一週、一個月甚至是一年以後，你會明顯感受到自己的成長，這些投入的時間都是騙不了人的。

如果這篇文章對你有幫助，請拍手留言加訂閱，並且分享給更多有需要的人知道！