軟體吞噬硬體的 AI 時代，晶片跟不上演算法的進化要怎麼辦？

作者 品玩 | 發布日期 2021 年 02 月 23 日 8:00 |

身為 AI 時代的幕後英雄，晶片業正經歷漸進持續的變化。

2008 年之後，深度學習演算法逐漸興起，各種神經網絡滲透到手機、App 和物聯網。同時摩爾定律卻逐漸放緩。摩爾定律雖然叫定律，但不是物理定律或自然定律，而是半導體業發展的觀察或預測，內容為：單晶片整合度（積體電路中晶體管的密度）每 2 年（也有 18 個月之說）翻倍，帶來性能每 2 年提高 1 倍。

保證摩爾定律的前提，是晶片製程進步。經常能在新聞看到的 28 奈米、14 奈米、7 奈米、5 奈米，指的就是製程，數字越小製程越先進。隨著製程的演進，特別進入10 奈米後，逐漸逼近物理極限，難度越發增加，晶片全流程設計成本大幅增加，每代較上一代至少增加 30%~50%。

這就導致 AI 對算力需求的增長速度，遠超過通用處理器算力的增長速度。據 OpenAI 測算，從 2012 年開始，全球 AI 所用的演算量呈現等比級數增長，平均每 3.4 個月便會翻 1 倍，通用處理器算力每 18 個月至 2 年才翻 1 倍。

當通用處理器算力跟不上 AI 演算法發展，針對 AI 演算的專用處理器便誕生了，也就是常說的「AI 晶片」。目前 AI 晶片的技術內涵豐富，從架構創新到先進封裝，再到模擬大腦，都影響 AI 晶片走向。這些變化的背後，都有共同主題：以更低功耗，產生更高性能。

更靈活

2017 年圖靈獎頒給電腦架構兩位先驅 David Petterson 和 John Hennessy。2018 年圖靈獎演講時，他們聚焦於架構創新主題，指出演算體系結構正迎來新的黃金 10 年。正如他們所判斷，AI 晶片不斷出現新架構，比如英國 Graphcore 的 IPU──迥異於 CPU 和 GPU 的 AI 專用智慧處理器，已逐漸被業界認可，並 Graphcore 也獲得微軟和三星的戰略投資支援。

名為 CGRA 的架構在學界和工業界正受到越來越多關注。CGRA 全稱 Coarse Grained Reconfigurable Array（粗顆粒可重構陣列），是「可重構計算」理念的落地產物。

據《可重構計算：軟體可定義的計算引擎》一文介紹，理念最早出現在 1960 年代，由加州大學洛杉磯分校的 Estrin 提出。由於太過超前時代，直到 40 年後才獲得系統性研究。加州大學柏克萊分校的 DeHon 等將可重構計算定義為具以下特徵的體系結構：製造後晶片功能仍可客製，形成加速特定任務的硬體功能；演算功能的實現，主要依靠任務到晶片的空間映射。

簡言之，可重構晶片強調靈活性，製造後仍可透過程式語言調整，適應新演算法。形成高度對比的是 ASIC（application-specific integrated circuit，專用積體電路）。ASIC 晶片雖然性能高，卻缺乏靈活性，往往是針對單一應用或演算法設計，難以相容新演算法。

2017 年，美國國防部高級研究計劃局（Defence Advanced Research Projects Agency，DARPA）提出電子產業復興計劃（Electronics Resurgence Initiative，ERI），任務之一就是「軟體定義晶片」，打造接近 ASIC 性能、同時不犧牲靈活性。

照重構時的顆粒分別，可重構晶片可分為 CGRA 和 FPGA（field-programmable gate array，現場可程式語言邏輯門陣列）。FPGA 在業界有一定規模應用，如微軟將 FPGA 晶片帶入大型資料中心，用於加速 Bing 搜索引擎，驗證 FPGA 靈活性和演算法可更新性。但 FPGA 有局限性，不僅性能和 ASIC 有較大差距，且重程式語言門檻比較高。

CGRA 由於實現原理差異，比 FPGA 能做到更底層程式的重新設計，面積效率、能量效率和重構時間都更有優勢。可說 CGRA 同時整合通用處理器的靈活性和 ASIC 的高性能。

隨著 AI 演算逐漸從雲端下放到邊緣端和 IoT 設備，不僅演算法多樣性日益增強，晶片更零碎化，且保證低功耗的同時，也要求高性能。在這種場景下，高能效高靈活性的 CGRA 大有用武之地。

由於結構不統一、程式語言和編譯工具不成熟、易用性不夠友善，CGRA 未被業界廣泛使用，但已可看到一些嘗試。早在 2016 年，英特爾便將 CGRA 納入 Xeon 處理器。三星也曾嘗試將 CGRA 整合到 8K 電視和 Exynos 晶片。

中國清微智慧 2019 年 6 月量產全球首款 CGRA 語音晶片 TX210，同年 9 月又發表全球首款 CGRA 多模態晶片 TX510。這家公司脫胎於清華大學魏少軍教授起頭的可重構計算研究團隊，從 2006 年起就進行相關研究。據芯東西 2020 年 11 月報導，語音晶片 TX210 已出貨數百萬顆，多模組晶片 TX510 在 11 月也出貨 10 萬顆以上，主要客戶為智慧門鎖、安防和臉部支付相關廠商。

先進封裝上位

如開篇提到，由於製程逼近物理極限，摩爾定​​律逐漸放緩。同時 AI 演算法的進步，對算力需求增長迅猛，逼迫晶片業在先進製程之外探索新方向，之一便是先進封裝。

「在大數據和認知計算時代，先進封裝技術正在發揮比以往更大的作用。AI 發展對高效能、高吞吐量互連的需求，正透過先進封裝技術加速發展來滿足。 」世界第三大晶圓代工廠格羅方德平台首席技術專家 John Pellerin 聲明表示。

先進封裝是相對於傳統封裝的技術。封裝是晶片製造的最後一步：將製作好的晶片器件放入外殼，並與外界器件相連。傳統封裝的封裝效率低，有很大改良空間，而先進封裝技術致力提高整合密度。

先進封裝有很多技術分支，其中 Chiplet（小晶片／芯粒）是最近 2 年的大熱門。所謂「小晶片」，是相對傳統晶片製造方法而言。傳統晶片製造方法，是在同一塊矽晶片上，用同一種製程打造晶片。Chiplet 是將一塊完整晶片的複雜功能分解，儲存、計算和訊號處理等功能模組化成裸晶片（Die）。這些裸晶片可用不同製程製造，甚至可是不同公司提供。透過連接介面相接後，就形成一個 Chiplet 晶片網路。

據壁仞科技研究院唐杉分析，Chiplet 歷史更久且更準確的技術詞彙應該是異構整合（Heterogeneous Integration）。總體來說，此技術趨勢較清晰明確，且第一階段 Chiplet 形態技術較成熟，除了成本較高，很多高端晶片已經在用。

如 HBM 儲存器成為 Chiplet 技術早期成功應用的典型代表。AMD 在 Zen2 架構晶片使用 Chiplet 思路，CPU 用的是 7 奈米製程，I/O 使用 14 奈米製程，與完全由 7 奈米打造的晶片相比成本約低 50%。英特爾也推出基於 Chiplet 技術的 Agilex FPGA 系列產品。

不過，Chiplet 技術仍面臨諸多挑戰，最重要之一是互連介面標準。互連介面重要嗎？如果是在大公司內部，比如英特爾或 AMD，有專用協議和封閉系統，在不同裸晶片間連接問題不大。但不同公司和系統互連，同時保證高頻寬、低延遲和每比特低功耗，互連介面就非常重要了。

2017 年，DARPA 推出 CHIPS 戰略計劃（通用異構整合和 IP 重用戰略），試圖打造開放連接協議。但 DARPA 的缺點是，側重國防相關計畫，晶片數量不大，與真正商用場景有差距。因此一些晶片業公司成立組織「ODSA（開放領域特定架構）工作組」，透過制定開放的互連介面，為 Chiplet 的發展掃清障礙。

另闢蹊徑

除了在現有框架內做架構和製造創新，還有研究人員試圖跳出電腦現行的范紐曼型架構，開發真正模擬人腦的計算模式。

范紐曼架構，數據計算和儲存分開進行。RAM 存取速度往往嚴重落後處理器的計算速度，造成「記憶體牆」問題。且傳統電腦需要透過總線，連續在處理器和儲存器之間更新，導致晶片大部分功耗都消耗於讀寫數據，不是算術邏輯單元，又衍生出「功耗牆」問題。人腦則沒有「記憶體牆」和「功耗牆」問題，處理訊息和儲存一體，計算和記憶可同時進行。

另一方面，推動 AI 發展的深度神經網路，雖然名稱有「神經網路」四字，但實際上跟人腦神經網路運作機制相差甚遠。1,000 億個神經元，透過 100 萬億個神經突觸連接，使人腦能以非常低功耗（約 20 瓦）同步記憶、演算、推理和計算。相比之下，目前的深度神經網路，不僅需大規模資料訓練，運行時還要消耗極大能量。

因此如何讓 AI 像人腦一樣工作，一直是學界和業界積極探索的課題。1980 年代後期，加州理工學院教授卡弗·米德（Carver Mead）提出神經形態工程學的概念。經過多年發展，業界和學界對神經形態晶片的摸索逐漸成形。

軟體方面，稱為第三代人工神經網路的「脈衝神經網路」（Spike Neural Network，SNN）應運而生。這種網路以脈衝信號為載體，更接近人腦的運作方式。硬體方面，大型機構和公司研發相應的脈衝神經網路處理器。

早在 2008 年，DARPA 就發起計畫──神經形態自適應塑膠可擴展電子系統（Systems of Neuromorphic Adaptive Plastic Sc​​alable Electronics，簡稱 SyNAPSE，正好是「突觸」之意），希望開發出低功耗的電子神經形態電腦。

IBM Research 成為 SyNAPSE 計畫的合作方之一。2014 年發表論文展示最新成果──TrueNorth。這個類腦計算晶片擁有 100 萬個神經元，能以每秒 30 幀的速度輸入 400×240pixel 的影片，功耗僅 63 毫瓦，比范紐曼架構電腦有質的飛躍。

英特爾 2017 年展示名為 Loihi 的神經形態晶片，包含超過 20 億個晶體管、13 萬個人工神經元和 1.3 億個突觸，比一般訓練系統所需的通用計算效率高 1 千倍。2020 年 3 月，研究人員甚至在 Loihi 做到嗅覺辨識。這成果可應用於診斷疾病、檢測武器和爆炸物及立即發現麻醉劑、煙霧和一氧化碳氣味等場景。

中國清華大學類腦計算研究中心的施路平教授團隊，開發針對人工通用智慧的「天機」晶片，同時支持脈衝神經網路和深度神經網路。2019 年 8 月 1 日，天機成為中國第一款登上《Nature》雜誌封面的晶片。

儘管已有零星研究成果，但總體來說，脈衝神經網路和處理器仍是研究領域的方向之一，沒有在業界大規模應用，主要是因為基礎演算法還沒有關鍵性突破，達不到業界標準，且成本較高。

附圖：▲ 不同製程節點的晶片設計製造成本。（Source：ICBank）
▲ 可重構計算架構與現有主流計算架構在能量效率和靈活性對比。（Source：中國科學）
▲ 異構整合成示意動畫。（Source：IC 智庫）
▲ 通用處理器的典型操作耗能。（Source：中國科學）

資料來源：https://technews.tw/2021/02/23/what-to-do-if-the-chip-cannot-keep-up-with-the-evolution-of-the-algorithm/?fbclid=IwAR0Z-nVQb96jnhAFWuGGXNyUMt2sdgmyum8VVp8eD_aDOYrn2qCr7nxxn6I

拜登的當選給了許多科學家希望，這也是我對台灣某些人(尤其政治人物)押寶(這很明顯)川普感到納悶的地方... 一個候選人可以任意開除首席疫情專家，被科學人以及Nature, Science, Lancet 以及新英格蘭等頂尖科學與醫學期刊公開聲明要求民眾別把票投給他的一個人，結果台灣一堆政治人物在那邊打著反中旗幟表達挺川立場，根本只是在表達自己有多反智...

而拜登當選後，目前似乎有兩大政策與川普政府迥異，一是疫情控制，二是氣候變遷，氣候變遷上除了重返巴黎協定外，對於被款砍預算以及放寬各種管制的環保署來說，無疑是道曙光，2018年時，川普政府為了擴大油氣與煤礦產業，大開後門，逼走了許多環保署的科學家，但三民自媒體仍只會三餐播報誰的小孩亂搞哪個小女孩或暗通中共(一周前)，不會討論川普在相關議題上多智障...

至於能源問題，簡單講，這次氣候變遷對於選舉影響不是很大，例如飽受天災的佛羅里達還是給了川普，而美國現在推動再生能源從民間企業或地方政府角度來看已經很厲害，因此即便是煉油業豐富的德州，他們的票給了川普，但當地的再生能源也已經超過兩成，也有相當的技巧控制電力穩定，至於亞利桑那和內華達這次拜登拿下，有些討論則是提及氣候變遷的乾旱熱浪，而拜登的上任對於碳排放的管制、交易、氣候變遷資金的運用以及傳統化石燃料產業基礎設施計畫都會有很大的空間發揮，核能也有機會受惠於這些管制，所以我好多美國核能從業朋友即便知道目前川普滿青睞核能，但鑒於川普在由卡山核廢料處置場的反覆民粹前車之鑑，加上氣候變遷因素，最後都投給了拜登。

最後關於天然氣的問題，由於美國應該會回到多邊貿易的舞台，美國天然氣也將會成為平衡貿易的工具之一，中國、歐洲從美國進口的天然氣都可望擴大，而隨著拜登政府對化石燃料開採興致缺缺，與卡達間的新互動方式都可能導致天然氣供應的減少，為未來的天然氣不管是現貨或是長約價與量都充滿不確定性，所以還是再三強調，對台灣的能源安全影響需要被評估。

而回到科學上，期待拜登與賀媽也能接納不一樣的科學理論，例如氣候變遷仍有人為與非人為的路線與暖化優缺點之爭，所有觀點都需要被看待！

再一次天佑美國，天佑世界 ~

天下文化邀我來談談，我看這本書史迪格里茲的改革宣言的感想。

我先介紹一下史迪格里茲，大家最知道他的，就是他在2001年獲得諾貝爾經濟學獎。紐時的專欄作家，也是諾貝爾經濟學獎得主的克魯曼就有受到他的影響。所以他在美國的政治光譜裡是自由派的。也就是他很討厭川普。現在克魯曼可能比史提格里茲還有名，但我覺得他的經歷比克魯曼還完整，因為除了研究及教書之外，史提格里茲還擔任過世界銀行資深副總裁與首席經濟師，他還曾經在國際貨幣基金組織任職，還在2010-2014年間擔任經濟協會主席。他在全球的經濟學界絕對是喊水會結涷。像最近他公開批評川普的防疫的政策再這樣搞下去，美國很可能會進入經濟大蕭條。很多媒體都做了報導。

史迪格里茲這本書叫做改革宣言，要改革什麼呢?就是美國的經濟制度。在史迪格里茲來看，美國的傳統經濟模式，有幾個問題:

第一:在美國有很多人奉為聖經的自由市場機制，就是市場背後自有一支看不見的手會調節市場的說法，他認為實際上根本就不是那麼回事。他認為現在大企業跟有錢人操緃市場的那隻手更大，美國所謂的自由市場機制已經被扭曲，他舉很多例子，我只挑一個來講，比如在自由市場機制下，勞工有能力可以跟企業談條件 ，單一勞工沒辦法，就可以透過工會，若是勞工要的條件太高，企業就會倒，所以好的公司就是勞資平衡的公司。但現在，企業用各種資源影響政府政策，工會過度弱勢，這讓大部分勞方根本無法與資方抗衡，談不上勞資平衡，市場早就不自由了。

第二:雷根時代奉行，現在又被川普拿出來還魂的供給面理論，行不通。所謂的供給面理論，就是用降息跟減稅等方式，讓供給面也就是負責生產的企業成本降低，做出來的東西便宜，消費者買的意願就會高，經濟活動多，就會讓這個社會的經濟活力強，經濟就會成長，大家都受惠。但史格迪里茲認為，美國過去曾兩度試行供給面的實驗，但兩次實驗都以失敗收場。雷根施行減稅政策後，經濟成長表現不僅遠低於原先的承諾，甚至不如之前的幾十年。到布希政府施行減稅政策之後，個人儲蓄率降到幾近於零；儘管投資活動回升，主要卻是歸功於房地產投資活動，這不但沒有達到原先理想的結果，甚至衍生出新的問題。此外供給面學派常講的下滲理論，就是有錢人會從事很多經濟活動，讓經濟有很多活水，好處就會往下滲透到中低收入階級。史迪格里茲認為這也是胡說八道，因為滲下去的實在太少，最上面的1%的有錢人想盡辦法 把水留在最上面，下面的人全都沒能接收到減稅及降息的好處，還是渴得要命。

第三美國的企業跟有錢人利用資金跟影響力，讓理應監督這些企業的政府，卻變成有錢人的工具，完全不中立，一人一票，變成一元一票。

第四美國式經濟創造出太多自私自利的人。

那要怎麼矯正呢?三個字就解決了。就是大政府。在史迪格里茲來看，只有有效能的政府，才能平衡目前私人企業過度強大的缺點。他說國家財富是來自人民的創造力跟生產力。但強化經濟的同時，一定要確保經成果平等分享。也就是餅要做大，還要分得公平，能這樣做的只有政府。他並指出在過去美國從農業社會轉化到製造業為主的社會的時候是政府帶頭做，還有很多社會福利措施做搭配，是政府牽著人民的手，走過這個轉變。現在世界又面臨了機器人這些新科技的挑戰，正在從製造業為主的經濟轉為服務業為主的經濟，這還是要政府出面來主導，才能確保人民在這個轉變中，適應得過來。他還說要培養人民的創造力跟生產力，就是要靠科學跟理性，所以在這變革的過程中，政府一定要大量投資在人民的教育上，對老師們要好一點，才能教出高質量的國民。

好，我們剛講的，這算是書的主軸。但我在看這些大師級的著作時，我會希望從書中可以對一些我長期以來，一直很困惑的問題，看看大師們的想法。

好，那我第一個問題，就是全球化到底靈不靈?我看的感想是，史迪格里茲認為全球化是好的，但以前的全球化讓私人企業的利益淩駕了眾人能得到的利益，這要改，怎麼改呢?就是各國政府達成的國際協定，必需要對私人企業做更嚴格的監理。在談判國際協定時，過程也要透明，不能像以前那樣黑箱作業，才能達到讓最多人受惠的結果。

他也認為過去的全球化體系太傾向美國利益，所以一定要改得平衡才走得下去。他認為全球化不是單一價值觀。我們面對的現實狀況就是不同國家根據不同的信仰跟價值觀，以不同的方式打造自己家的制度。並非每個國家都想要充滿獨占勢力跟不平等的美國式資本主義，當然也並非每個國家都能接受中國那種高度侵略又不尊重隱私的中國式經濟。所以不由價值觀束縛的全球化經濟不可行，但由單一國家指定遊戲規則的全球化體系也行不通。所以要找到一個全球化方式，是可以以和平共存為出發點。

第二個問題是川普上來之後，造就的這個美中大對抗局勢，全世界都在選邊站，台灣也不例外。但在美國制度跟中國制度之中，到底那一個是比較好的制度?我覺得史迪格里茲的看法是:美國制度沒大家想的那麼好，但中國制度也沒大家想得那麼差。美國制度的問題我剛己經講了，那中國制度的好處在那裡呢?在史迪格里茲來看，中國制度有很多優點，比如中國讓七億多人脫貧就是偉大的成就。他還說中國稱之為中國特色的社會主義經濟非常穩健，為第三世界國家在選擇適合自己的經濟模式時，提供了一個新的可能。他甚至認為美國在貿易戰上拼不過中國，因為中國人民比較團結也比較支持本國政府，再加上中國還可以採取其他撇步來反制美國，比如壓制美國企業在中國的營運，甚至在南海採取行動。

我看到這裡，我就想，啊，他覺得中國制度比較好啊?看到後來你就知道，他也沒這麼講。史迪格里茲對民主非常重視，也就是民主跟荷包一定要兼顧，為了荷包犧牲民主，他一定不幹。他在最後的章節裡，就說，他非常認同機會的平等，正義的平等以及民主的平等。他並且一再強調價值觀的重要性，他說美國人的優點就是雖然不是全然理性，但也不是全然自私，亞當斯密強調的道德情操的重要性，這個價值觀仍然是當今美國人很重要的特質。他在文中也用“太侵略性”，“太老大哥”，來形容中國，認為跟很多國家的民情不符，不可能適用。

第三個問題是創新一定是好的嗎?這一點對我來講真的就是醍糊灌頂。我以前跑過矽谷新聞，對美國的創新精神極為著迷，一直認為創新一定是好的。但史迪格里茲認為不是。他說谷歌跟臉書這類新發明，為人類的造就的福祉還比不上抽水馬桶。他還舉美國二零年代做例子，當時美國的農業快速創新，農產品產量大增，結果反而使農產品價格大降，在1929到1932年間，農業所得下降超過70%，農民財富嚴重縮水，但又無力搬到城市去住，就只好更努力耕種，生產更多農產品，結果農產品價格更低，陷入了惡性循環。接下來都市也受到農民的影響，收入降低，沒能力買農產品，農民就更慘，都市人跟農民一起慘，後來就變成了大蕭條。

他也說這些科技公司口口聲聲把創新精神當作神主牌，事實上當把自己養大了之後，就用各種資源，維持自己在業內的優勢，對其實更創新的小企業，不是殺掉，就是用購併把人家生吞活剝。目的都不是創新，是不讓後來的人對企業構成威脅。

第四社群媒體到底能不能用政府之力來管?史迪格里茲斬釘截鐵的說，一定要。他認為各國政府應該要採取強勢的司法及立法監督行動來監督社群媒體，但是要由公民社會以公開透明的方式來參與監督。

最後講講我不同意大師的地方好了。我覺得史迪格里茲有很高的理想性，而且他對人性持樂觀的態度，所以講合作，講理性，我自己也是這一種。但最近的情勢，實在很難這麼樂觀，你看看川普的支持度，習近平的支持度，還有全球各地不斷竄出來的右派勢力，合作很困難，理性往往被各種感情淹沒，他在書尾說，情況是很壞，但現在改，還來得及，所以大家要趕快做。我是沒有那麼樂觀啦。但我很好奇大家怎麼想，所以去看書吧!

購書連結在此：

博客來：https://bookzone.pros.is/QYAPC