【散熱劃時代革命-液冷散熱】
時間：2021/8/1
發文：NO.1287篇
大家好，我是 LEO
.
❖晶片效能越強-解熱難度越高
隨著半導體晶片發展-體積越來越小，電晶體密度越來越高，逐漸朝向高性能，超薄，微型化發展，電子元件散熱的空間越來越小，單位面積內所產生的熱能卻越來越高，無論是手機、電腦發熱發熱密度皆呈現指數級增長，此外，加密貨幣挖礦場，大型伺服器與資料中心，高階CPU、GPU產生的熱能更為驚人，如果熱能不能快速有效散出，輕則影響效能，嚴重會導致電腦或手機產生「電子遷移效應」，導致當機無法工作。
.
❖台積電未雨綢繆超前部署
今年7月台積電在超大型積體電路 (VLSI) 研討會，展示晶片水冷研究結果，採用水通道直接引導到晶片，藉此提高晶片散熱效率。聽起來覺得不可思議，為什麼突然做這項研究？傳統晶片散熱-在晶片上塗導熱矽脂，將熱量傳到散熱器底部，導熱管、水冷管再將熱量導到鰭片，最後風扇將鰭片的熱量吹走，完成散熱。
.
但是，若未來晶片採用 3D 堆疊技術，最新的SoIC先進封裝可以任意組合各種不同製程的晶片，除了記憶體甚至還能直接將感測器一起封裝在同一顆晶片裡面，線路的密度將是2.5D的1000倍，散熱就會遇到大瓶頸。
.
3D堆疊晶片設計更複雜，更小的微縮製程，把晶片一層一層的堆疊起來，中間部分難以有效散熱，所以台積電的研究人員認為，解決方法就是讓水在夾層電路間流動，讓水直接從晶片內帶走熱量，這是最有效的方案，這裡指的水並非一般純水，而是不會導電的介電液，實際上操作起來非常複雜且昂貴，目前處於研究階段，這顯示出解決晶片散熱問題，將是半導體產業未來重要發展趨勢之一。
.
❖晶片改朝換代推動-伺服器新設計
我們從上面描述可以知道新晶片設計只會更小，更複雜，更熱，而伺服器產業面臨的問題會更大，試想大型資料處理中心，裡面有多少伺服器？多少高階CPU、GPU都是24小時不斷電持續運作，龐大的熱能如何處理？當處理器的瓦數越來越高，一般來說，處理器的熱設計功耗超過240W就很難用風扇(氣冷)來解決，偏偏霸主Intel或是AMD新一代處理器動輒超過270甚至280W，現在馬上面臨到需要液冷散熱來帶走熱量。
.
❖跟著產業霸主的方向走準沒錯
Intel在伺服器市場，主流解決方案以x86架構為主，全球 CPU市占率約 92%左右。未來Intel 仍將保持產業龍頭的地位，圍繞它的 CPU平台的升級仍是影響伺服器硬體產業鏈周期性變化的關鍵因素。
.
2021 年第一季開始Intel最新的 Whitley Ice Lake 的處理器已向資料中心業者小量出貨，第二季開始放量，到第四季預估將占總出貨量的 40%，滲透率將大幅且快速提升，下一步，Intel英特爾預計 2022 年初量產支援 PCIe Gen5 的 Eagle Stream 平台，將會加速升級資料傳輸速度。
.
❖英特爾正式將水冷散熱放進白皮書
有趣的事情來了，產業龍頭也意識到新平台-散熱問題非常棘手，2020年Whitley平台是intel「首度」將水冷頭(注意：非浸沒式)納入技術白皮書，更誇張的事情是未來的新平台 Eagle Stream第一顆CPU Sapphire Rapids至少 300W以上，甚至將來很多GPU會達到500瓦甚至700W以上，水冷散熱方案成為唯一解方，冷卻液監控主機(CDU)與水冷頭(覆蓋在處理器上方的水冷散熱片)全世界只有三家廠商通過Intel認證，台灣的廣運(6125)是唯一兩項全拿的合格供應商。
.
❖節能減碳-省電又可以賺積分
歐盟在7月剛通過55套案，其中碳邊境調整機制，又稱碳關稅，預計自2023年起試行，2026年正式實施，先從鋼鐵、電力等產業先行，但是用電大戶的資料中心無法置身事外，跟大家分享一個數字會比較有概念，2017年中國數據中心總耗電量為1200-1300億KW，超過三峽大壩與葛洲壩電廠2017年全年發電量總和(分別為976億KW、190億KW)，占中國總發電量的2%，到了2025年資料中心耗電將高達 3842億KW，占全中國總發電量的 6%，這隻吃電怪獸肯定會被盯上，高排碳業者會被課較高關稅(碳關稅)，將進一步帶動資料中心業者積極導入液冷散熱達到「省電」與「節能減碳」的效果，甚至有望仿效電動車Tesla透過碳積分來挹注獲利，可望大幅提高液冷散熱滲透率。
.
❖水冷散熱技術門檻高-不簡單
2021年3月26日雲端資料中心伺服器開發商---緯穎科技宣佈，參與資料中心液冷廠商LiquidStack的A輪融資，並取得一席董事席位，其實早在2019年緯穎就與3M合作開發液冷方案，但是3M的電子氟化液是非導電-介電液是一種專利配方，掌握在3M手中，未來耗材都需向3M購買補充，入股LiquidStack可望取得自主技術。
.
大家知道這種-不導電的「介電液」有多貴嗎？1公斤要價100美元，一個180KW的機櫃光是介電液裝滿就要價1000萬，重點是這個介電液每年都會耗損，需要定時補充，這樣就知道賣水的概念有恐怖、有多賺了吧，得介電液者得天下。
就算目前短期重點放在一般的「冷卻水」，得到英特爾認證的兩款冷卻水，一個櫃的成本大約7~8萬元，廣運集團研發成功的介電液打七折賣，一公斤70美元就相當有競爭力，而冷卻水一個櫃更只需要8000元，重點是水要通過認證，水在管線裡面跑如何恆久不變質？裡面還必須添加抗凍劑、苔癬抑制劑等特殊配方，是不是很多眉角！這些都是LEO深入研究去挖出來的。
.
❖廣運(6125)上中下游整套系統全部整合
目前有三大產品線，水冷背門(20~25萬)/櫃，水冷頭(100~150萬)/櫃-目前英特爾首度放入新平台技術白皮書，已通過Intel認證，浸沒式機櫃(1000萬)/櫃，此外還有最重要的冷卻液監控主機(CDU)它是水冷散熱技術的根源，還有各種耗材、管線、冷卻水、介電液都是未來的發展重點。
.
傳統散熱模組雖然便宜，一個42U的機櫃，風扇加散熱模組成本頂多台幣8~10萬，但將來水冷變成剛性需求，水冷頭機櫃，水對氣120~150萬/櫃，水對水90~120萬/櫃，全球的資料中心大約有 500萬櫃，每年新增30萬櫃左右，大家可以算看看，這產值增速有多恐怖。
.
目前全世界只有2家公司有能力量產伺服器等級水冷頭機櫃，雙鴻、超眾這些傳統大廠要跨入最難的CDU(水冷監控主機)至少需要5年以上的參數與經驗值，而廣運的陳總已經深耕30年的散熱產業經驗，水冷頭機櫃的五大關鍵零件--廣運擁有四項(CDU、水冷頭、分岐管、制冷背門)盲插或快接頭，這個產業很新，很多法人也還沒那麼了解，有很多眉角，很多技術秘密，篇幅有限今天LEO就先介紹的這邊。
.
如果大家想知道更多關於這個新的「水冷散熱產業」訊息，請鎖定 LEO股民當家團隊的頻道喔，⧉傳送門在下方↓
.
❖Line群組傳送門⤵
https://lihi1.com/jjjwf
❖TG 頻道傳送門⤵
https://t.me/stock17168
天佑台灣，疫情早日結束❤️

來自創新工場大灣區人工智慧研究院的兩篇論文入選了自然語言處理領域（NLP）頂級學術會議 ACL 2020 。
這兩篇論文均聚焦中文分詞領域，是深度學習引入知識後的有益嘗試，將該領域近年來廣泛使用的各資料集上的分數全部刷至新高，在工業中也有著可觀的應用前景。

本文來自創新工場公眾號
……………………………………………………………………

創新工場兩篇論文入選ACL 2020，將中文分詞性能刷至新高

“土地，我的金箍棒在哪裡？”
“大聖，你的金箍，棒就棒在，特別配你的髮型。”

感謝神奇的中文分詞，給我們帶來了多少樂趣。豐富多變的中文行文，給人的理解造成歧義，也給AI分詞帶來挑戰。

近日，自然語言處理領域（NLP）頂級學術會議 ACL 2020 (https://acl2020.org/)正在火熱舉行。

令人振奮的是，來自創新工場大灣區人工智慧研究院的兩篇論文入選。這兩篇論文均聚焦中文分詞領域，是深度學習引入知識後的有益嘗試，將該領域近年來廣泛使用的各資料集上的分數全部刷至新高，在工業中也有著可觀的應用前景。

分詞及詞性標注是中文自然語言處理的基本任務，尤其在工業場景對分詞有非常直接的訴求，但當前沒有比較好的一體化解決方案，而且中文分詞普遍存在歧義和未登錄詞的難題。

基於此，兩篇論文各自提出了“鍵-值記憶神經網路的中文分詞模型”和“基於雙通道注意力機制的分詞及詞性標注模型”，將外部知識（資訊）創造性融入分詞及詞性標注模型，有效剔除了分詞“噪音”誤導，大幅度提升了分詞及詞性標注效果。

兩篇文章的作者有：華盛頓大學博士研究生、創新工場實習生田元賀，創新工場大灣區人工智慧研究院執行院長宋彥，創新工場科研合夥人張潼，創新工場CTO兼人工智慧工程院執行院長王詠剛等人。

ACL（The Association for ComputationalLinguistics）國際計算語言學協會是自然語言處理領域影響力最大、最具活力的國際學術組織之一，自1962年創立以來已有58年歷史，其每年夏天舉辦的年會是該領域學術頂會。

與往年不同的是，受新冠疫情影響，ACL2020全部轉為線上進行，不過這絲毫沒有減弱熱度。根據之前公佈的資料，今年大會投稿數量超過3000篇，共接收 779 篇論文，包括 571 篇長論文和 208 篇短論文，接收率為 25.2%，在全球疫情衝擊下反而是有史以來最盛大的一屆ACL會議，創新工場的技術大牛們也頂著時差連續數晚熬夜參會。

▌利用記憶神經網路，將中文分詞性能刷到歷史新高

中文分詞目的是在中文的字序列中插入分隔符號，將其切分為詞。例如，“我喜歡音樂”將被切分為“我/喜歡/音樂”(“/”表示分隔符號)。

中文語言因其特殊性，在分詞時面臨著兩個主要難點。一是歧義問題，由於中文存在大量歧義，一般的分詞工具在切分句子時可能會出錯。例如，“部分居民生活水準”，其正確的切分應為“部分/居民/生活/水準”，但存在“分居”、“民生”等歧義詞。“他從小學電腦技術”，正確的分詞是：他/從小/學/電腦技術，但也存在“小學”這種歧義詞。

二是未登錄詞問題。未登錄詞指的是不在詞表，或者是模型在訓練的過程中沒有遇見過的詞。例如經濟、醫療、科技等科學領域的專業術語或者社交媒體上的新詞，或者是人名。這類問題在跨領域分詞任務中尤其明顯。

對此，《ImprovingChinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基於鍵-值記憶神經網路的中文分詞模型。

該模型利用n元組（即一個由連續n個字組成的序列，比如“居民”是一個2元組，“生活水準”是一個4元組）提供的每個字的構詞能力，通過加（降）權重實現特定語境下的歧義消解。並通過非監督方法構建詞表，實現對特定領域的未標注文本的利用，進而提升對未登錄詞的識別。

例如，在“部分居民生活水準”這句話中，到底有多少可能成為詞的組塊？單字可成詞，如“民”；每兩個字的組合可能成詞，如“居民”；甚至四個字的組合也可能成詞，例如“居民生活”。

把這些可能成詞的組合全部找到以後，加入到該分詞模型中。通過神經網路，學習哪些詞對於最後完整表達句意的幫助更大，進而分配不同的權重。像“部分”、“居民”、“生活”、“水準”這些詞都會被突出出來，但“分居”、“民生”這些詞就會被降權處理，從而預測出正確的結果。
在“他從小學電腦技術” 這句話中，對於有歧義的部分“從小學”（有“從/小學”和“從小/學”兩種分法），該模型能夠對“從小”和“學”分配更高的權重，而對錯誤的n元組——“小學”分配較低的權重。

為了檢驗該模型的分詞效果，論文進行了嚴格的標準實驗和跨領域實驗。

實驗結果顯示，該模型在5個資料集（MSR、PKU、AS、CityU、CTB6）上的表現，均達了最好的成績（F值越高，性能越好）。（注：所選擇的五個資料集是中文分詞領域目前全世界唯一通用的標準資料集）

創新工場大灣區人工智慧研究院執行院長宋彥表示，與前人的模型進行比較發現，該模型在所有資料集上的表現均超過了之前的工作，“把中文分詞領域廣泛使用的標準資料集上的性能全部刷到了新高。”

在跨領域實驗中，論文使用網路博客資料集（CTB7）測試。實驗結果顯示，在整體F值以及未登陸詞的召回率上都有比較大提升。

▌“雙通道注意力機制”，有效剔除“噪音”誤導

第二篇論文《Joint ChineseWord Segmentation and Part-of-speech Tagging via Two-way Attentions ofAuto-analyzed Knowledge》提供了一種基於雙通道注意力機制的分詞及詞性標注模型。

中文分詞和詞性標注是兩個不同的任務。詞性標注是在已經切分好的文本中，給每一個詞標注其所屬的詞類，例如動詞、名詞、代詞、形容詞。詞性標注對後續的句子理解有重要的作用。

在詞性標注中，歧義仍然是個老大難的問題。例如，對於“他要向全班同學報告書上的內容”中，“報告書”的正確的切分和標注應為“報告_VV/書_N”。但由於“報告書”本身也是一個常見詞，一般的工具可能會將其標注為“報告書_NN”。

句法標注本身需要大量的時間和人力成本。在以往的標注工作中，使用外部自動工具獲取句法知識是主流方法。在這種情況下，如果模型不能識別並正確處理帶有雜音的句法知識，很可能會被不準確的句法知識誤導，做出錯誤的預測。

例如，在句子“他馬上功夫很好”中，“馬”和“上”應該分開（正確的標注應為“馬_NN/上_NN”）。但按照一般的句法知識，卻可能得到不準確的切分及句法關係，如“馬上”。

針對這一問題，該論文提出了一個基於雙通道注意力機制的分詞及詞性標注模型。該模型將中文分詞和詞性標注視作聯合任務，可一體化完成。模型分別對自動獲取的上下文特徵和句法知識加權，預測每個字的分詞和詞性標籤，不同的上下文特徵和句法知識在各自所屬的注意力通道內進行比較、加權，從而識別特定語境下不同上下文特徵和句法知識的貢獻。

這樣一來，那些不準確的，對模型預測貢獻小的上下文特徵和句法知識就能被識別出來，並被分配小的權重，從而避免模型被這些有噪音的資訊誤導。

即便在自動獲取的句法知識不準確的時候，該模型仍能有效識別並利用這種知識。例如，將前文有歧義、句法知識不準確的句子（“他馬上功夫很好”），輸入該雙通道注意力模型後，便得到了正確的分詞和詞性標注結果。

為了測試該模型的性能，論文在一般領域和跨領域分別進行了實驗。

一般領域實驗結果顯示，該模型在5個資料集（CTB5，CTB6，CTB7，CTB9，Universal Dependencies）的表現（F值）均超過前人的工作，也大幅度超過了斯坦福大學的 CoreNLP 工具，和伯克利大學的句法分析器。

即使是在與CTB詞性標注規範不同的UD資料集中，該模型依然能吸收不同標注帶來的知識，並使用這種知識，得到更好的效果。

而在跨領域的實驗中，和斯坦福大學的CoreNLP 工具相比，該模型也有近10個百分點的提升。

▌主動引入和分辨知識，實現中文分詞技術突破

中文分詞在中國科研領域已經有幾十年的歷史。最初的中文分詞是基於詞典構建，詞典的好壞會直接影響到最後分析的效果。如果某個新詞在詞典裡沒有，那麼模型是死活都分不出來的。

這種方式的局限性還在於，詞典和分詞兩件事情中間始終有一條鴻溝，儘管詞典可以編撰得非常全面，但在處理分詞的時候，因為每一句話都有上下文語境，往往會產生多種不同的切分方法，從而無法有效地在當前語境下對分詞結構進行恰當的指導。

從2003年開始，分詞方法出現了新的突破。研究人員提出了打標籤的方式，通過給每一個字打詞首、詞尾、詞中的標籤，不再需要構建詞典，大幅度提升了未登錄詞的召回效果。

到了2014年左右，深度學習和神經網路開始被廣泛應用到中文分詞中，打標籤的模型從之前的淺層學習變成了深度學習，但演算法本質沒有發生變化，所以提升作用並不太大。

近兩年，學界開始研究怎麼在打標籤的過程中加入外部知識和資訊。創新工場的這兩篇文章就是沿著這個路徑，用記憶神經網路的方式記錄對分詞結果有影響的 n元組，並引入對詞性標注有影響的句法知識，將分詞結果和自動獲得的知識銜接起來，既發揮了神經網路的優勢，也把知識的優勢用上，實現了分詞技術上小而有效的改進和突破。

宋彥表示，“從技術創新的角度，我們的貢獻主要有兩點。一是在現有技術的基礎上，建立了一個一體化的模型框架，使用非監督方法構建詞表，並把知識（資訊）融入進來，使用更高層次的句法知識，來幫助詞性標注，起到'他山之石，可以攻玉’的效果。”

“二是主動吸收和分辨不同的外部知識（資訊）。通過鍵-值記憶神經網路和雙通道注意力機制，進行動態權重的分配，能夠有效分辨知識，區分哪些是有效的，哪些是無效的。雖然這些知識是自動獲取的、不準確的，但‘三個臭皮匠，頂個諸葛亮’，經過有效利用，總能湊出一些有用的資訊。如何實現模型的主動吸收和分辨，就變得更加重要。”

據瞭解，今年的ACL大會，在分詞領域一共收錄了18篇論文，創新工場人工智慧工程院同時有2篇入選，也表現出ACL官方對這一貢獻的認可。

▌具備跨領域分詞能力，提升工業應用效率

中文分詞和詞性標注是最底層的應用，對於接下來的應用和任務處理非常重要。例如對於文本分類、情感分析，文本摘要、機器翻譯等，分詞都是不可或缺的基本“元件”。

宋彥表示，做此項研究的目的是主要為了拓展其工業場景的應用，正確的分詞能夠平衡公司應用開發的效率和性能，同時方便人工干預及（預）後處理。

這也是創新工場人工智慧工程院的努力方向之一。工程院成立於2016年9月，宗旨是銜接科技創新和行業賦能，做嫁接科研和產業應用的橋樑，為行業改造業務流程、提升業務效率。

工程院下設北京總部、南京研究院和大灣區研究院。大灣區研究院再下設資訊感知和理解實驗室，專注于對自然語言處理（NLP）領域的研究。執行院長宋彥本人也有超過15年的NLP領域的科研經驗。

“在工業場景使用的時候，跨領域的模型能力是一個非常直接的訴求。”宋彥表示，在某個領域的訓練模型，大概率也需要應用到其他領域。

“如何在新領域缺少資料，或者新領域只有少量未標注資料的情況下，實現模型的冷開機，依然是項巨大的挑戰。如果能利用外部知識，提高模型性能，就能有效地召回很多在訓練集中沒有出現過的新詞。”

例如搜尋引擎的廣告系統，最初也是通過組詞匹配的方式，在某個特定領域訓練其分詞模型，但在進入一個新的領域時，例如從新聞領域進入醫療領域或體育領域，效果往往會大打折扣，甚至頻頻出錯。

而使用跨領域特性後，廣告系統在進入新領域時，便無需額外的資料，就可以對它進行比較準確的分詞和標注，從而有效匹配廣告和客戶，大大提升系統運行的效率和穩定性。

目前，這兩篇論文的工具都已經開源，在下面兩個連結中，可以找到對應的所有代碼和模型，各位朋友可按需自取：

分詞工具：https://github.com/SVAIGBA/WMSeg
分詞及詞性標注工具：https://github.com/SVAIGBA/TwASP

把AI導入邊緣裝置就對了！

作者 : Duncan Stewart、Jeff Loucks，Deloitte科技/媒體/電信中心
2020-06-04

邊緣AI晶片可能會嵌入越來越多的消費性裝置，例如高階智慧型手機、平板電腦、智慧揚聲器和可穿戴裝置等。它們還將在多個企業市場中得到應用，例如機器人、攝影機、感測器和其他物聯網裝置...

德勤(Deloitte)預測，2020年，邊緣AI晶片出貨量將超過7.5億顆，銷售金額將達到26億美元，而且邊緣AI晶片的成長速度將遠高於整體晶片市場，估計到到2024年邊緣AI晶片出貨量可能超過15億顆，代表其複合年成長率(CAGR)至少達20%，是整體半導體產業(長期CAGR預測為9%)的兩倍多。

這些邊緣AI晶片可能會嵌入越來越多的消費性裝置，例如高階智慧型手機、平板電腦、智慧揚聲器和可穿戴裝置等。它們還將在多個企業市場中得到應用，例如機器人、攝影機、感測器和其他物聯網裝置。消費性應用邊緣AI晶片市場將遠大於企業應用市場，但成長速度可能會較慢，預計2020年至2024年之間，其CAGR為18%；企業應用邊緣AI晶片市場的成長速度更快，同期CAGR預計為50%。

儘管如此，無論從出貨量還是銷售金額來看，今年消費性裝置應用都將佔據整體邊緣AI晶片市場的90%以上。這些邊緣AI晶片中的絕大部分將應用於高階智慧型手機，佔據目前所有使用中的消費性邊緣AI晶片70%以上。實際上不僅是2020年，在未來幾年，AI晶片的成長將主要由智慧型手機推動。我們相信在今年預期出售的15.6億支智慧型手機中，超過三分之一都可能內含邊緣AI晶片。

由於對處理器的要求非常高，AI運算向來幾乎都在資料中心、企業核心設備或電信邊緣處理器上遠端執行，而不是在終端裝置本地執行；現在，邊緣AI晶片正在改變這一切。它們的實體尺寸更小、相對便宜、功耗更小、產生的熱量也更少，因而可以整合到手持裝置以及非消費性裝置(如機器人)中。

邊緣AI晶片可讓終端裝置能夠在本地執行密集型AI計算，減少甚至消除了將大量資料發送到遠端位置的需求，因此在可用性、速度、資料安全性和隱私性方面益處良多。從隱私和安全性方面來看，在邊緣裝置處理資料顯然更安全；個人資訊不離開手機就不會被攔截或濫用。而當邊緣AI晶片安裝在手機上時，即使未連結網路，它也可以完成所有處理。

當然，並非所有AI運算都必須在本地進行。針對某些應用，例如當裝置上的邊緣AI晶片無法處理太多資料時，將資料發送至遠端AI陣列來處理是適當的、甚至是首選方案。實際上，在大多數情況下，AI將以混合模式完成：一部分在裝置端實現，一部分在雲端實現。具體情況下應該選擇什麼樣的混合方式，要看需要完成的AI處理類型。

智慧型手機邊緣AI經濟學

並非只有智慧型手機使用邊緣AI晶片；其他裝置諸如平板電腦、可穿戴裝置、智慧揚聲器等也會採用AI晶片。短期內，其他裝置對邊緣AI晶片銷售的影響力可能會比智慧型手機小得多，原因若非這類市場沒有什麼成長(如平板電腦)，就是這類市場規模太小、無法產生實質性的影響；例如，2020年智慧揚聲器和可穿戴裝置市場總銷售量預計僅1.25億部。不過許多可穿戴裝置和智慧揚聲器都依賴邊緣AI晶片，因此其普及率已經很高。

目前，只有價格最昂貴的智慧型手機(處於價格區間頂部)才可能內置邊緣AI晶片。但是，帶有AI晶片的智慧型手機並不一定要價格昂貴到讓消費者望而卻步。

我們可以對智慧型手機的邊緣AI晶片比例進行合理的估算。目前三星(Samsung)、蘋果(Apple)和華為(Huawei)的手機處理器圖片均顯示出裸片及所有功能特性，因此可以識別出晶片的哪些部分用於哪些功能。例如，三星Exynos 9820晶片的照片顯示，其晶片總面積的大約5%專用於AI處理器，整個應用處理器SoC的成本估計為70.50美元，僅次於顯示器，是手機中第二昂貴的元件，約佔據裝置總物料成本的17%。假設AI部分的成本與裸片上的其他部分一樣，即與所佔裸片面積成正比，那麼Exynos的邊緣AI神經處理單元(NPU)大約佔裸片總成本的5%，相當於每個NPU約3.50美元。

相同的，在蘋果的A12仿生晶片上，專用於機器學習的部分約佔裸片總面積的7%。如果整顆處理器的成本為72美元，邊緣AI部分的成本大約5.10美元。華為麒麟970晶片的成本估計為52.50美元，其中2.1%用於NPU，則這部分成本應為1.10美元(當然，裸片面積並不是衡量晶片總成本中有多少比例屬於AI的唯一方法。據華為表示，麒麟970的NPU包含1.5億個電晶體，佔整體晶片55億個電晶體總數的2.7%；按這樣計算，NPU的成本較高，約1.42美元)。

儘管這裡所提到的成本差別很大，但可以合理假設，NPU的平均成本約為每晶片3.50美元。雖然每顆晶片的價格不高，但考量達到5億支的智慧型手機出貨量(還不包括平板電腦、智慧揚聲器和可穿戴裝置)，這仍然是一個很大的市場。

製造商的平均成本為3.50美元，最低可能僅1美元，因此在智慧型手機晶片中添加專用的邊緣AI NPU是很自然的事。按照正常的利潤加價幅度，製造成本增加1美元，對終端消費者而言也僅增加2美元。這意味著即使是價格低於250美元的智慧型手機，也可以享受NPU及其帶來的好處，如更好的攝影機、離線語音助理等，而價格漲幅不到1%。

AI晶片來源：自家生產還是找外部供應商？

生產智慧型手機和其他裝置的廠商取得邊緣AI晶片的方式各不相同，這主要取決於手機機型、甚至是區域市場等因素。有些公司向高通(Qualcomm)和聯發科(MediaTek)等第三方供應商採購應用處理器/數據機晶片，這兩家公司在2018年合計佔據了智慧型手機SoC市場約60%的比例。高通和聯發科提供了一系列不同價位的SoC；儘管並非都包含邊緣AI晶片，高階型號通常都會有，例如高通的Snapdragon 845和855，以及聯發科的Helio P60。

在另一方面，蘋果則完全不使用外部供應商的應用處理器晶片，而是設計並使用自己的處理器SoC，如A11、A12和A13 仿生晶片，所有這些晶片都支援邊緣AI。其他手機製造商如三星和華為則採用混合策略，也就是會從市場上的晶片供應商採購一部分SoC，其餘則使用自家研發的晶片，例如三星的Exynos 9820和華為的麒麟970/980。

兵家必爭的企業與工業應用領域邊緣AI市場

如果在智慧型手機和其他裝置中採用邊緣AI處理器好處多多，那為何不將之導入企業應用呢？事實上邊緣AI處理器已經有一些企業應用案例了，例如某些自主無人機；配備了智慧型手機應用處理器SoC的無人機，能完全在裝置端執行即時導航和避障，無需連結網路。

但是，針對智慧型手機或平板電腦最佳化的晶片並非許多企業或工業應用的正確選擇。如前面所述，智慧型手機SoC的邊緣AI部分僅佔總面積的5%，在總成本中佔據約3.50美元，功耗比整個SoC少大約95%。所以若開發出只有邊緣AI功能(加上其他一些必要功能，例如記憶體)的晶片，它的成本會更低、功耗更少且體積更小，豈不更好？

事實上，已經有這樣的晶片了。據說，有多達50家不同的公司正在開發各種各樣的AI加速晶片。在2019年就已經有獨立的邊緣AI晶片鎖定開發工程師，單價約80美元。而如果達到成千上百萬顆的量產，裝置製造商的採購成本會大幅降低，有些甚至可低至1美元(或是更少)，而有些則需要幾十美元。現在，我們以智慧型手機邊緣AI晶片作為參考標準，假設邊緣AI晶片的平均成本約為3.50美元。

除了相對便宜之外，獨立的邊緣AI處理器還具有體積小的優勢，功耗也相對較低，僅為1W到10W之間。相比之下，一個由16顆GPU和兩顆CPU組成的資料中心叢集，雖然性能非常強大，成本將高達40萬美元，而且重量達到350磅、耗電達到10萬W。

利用這類已經問世的晶片，邊緣 AI可以為企業帶來更多新的可能性，尤其是在物聯網應用方面。透過使用邊緣AI晶片，企業可以大幅提升在連網裝置端進行資料分析的能力──不僅是收集資料──並將分析結果轉化為行動，從而避免了將大量資料傳送到雲端帶來的成本、複雜性和安全性挑戰。AI晶片可以幫助解決的問題包括：

資料安全和隱私

無論企業如何謹慎小心地保護資料，只要是收集、儲存並將資料傳送到雲端，都會不可避免地使企業面臨網路安全和隱私威脅；隨著時間推移，因應此一風險變得至關重要。世界各國紛紛訂定個資保護相關法規，消費者也逐漸意識到企業正在收集他們的各種資料，而有80%的消費者表示，他們認為企業沒有盡力保護消費者隱私。諸如智慧揚聲器之類的裝置開始在醫院等場合廣泛使用，這些場合對患者隱私的管理十分嚴格。

邊緣AI晶片可在本地處理大量資料，降低個人或企業資料被攔截或濫用的可能性。例如，具有機器學習處理能力的保全攝影機可以透過分析視訊來確定其中哪些部分相關，並只將這部分視訊傳送至雲端，從而降低隱私權洩露的風險。機器學習晶片還可以識別更廣泛的語音指令，從而減少需要在雲端進行分析的音訊。準確的語音辨識功能則有助於智慧揚聲器更精準識別「喚醒詞」，以避免聽到不相關的對話。

連網困難

裝置必須連網才能在雲端處理資料，但是在某些情況下，裝置連網是不切實際的。無人機就是一個例子，其運作位置可能使得維持其連網很困難，而且連網功能本身以及將資料上傳到雲端都會縮短電池壽命。在澳洲新南威爾斯(New South Wales, Australia)以配備嵌入式機器學習功能的無人機巡邏海灘，確保泳客安全；這些無人機不必連結網路就可以識別出被海浪捲走的泳客，或者警告泳客有鯊魚和鱷魚襲擊危險。

(太)大數據

物聯網裝置會生成大量數據。舉例來說，一架Airbus A-350噴射機配備6,000多個感測器，每日飛行航程會產生的數據量達到2.5 TB。在全球範圍內，保全攝影機每天生成的數據約2,500PB。將所有這些數據資料發送到雲端儲存和分析的成本高昂且複雜，將機器學習處理器放置於感測器或攝影機等終端裝置就可以解決這個難題。例如，可以在攝影機中配備視覺處理單元(VPU)，也就是一種專用於分析或預處理數位影像的低功耗處理器SoC。借助嵌入式邊緣AI晶片，裝置可以即時分析資料，只有當相關資料需要傳送到雲端進一步分析時才會需要進行傳輸，這可大幅降低儲存和頻寬成本。

功耗限制

低功耗的機器學習晶片甚至可以讓AI運算在透過小型電池供電的裝置上執行，不會消耗過多電力。例如，Arm晶片可以嵌入呼吸器來分析資料，包括吸入肺活量和進入肺部的藥物流量。在呼吸器上完成的AI分析結果將傳送至智慧型手機應用程式，協助醫事專業人員為哮喘患者提供個人化醫療照護。

除了現在已有的低功耗邊緣AI NPU外，很多公司還致力於開發「微型機器學習」方案，也就是在微控制器單元之類的元件上實現深度學習。例如Google正在開發能讓微控制器分析資料的專用版本TensorFlow Lite，將需要發送到晶片外的資料壓縮為只有幾個位元組大小。

低延遲需求

無論是透過有線網路還是無線網路，在遠端資料中心執行AI運算都意味著往返延遲的存在，最佳情況下為1到2 毫秒(ms)，最差情況則達到幾十甚至幾百毫秒。使用邊緣AI晶片在裝置端執行AI，可以將延遲降低到奈秒(nanoseconds)等級──這對於需要收集、處理資料並即刻採取行動的應用場景至關重要。

例如自動駕駛車輛必須透過電腦視覺系統收集並處理大量資料以識別物體，同時收集和處理來自感測器的資料以控制車輛各種功能；然後它們必須立即根據這些資料做出決策，像是何時轉彎、煞車或加速，以實現安全行車。為此，自動駕駛車輛必須自己處理在車輛中收集的大量數據。低延遲對機器人應用也很重要；隨著機器人逐漸出現在工廠環境並開始與人類協同工作，低延遲將變得越來越重要。

邊緣AI在大量數據應用至關重要

邊緣AI晶片的普及可能會為消費者和企業帶來重大變化。對消費者而言，邊緣AI晶片可以實現多種功能，從解鎖手機到與語音助理對話，甚至在極端困難的條件下拍攝出令人驚歎的照片，而這些應用都不需要連結網際網路。

但從長遠來看，邊緣AI晶片對企業應用的影響可能更大，它們將把企業的物聯網應用提升到一個全新的境界。由AI晶片驅動的智慧裝置將有助於擴展現有市場，衝擊現有企業，同時改變製造、建築、物流、農業和能源等產業的利潤分配。

收集、詮釋並立即根據大量數據資料採取行動的能力，對於那些仰賴大數據的應用至關重要；未來學家們預測，這類應用將被廣泛佈署，包括視訊監控、虛擬實境、自動駕駛無人機和車輛等等，而邊緣AI晶片就是讓各種裝置取得更高智慧的主角。

附圖：圖1：AI運算技術能佈署在不同位置。

（圖片來源：Deloitte Insights）

圖2：邊緣AI晶片市場規模預測。

(圖片來源: Deloitte Insights)

圖3：三星Exynos 9820的裸晶照片顯示，其中約有5%的面積為AI處理器。

（圖片來源：ChipRebel；注釋：AnandTech）

圖4：蘋果的A12仿生晶片約有7%的面積屬於機器學習的部分。

（圖片來源：TechInsights / AnandTech）

資料來源：https://www.eettaiwan.com/20200604putting-ai-into-the-edge-is-a-no-brainer-heres-why/?fbclid=IwAR3hRYuquNfTq5VzcEWYfqyJotBLBSp4PzLNyMackrs6V43r9NEMhRZ3Ap8