迎接終端AI新時代：讓運算更靠近資料所在

作者 : Andrew Brown，Strategy Analytics
2021-03-03

資料/數據(data)成長的速度越來越快。據估計，人類目前每秒產出1.7Mb的資料。智慧與個人裝置如智慧型手機、平板電腦與穿戴式裝置不但快速成長，現在我們也真正目睹物聯網(IoT)的成長，未來連網的裝置數量將遠遠超越地球的人口。

這包括種類繁多的不同裝置，像是智慧感測器與致動器，它們可以監控從震動、語音到視覺等所有的東西，以及幾乎大家可以想像到的所有東西。這些裝置無所不在，從工廠所在位置到監控攝影機、智慧手錶、智慧家庭以及自主性越來越高的車輛。隨著我們企圖測量生活週遭數位世界中更多的事物，它們的數量將持續爆炸性成長。

資料爆量成長，讓許多企業把資料從內部部署運作移到雲端。儘管集中到雲端運算的性質，在成本與資源效率、彈性與便利性有它的優點，但也有一些缺點。由於運算與儲存在遠端進行，來自終端、也就是那些在網路最邊緣裝置的資料，需要從起始點經過網際網路或其他網路，來到集中式的資料中心(例如雲端)，然後在這裡處理與儲存，最後再傳回給用戶。

對於一些傳統的應用，這種方式雖然還可以接受，但越來越多的使用場景就是無法承受終端與雲端之間，資訊被接力傳遞產生的延遲。我們必須即時做出決策，網路延遲要越小越好。基於這些原因，開始有人轉向終端運算；越來越多人轉而使用智慧終端，而去中心化的程度也越來越高。此外，在這些即時應用中產生的龐大資料量，意味著處理與智慧必須在本地以分散的方式進行。

與資料成長連袂而來的，是人工智慧與機器學習(ML)也朝終端移動，並且越來越朝終端本身移動。大量來自真實世界的資訊，需要用ML的方式來進行詮釋與採取行動。透過AI與ML，是以最小的延遲分析影像、動作、影片或數量龐大的資料，唯一可行且合乎成本效益的方式。運用AI與ML的演算法與應用將在邊緣運作，在未來還將會直接在終端裝置上進行。

資料正在帶動從集中化到分散化的轉變

隨著資訊科技市場逐漸發展與成熟，網路的設計以及在其運作的所有裝置，也都跟著進化。全盛時期從服務數千個小型客戶端的主機，一直到客戶端伺服器模型中使用的越來越本地化的個人電腦運算效能，基礎架構持續重組與最佳化，以便更貼近網路上的裝置以及符合運作應用的需求。這些需求包含檔案存取與資料儲存，以及資料處理的需求。

智慧型手機與其他行動裝置的爆炸性成長，加上物聯網的快速成長，促使我們需要為如何讓資產進行最佳的部署與安排進行評估。而影響這個評估的因素，包括網路的可用性、安全性、裝置的運算力，以及把資料從終端傳送到儲存設備的相關費用，近來也已轉向使用分散式的運算模型。

從邊緣到終端：AI與ML改變終端典範

在成本、資源效率、彈性與便利性等方面，雲端有它的優點，裝置數量的急遽增加(如圖2)，將導致資料產出量大幅增加。這些資料大部份都相當複雜且非結構化的，這也是為何企業只會分析1%~12% 的資料的原因之一。把大量非結構化的資料送到雲端的費用相當高、容易形成瓶頸，而且從能源、頻寬與運算力角度來看，相當沒有效率。

在終端執行進階處理與分析的能力，可協助為關鍵應用降低延遲、減少對雲端的依賴，並且更好地管理物聯網產出的巨量資料。

終端AI：感測、推論與行動

在終端部署更多智慧的主要原因之一，是為了創造更大的敏捷性。終端裝置處於網路的最邊緣與資料產生的地方，可以更快與更準確地做出回應，同時免除不必要的資料傳輸、延遲與資料移動中的安全風險，可以節省費用。

處理能力與神經網路的重大進展，正協助帶動終端裝置的新能力，另一股驅動力則是對即時資訊、效率(傳送較少的資訊到雲端)、自動化與在多數情況下，對近乎即時回應的需求。這是一個三道步驟的程序：傳送資料、資料推論(例如依據機器學習辨識影像、聲音或動作)，以及採取行動(如物件是披薩，冰箱的壓縮機發出正常範圍外的聲音，因此發出警告)。

感測

處理器、微控制器與感測器產生的資料量相當龐大。例如，自駕車每小時要搜集25GB的資料。智慧家庭裝置、智慧牙刷、健身追蹤器或智慧手錶持續進化，並且與以往相比，會搜集更多的資料。

它們搜集到的資料極具價值，但每次都從各個終端節點把資料推回給雲端，數量又會過多。因此必須在終端進行處理。倘若部份的作業負載能在終端本身進行，就可以大幅提升效率。

推論

終端搜集到的資料是非結構性的。當機器學習從資料擷取到關聯性時，就是在進行推論。這表示使用AI與ML工具來幫忙訓練裝置辨識物件。拜神經網路的進展之賜，機器學習工具越來越能訓練物件以高度的精準度辨識影像、聲音與動作，這對體積越來越小的裝置，極為關鍵。

例如，圖4顯示使用像ONNX、PyTorch、Caffe2、Arm NN或 Tensorflow Lite 等神經網路工具，訓練高效能的意法半導體(ST)微控制器(MCU)，以轉換成最佳化的程式碼，讓MCU進行物件辨識(這個的情況辨識對象是影像、聲音或動作)。更高效能的MCU越來越常利用這些ML工具來辨識動作、音訊或影像，而且準確度相當高，而我們接下來馬上就要對此進行檢視。這些動作越來越頻繁地從邊緣，轉移到在終端運作的MCU本身。

行動

資料一旦完成感測與推論後，結果就是行動。這有可能是回饋簡單的回應(裝置是開啟或關閉)，或針對應用情況進行最佳化(戴耳機的人正在移動中，因此會針對穩定度而非音質進行最佳化)，或是回饋迴路(根據裝置訓練取得的機器學習，輸送帶若發出聲音，顯示它可能歪掉了)。物聯網裝置將會變得更複雜且更具智慧，因為這些能力提升後，運算力也會因此增加。在我們使用新的機器學習工具後，一些之前在雲端或終端完成的關鍵功能，將可以移到終端本身的內部進行。

終端 AI：千里之行始於足下

從智慧型手機到車輛，今日所有電子裝置的核心都是許多的處理器、微控制器與感測器。它們執行各種任務，從最簡單到最複雜，並需要各式各樣的能力。例如，應用處理器是高階處理器，它們是為行動運算、智慧型手機與伺服器設計；即時處理器是為例如硬碟控制、汽車動力傳動系統，與無線通訊的基頻控制使用的非常高效能的處理器，至於微控制器處理器的矽晶圓面積則小了許多，能源效率也高出很多，同時擁有特定的功能。

這意味著利用ML工具訓練如MCU等較不複雜元件來執行的動作，之前必須透過威力更強大的元件才能完成，但現在邊緣與雲端則是理想的場所。這將讓較小型的裝置以更低的延遲執行更多種類的功能，例如智慧手錶、健康追蹤器或健康照護監控等穿戴式裝置。

隨著更多功能在較小型的終端進行，這將可以省下資源，包括資料傳輸費用與能源費用，同時也會產生極大的環境衝擊，特別是考量到全球目前已有超過200億台連網裝置，以及超過2,500億顆MCU(根據Strategy Analytics統計數據)。

TinyML、MCU與人工智慧

根據Google的TesnsorFlow 技術主管、同時也是深度學習與TinyML領域的指標人物 Pete Warden 表示：「令人相當興奮的是，我還不知道我們將如何使用這些全新的裝置，特別是它們後面代表的科技是如此的吸引人，我無法想像那些即將出現的全新應用。」

微型機器學習(TinyML)的崛起，已經催化嵌入式系統與機器學習結合，而兩者傳統上大多是獨立運作的。TinyML 捨棄在雲端上運作複雜的機器學習模型，過程包含在終端裝置內與微控制器上運作經過最佳化的模式識別模型，耗電量只有數毫瓦。

物聯網環境中有數十億個微型裝置，可以為各個產業提供更多的洞察與效率，包括消費、醫療、汽車與工業。TinyML 獲得 Arm、Google、Qualcomm、Arduino等業者的支持，可望改變我們處理物聯網資料的方式。

受惠於TinyML，微控制器搭配AI已經開始增添各種傳統上威力更強大的元件才能執行的功能。這些功能包括語音辨識(例如自然語言處理)、影像處理(例如物件辨識與識別)，以及動作(例如震動、溫度波動等)。啟用這些功能後，準確度與安全性更高，但電池的續航力卻不會打折扣，同時也考量到各種更微妙的應用。

儘管之前提到的雲端神經網路框架工具，是取用這個公用程式最常用的方法，但把AI函式庫整合進MCU，然後把本地的AI訓練與分析能力插入程式碼中也是可行的。這讓開發人員依據從感測器、麥克風與其他終端嵌入式裝置取得的訊號導出資料模式，然後從中建立模型，例如預測性維護能力。

如Arm Cortex-M55處理器與Ethos U55微神經處理器(microNPU)，利用CMSIS-DSP與CMSIS-NN等常見API來簡化程式碼的轉移性，讓MCU與共同處理器緊密耦合以加速AI功能。透過推論工具在低成本的MCU上實現AI功能並符合嵌入式設計需求極為重要，原因是具有AI功能的MCU有機會在各種物聯網應用中轉變裝置的設計。

AI在較小型、低耗電與記憶體受限的裝置中可以協助的關鍵功能，我們可以把其精華歸納至我們簡稱為「3V」的三大領域：語音(Voice，如自然語言處理)、視覺(Vision，如影像處理)以及震動(Vibration，如處理來自多種感測器的資料，包括從加速計到溫度感測器，或是來自馬達的電氣訊號)。

終端智慧對「3V」至關重要

多數的物聯網應用聚焦在一些特定的領域：基本控制(開/關)、測量(狀態、溫度、流量、噪音與震動、濕度等)、資產的狀況(所在地點以及狀況如何？)，以及安全性功能、自動化、預測性維護以及遠端遙控(詳見圖 6)。

Strategy Analytics的研究顯示，許多已經完成部署或將要部署的物聯網B2B應用，仍然只需要相對簡單的指令，如基本的開/關，以及對設備與環境狀態的監控。在消費性物聯網領域中，智慧音箱的語音控制AI已經出現爆炸性成長，成為智慧家庭指令的中樞，包括智慧插座、智慧照明、智慧攝影機、智慧門鈴，以及智慧恆溫器等。消費性裝置如藍牙耳機現在已經具備情境感知功能，可以依據地點與環境，在音質優先與穩定度優先之間自動切換。

如同我們檢視的結果，終端AI可以在「3V」核心領域提供價值，而它觸及的許多物聯網領域，遍及B2B與B2C的應用：

震動：包含來自多種感測器資料的處理，從加速計感測器到溫度感測器，或來自馬達的電氣訊號。
視覺：影像與影片辨識；分析與識別靜止影像或影片內物件的能力。
語音：包括自然語言處理(NLP)、瞭解人類口中說出與寫出的語言的能力，以及使用人類語言與人類交談的能力-自然語言產生(NLG)。
垂直市場中有多種可以實作AI技術的使用場景：

震動

可以用來把智慧帶進MCU中的終端AI的進展，有各式各樣的不同應用領域，對於成本與物聯網裝置與應用的效用，都會帶來衝擊。這包括我們在圖6中點出的數個關鍵物聯網應用領域，包括：

溫度監控；
壓力監控；
溼度監控；
物理動作，包括滑倒與跌倒偵測；
物質檢測(漏水、瓦斯漏氣等) ；
磁通量(如鄰近感測器與流量監控) ；
感測器融合(見圖7)；
電場變化。

一如我們將在使用場景單元中檢視的，這些能力有許多可以應用在各種被普遍部署的物聯網應用中。

語音

語音是進化的產物，也是人類溝通非常有效率的方式。因此我們常常想要用語音來對機器下指令，也不令人意外；聲音檢測是持續成長的類別。語音啟動在智慧家庭應用中很常見，例如智慧音箱，而它也逐漸成為啟動智慧家庭裝置與智慧家電的語音中樞，如電視、遊戲主機與其他新的電器。

在工業環境中，供車床、銑床與磨床等電腦數值控制(CNC)機器使用的電腦語音引擎正方興未艾。iTSpeex的ATHENA4是第一批專為這些產品設計的語音啟動作業系統。這些產品往往因為安全原因，有離線語音處理的需求，因此終端 AI 語音發展在這裡也創造出有趣的機會。用戶可以指示機器執行特定的運作，並從機器手冊與工廠文件，立即取用資訊。

語音整合在車輛中也相當關鍵。OEM 代工廠商持續對車載娛樂系統中的語音辨識系統，進行大量投資。語音有潛力成為最安全的輸入模式，因為它可以讓駕駛的眼睛持續盯著道路，而雙手仍持續握著方向盤。

對於使用觸控螢幕或硬體控制器通常需要多道步驟的複雜任務，語音辨識系統特別能勝任。這些任務包括輸入文字簡訊、輸入目的地、播放特定歌曲或歌曲子集，以及選擇廣播電台頻道。其他的服務包含如拋錨服務(或bCall)與禮賓服務。

視覺

正如我們之前已經檢視過，終端 AI 提供視覺領域全新的機會，特別是與物件檢測及辨識相關。這可能包括觀察生產線的製造瑕疵，以及找出自動販賣機需要補貨的庫存。其他實例包括農業應用，例如依據大小與品質為農產品分級。

曳引機裝上機器視覺攝影機後，我們幾乎可以即時檢測出雜草。雜草冒出後，AI可以分類雜草並估算它對農產收穫的潛在威脅。這讓農民可以鎖定特定的雜草，並打造客製的除草解決方案。機器視覺然後可以檢測除草劑的效用，並找出農地中仍具抗藥性的殘餘雜草。

使用場景

預測性維護工具已經從擷取與比較震動的量測資料，進化到提出即時的資產監控。藉由連接物聯網感測器裝置與維護軟體，我們也可能做到遠端監控。

震動分析

這種類型的預測性維護在旋轉型機器密集的製造工廠裡，相當常見。震動分析可以揭露鬆脫、不平衡、錯位與軸承磨損等狀況。例如，把震動計量器接上靠近選煤廠離心泵浦內部承軸處，就可以讓工程師建立起正常震動範圍的基線。超出這個範圍的震動，可能顯示滾珠軸承出現鬆動，需要更換。

磁感測器融合

磁感測器利用磁性浮筒與一系列可以感應並與液體表面一起移動的感測器，測量液面的高低。所有的這些應用都使用一個固定面上的磁感測器，它與附近平面的磁鐵一起作動，與這個磁鐵相對應的感測器也會移動。

聲學分析(聲音)

與震動分析相似，聲測方位分析也是供潤滑技師使用，主要是專注在主動採取潤滑措施。這意味我們可以避免移動設備時產生的過度磨損，否則會為了修理造成代價高昂的停機。實際的例子可能包括測量輸送皮帶的承軸狀況。出現過度磨損時，承軸會因為潤滑不足或錯位出現故障，可能造成整個生產流程的中斷。

聲學分析(超音波)

聲音聲學分析雖然可以用來進行主動與預測性維護，超音波聲學分析卻只能用於預測性維護。它可以在超音波範圍內找出與機器摩擦及壓力相關的聲音，並使用在會發出較細微聲音的電氣設備與機器設備。我們可以說這一類型的分析與震動或油量分析相比，更可以預測即將出現的故障。目前它部署起來比其他種類的預防性維護花費較高，但終端 AI 的進展可以促成這種細微層級的聲學檢測，大幅降低部署的費用。

熱顯影

熱顯影利用紅外線影像來監控互動機器零件的溫度，讓任何異常情況很快變得顯而易見。具備終端 AI 能力的裝置，可以長期檢測微細的變化。與其他對事故敏感的監視器一樣，它們會觸發排程系統，自動採取適當的行動來預防零件故障。

消費者與智慧家庭

將語音運用在消費者與智慧家庭，是最常看到的場景之一。這包括智慧型手機與平板電腦上、未包含電話整合功能的裝置，例如螢幕尺寸有限的穿戴式裝置。這類型的裝置包含智慧手錶與健康穿戴式裝置，可以為各種功能提供免動手的語音啟動。像 Amazon 的 Echo 或 Google 的 Home 等智慧音箱市場的成長，說明消費者對於可接收與提供語音互動等現有裝置的強勁需求，與日俱增。

消費者基於各種理由使用智慧音箱，最常見的使用場景為：

聽音樂；
控制如照明等智慧家庭裝置；
取得新聞與天氣預報的更新；
建立購物與待辦事項清單。

除了像智慧音箱與智慧電視等消費裝置，智慧家庭裝置語音的使用，也顯現相當的潛力。諸如連網門鈴(如 ring.com)等裝置與連網的煙霧偵測器(例如 Nest Protect 煙霧與一氧化碳警報)目前都已上市可供消費者選購，它們結合了語音與視覺的感測器融合功能以及運動檢測。有了連網的煙霧偵測器，裝置在偵測到煙霧或一氧化碳時，可以發出語音警告。

終端 AI 為強化這些能力提供了全新機會，而且常常結合震動(動作)、視覺與語音控制。例如，增加姿態辨識來控制例如電視等家電，或是把語音控制嵌入白色家電，即是以最低成本強化功能性最直接的方式。

健康照護

用來發現醫護資訊的 AI 驅動終端裝置的應用，將為病況的治療與診斷，提供更多的價值。這種資訊可能是資料，也可能是影像、影片以及說出的話，我們可以透過 AI 進行型態與診斷分析。這些資料將引發全新、更有效的治療方法，為整個產業節省成本。受惠於終端 AI 的進展，像 Google Duplex 等語音系統的複雜性將會降低。例如門診預約等勞力密集的工作，也可以轉換成 AI 活動。利用自然語言語音來延伸 AI 的使用，也可以把 AI 用在第一線的病人診斷，然後再由醫師接手提供諮詢。

其他健康照護實例包括像 Wewalk5 等物件，這是一個供半盲與全盲人員使用的智慧拐杖。它使用感測器來檢測胸口水平以上的物件，並搭配 Google Maps 與 Amazon Alexa 等 app，方便使用者提出問題。

結論

由於連網的終端裝置數量越來越多，這個世界也越來越複雜。連接到網際網路的裝置已經超過 300 億個，而微控制器的數量也超過 2,500 億，每年還會增加約 300 億個。越來越多的程序開始進行自動化，不過，把大量資料傳送到雲端涉及的延遲以及邊緣運算的額外費用，意味著許多全新、令人興奮且引人矚目的物聯網使用場景，可能無法開花結果。

解決這些挑戰的答案，並不是為雲端資料中心持續增添運算力。降低出現在邊緣的延遲雖然會有幫助，但不會解決日益分散的世界的所有挑戰。我們需要把智能應用到基礎架構中。

儘管為終端裝置增添先進的運算能力在十年前仍不可行，TinyML 技術近來的提升，已經讓位處相當邊緣的裝置 (也就是終端本身)增添智能的機會大大改觀。在終端增加運算與人工智慧能力，可以讓我們在源頭搜集到更多更具關聯性與相關的資訊。隨著裝置與資料的數量持續攀升，在源頭掌握情境化與具關聯性的資料，具有極大的價值，並將開啟全新的使用場景與營收機會。

終端裝置的機器學習，可以促成全新的終端 AI 世界。新的應用場景正在崛起，甚至跳過傳送大量資料的需求，因而紓解資料傳輸的瓶頸與延遲，並在各種作業環境中創造全新機會。終端 AI 將為我們開啟一個充滿全新機會與應用場景的世界，其中還有很多我們現在想像不到的機會。

附圖：圖1：從集中式到分散式運算的轉變。
(資料來源：《The End of Cloud Computing》，by Peter Levine，Andreessen Horowitz)
圖2：全球上網裝置安裝量。
(資料來源：Strategy Analytics)
圖3：深度學習流程。
圖4：MCU的視覺、震動與語音。
(資料來源：意法半導體)
圖5：AI 工具集執行模型轉換，以便在MCU上執行經最佳化的神經網路推論。
(資料來源：意法半導體)
圖6：物聯網企業對企業應用的使用-目前與未來。
(資料來源：Strategy Analytics)
圖7：促成情境感知的感測器融合。
(資料來源：恩智浦半導體)

資料來源：https://www.eettaiwan.com/20210303nt31-the-dawn-of-endpoint-ai-bringing-compute-closer-to-data/?fbclid=IwAR0JTRpNsJUl-DmSNpfIcymGQpkQaUgXixEaczwDpELxGCaCeJpkTyoqUtI

把AI導入邊緣裝置就對了！

作者 : Duncan Stewart、Jeff Loucks，Deloitte科技/媒體/電信中心
2020-06-04

邊緣AI晶片可能會嵌入越來越多的消費性裝置，例如高階智慧型手機、平板電腦、智慧揚聲器和可穿戴裝置等。它們還將在多個企業市場中得到應用，例如機器人、攝影機、感測器和其他物聯網裝置...

德勤(Deloitte)預測，2020年，邊緣AI晶片出貨量將超過7.5億顆，銷售金額將達到26億美元，而且邊緣AI晶片的成長速度將遠高於整體晶片市場，估計到到2024年邊緣AI晶片出貨量可能超過15億顆，代表其複合年成長率(CAGR)至少達20%，是整體半導體產業(長期CAGR預測為9%)的兩倍多。

這些邊緣AI晶片可能會嵌入越來越多的消費性裝置，例如高階智慧型手機、平板電腦、智慧揚聲器和可穿戴裝置等。它們還將在多個企業市場中得到應用，例如機器人、攝影機、感測器和其他物聯網裝置。消費性應用邊緣AI晶片市場將遠大於企業應用市場，但成長速度可能會較慢，預計2020年至2024年之間，其CAGR為18%；企業應用邊緣AI晶片市場的成長速度更快，同期CAGR預計為50%。

儘管如此，無論從出貨量還是銷售金額來看，今年消費性裝置應用都將佔據整體邊緣AI晶片市場的90%以上。這些邊緣AI晶片中的絕大部分將應用於高階智慧型手機，佔據目前所有使用中的消費性邊緣AI晶片70%以上。實際上不僅是2020年，在未來幾年，AI晶片的成長將主要由智慧型手機推動。我們相信在今年預期出售的15.6億支智慧型手機中，超過三分之一都可能內含邊緣AI晶片。

由於對處理器的要求非常高，AI運算向來幾乎都在資料中心、企業核心設備或電信邊緣處理器上遠端執行，而不是在終端裝置本地執行；現在，邊緣AI晶片正在改變這一切。它們的實體尺寸更小、相對便宜、功耗更小、產生的熱量也更少，因而可以整合到手持裝置以及非消費性裝置(如機器人)中。

邊緣AI晶片可讓終端裝置能夠在本地執行密集型AI計算，減少甚至消除了將大量資料發送到遠端位置的需求，因此在可用性、速度、資料安全性和隱私性方面益處良多。從隱私和安全性方面來看，在邊緣裝置處理資料顯然更安全；個人資訊不離開手機就不會被攔截或濫用。而當邊緣AI晶片安裝在手機上時，即使未連結網路，它也可以完成所有處理。

當然，並非所有AI運算都必須在本地進行。針對某些應用，例如當裝置上的邊緣AI晶片無法處理太多資料時，將資料發送至遠端AI陣列來處理是適當的、甚至是首選方案。實際上，在大多數情況下，AI將以混合模式完成：一部分在裝置端實現，一部分在雲端實現。具體情況下應該選擇什麼樣的混合方式，要看需要完成的AI處理類型。

智慧型手機邊緣AI經濟學

並非只有智慧型手機使用邊緣AI晶片；其他裝置諸如平板電腦、可穿戴裝置、智慧揚聲器等也會採用AI晶片。短期內，其他裝置對邊緣AI晶片銷售的影響力可能會比智慧型手機小得多，原因若非這類市場沒有什麼成長(如平板電腦)，就是這類市場規模太小、無法產生實質性的影響；例如，2020年智慧揚聲器和可穿戴裝置市場總銷售量預計僅1.25億部。不過許多可穿戴裝置和智慧揚聲器都依賴邊緣AI晶片，因此其普及率已經很高。

目前，只有價格最昂貴的智慧型手機(處於價格區間頂部)才可能內置邊緣AI晶片。但是，帶有AI晶片的智慧型手機並不一定要價格昂貴到讓消費者望而卻步。

我們可以對智慧型手機的邊緣AI晶片比例進行合理的估算。目前三星(Samsung)、蘋果(Apple)和華為(Huawei)的手機處理器圖片均顯示出裸片及所有功能特性，因此可以識別出晶片的哪些部分用於哪些功能。例如，三星Exynos 9820晶片的照片顯示，其晶片總面積的大約5%專用於AI處理器，整個應用處理器SoC的成本估計為70.50美元，僅次於顯示器，是手機中第二昂貴的元件，約佔據裝置總物料成本的17%。假設AI部分的成本與裸片上的其他部分一樣，即與所佔裸片面積成正比，那麼Exynos的邊緣AI神經處理單元(NPU)大約佔裸片總成本的5%，相當於每個NPU約3.50美元。

相同的，在蘋果的A12仿生晶片上，專用於機器學習的部分約佔裸片總面積的7%。如果整顆處理器的成本為72美元，邊緣AI部分的成本大約5.10美元。華為麒麟970晶片的成本估計為52.50美元，其中2.1%用於NPU，則這部分成本應為1.10美元(當然，裸片面積並不是衡量晶片總成本中有多少比例屬於AI的唯一方法。據華為表示，麒麟970的NPU包含1.5億個電晶體，佔整體晶片55億個電晶體總數的2.7%；按這樣計算，NPU的成本較高，約1.42美元)。

儘管這裡所提到的成本差別很大，但可以合理假設，NPU的平均成本約為每晶片3.50美元。雖然每顆晶片的價格不高，但考量達到5億支的智慧型手機出貨量(還不包括平板電腦、智慧揚聲器和可穿戴裝置)，這仍然是一個很大的市場。

製造商的平均成本為3.50美元，最低可能僅1美元，因此在智慧型手機晶片中添加專用的邊緣AI NPU是很自然的事。按照正常的利潤加價幅度，製造成本增加1美元，對終端消費者而言也僅增加2美元。這意味著即使是價格低於250美元的智慧型手機，也可以享受NPU及其帶來的好處，如更好的攝影機、離線語音助理等，而價格漲幅不到1%。

AI晶片來源：自家生產還是找外部供應商？

生產智慧型手機和其他裝置的廠商取得邊緣AI晶片的方式各不相同，這主要取決於手機機型、甚至是區域市場等因素。有些公司向高通(Qualcomm)和聯發科(MediaTek)等第三方供應商採購應用處理器/數據機晶片，這兩家公司在2018年合計佔據了智慧型手機SoC市場約60%的比例。高通和聯發科提供了一系列不同價位的SoC；儘管並非都包含邊緣AI晶片，高階型號通常都會有，例如高通的Snapdragon 845和855，以及聯發科的Helio P60。

在另一方面，蘋果則完全不使用外部供應商的應用處理器晶片，而是設計並使用自己的處理器SoC，如A11、A12和A13 仿生晶片，所有這些晶片都支援邊緣AI。其他手機製造商如三星和華為則採用混合策略，也就是會從市場上的晶片供應商採購一部分SoC，其餘則使用自家研發的晶片，例如三星的Exynos 9820和華為的麒麟970/980。

兵家必爭的企業與工業應用領域邊緣AI市場

如果在智慧型手機和其他裝置中採用邊緣AI處理器好處多多，那為何不將之導入企業應用呢？事實上邊緣AI處理器已經有一些企業應用案例了，例如某些自主無人機；配備了智慧型手機應用處理器SoC的無人機，能完全在裝置端執行即時導航和避障，無需連結網路。

但是，針對智慧型手機或平板電腦最佳化的晶片並非許多企業或工業應用的正確選擇。如前面所述，智慧型手機SoC的邊緣AI部分僅佔總面積的5%，在總成本中佔據約3.50美元，功耗比整個SoC少大約95%。所以若開發出只有邊緣AI功能(加上其他一些必要功能，例如記憶體)的晶片，它的成本會更低、功耗更少且體積更小，豈不更好？

事實上，已經有這樣的晶片了。據說，有多達50家不同的公司正在開發各種各樣的AI加速晶片。在2019年就已經有獨立的邊緣AI晶片鎖定開發工程師，單價約80美元。而如果達到成千上百萬顆的量產，裝置製造商的採購成本會大幅降低，有些甚至可低至1美元(或是更少)，而有些則需要幾十美元。現在，我們以智慧型手機邊緣AI晶片作為參考標準，假設邊緣AI晶片的平均成本約為3.50美元。

除了相對便宜之外，獨立的邊緣AI處理器還具有體積小的優勢，功耗也相對較低，僅為1W到10W之間。相比之下，一個由16顆GPU和兩顆CPU組成的資料中心叢集，雖然性能非常強大，成本將高達40萬美元，而且重量達到350磅、耗電達到10萬W。

利用這類已經問世的晶片，邊緣 AI可以為企業帶來更多新的可能性，尤其是在物聯網應用方面。透過使用邊緣AI晶片，企業可以大幅提升在連網裝置端進行資料分析的能力──不僅是收集資料──並將分析結果轉化為行動，從而避免了將大量資料傳送到雲端帶來的成本、複雜性和安全性挑戰。AI晶片可以幫助解決的問題包括：

資料安全和隱私

無論企業如何謹慎小心地保護資料，只要是收集、儲存並將資料傳送到雲端，都會不可避免地使企業面臨網路安全和隱私威脅；隨著時間推移，因應此一風險變得至關重要。世界各國紛紛訂定個資保護相關法規，消費者也逐漸意識到企業正在收集他們的各種資料，而有80%的消費者表示，他們認為企業沒有盡力保護消費者隱私。諸如智慧揚聲器之類的裝置開始在醫院等場合廣泛使用，這些場合對患者隱私的管理十分嚴格。

邊緣AI晶片可在本地處理大量資料，降低個人或企業資料被攔截或濫用的可能性。例如，具有機器學習處理能力的保全攝影機可以透過分析視訊來確定其中哪些部分相關，並只將這部分視訊傳送至雲端，從而降低隱私權洩露的風險。機器學習晶片還可以識別更廣泛的語音指令，從而減少需要在雲端進行分析的音訊。準確的語音辨識功能則有助於智慧揚聲器更精準識別「喚醒詞」，以避免聽到不相關的對話。

連網困難

裝置必須連網才能在雲端處理資料，但是在某些情況下，裝置連網是不切實際的。無人機就是一個例子，其運作位置可能使得維持其連網很困難，而且連網功能本身以及將資料上傳到雲端都會縮短電池壽命。在澳洲新南威爾斯(New South Wales, Australia)以配備嵌入式機器學習功能的無人機巡邏海灘，確保泳客安全；這些無人機不必連結網路就可以識別出被海浪捲走的泳客，或者警告泳客有鯊魚和鱷魚襲擊危險。

(太)大數據

物聯網裝置會生成大量數據。舉例來說，一架Airbus A-350噴射機配備6,000多個感測器，每日飛行航程會產生的數據量達到2.5 TB。在全球範圍內，保全攝影機每天生成的數據約2,500PB。將所有這些數據資料發送到雲端儲存和分析的成本高昂且複雜，將機器學習處理器放置於感測器或攝影機等終端裝置就可以解決這個難題。例如，可以在攝影機中配備視覺處理單元(VPU)，也就是一種專用於分析或預處理數位影像的低功耗處理器SoC。借助嵌入式邊緣AI晶片，裝置可以即時分析資料，只有當相關資料需要傳送到雲端進一步分析時才會需要進行傳輸，這可大幅降低儲存和頻寬成本。

功耗限制

低功耗的機器學習晶片甚至可以讓AI運算在透過小型電池供電的裝置上執行，不會消耗過多電力。例如，Arm晶片可以嵌入呼吸器來分析資料，包括吸入肺活量和進入肺部的藥物流量。在呼吸器上完成的AI分析結果將傳送至智慧型手機應用程式，協助醫事專業人員為哮喘患者提供個人化醫療照護。

除了現在已有的低功耗邊緣AI NPU外，很多公司還致力於開發「微型機器學習」方案，也就是在微控制器單元之類的元件上實現深度學習。例如Google正在開發能讓微控制器分析資料的專用版本TensorFlow Lite，將需要發送到晶片外的資料壓縮為只有幾個位元組大小。

低延遲需求

無論是透過有線網路還是無線網路，在遠端資料中心執行AI運算都意味著往返延遲的存在，最佳情況下為1到2 毫秒(ms)，最差情況則達到幾十甚至幾百毫秒。使用邊緣AI晶片在裝置端執行AI，可以將延遲降低到奈秒(nanoseconds)等級──這對於需要收集、處理資料並即刻採取行動的應用場景至關重要。

例如自動駕駛車輛必須透過電腦視覺系統收集並處理大量資料以識別物體，同時收集和處理來自感測器的資料以控制車輛各種功能；然後它們必須立即根據這些資料做出決策，像是何時轉彎、煞車或加速，以實現安全行車。為此，自動駕駛車輛必須自己處理在車輛中收集的大量數據。低延遲對機器人應用也很重要；隨著機器人逐漸出現在工廠環境並開始與人類協同工作，低延遲將變得越來越重要。

邊緣AI在大量數據應用至關重要

邊緣AI晶片的普及可能會為消費者和企業帶來重大變化。對消費者而言，邊緣AI晶片可以實現多種功能，從解鎖手機到與語音助理對話，甚至在極端困難的條件下拍攝出令人驚歎的照片，而這些應用都不需要連結網際網路。

但從長遠來看，邊緣AI晶片對企業應用的影響可能更大，它們將把企業的物聯網應用提升到一個全新的境界。由AI晶片驅動的智慧裝置將有助於擴展現有市場，衝擊現有企業，同時改變製造、建築、物流、農業和能源等產業的利潤分配。

收集、詮釋並立即根據大量數據資料採取行動的能力，對於那些仰賴大數據的應用至關重要；未來學家們預測，這類應用將被廣泛佈署，包括視訊監控、虛擬實境、自動駕駛無人機和車輛等等，而邊緣AI晶片就是讓各種裝置取得更高智慧的主角。

附圖：圖1：AI運算技術能佈署在不同位置。

（圖片來源：Deloitte Insights）

圖2：邊緣AI晶片市場規模預測。

(圖片來源: Deloitte Insights)

圖3：三星Exynos 9820的裸晶照片顯示，其中約有5%的面積為AI處理器。

（圖片來源：ChipRebel；注釋：AnandTech）

圖4：蘋果的A12仿生晶片約有7%的面積屬於機器學習的部分。

（圖片來源：TechInsights / AnandTech）

資料來源：https://www.eettaiwan.com/20200604putting-ai-into-the-edge-is-a-no-brainer-heres-why/?fbclid=IwAR3hRYuquNfTq5VzcEWYfqyJotBLBSp4PzLNyMackrs6V43r9NEMhRZ3Ap8

現在開始訂閱黑仔熊的頻道吧!! https://goo.gl/nXpYUS
VLOG系列影片:https://goo.gl/ldgZAq
小道具↓↓
腳架:SIRUI 3T-35K + JOBY gorillapod slr zoom
鏡頭:Canon 35mm + Canon 50mm
滑鼠:羅技 Mx anywhere 2
線材:耳麥音源分離線
Music https://soundcloud.com/dyallas/still-there

我使用設備 ↓↓
相機 CAMERA : Canon 77D
鏡頭 LENS : Canon EF-S 10-22 / f3.5-4.5 USM
麥克風 MICROPHONE : SHURE-VP83
腳架 Tripod : SIRUI 3T-35K + JOBY gorillapod slr zoom
運動攝影機 Action camera : Garmin virb ultra 30
----------About this channel----------
實況內容經常爆粗口、糟糕語言，觀看者請多見諒。
有任何問題或希望我玩的遊戲，歡迎以留言或各種方式讓我知道喔！

另外也別忘了支持我們成立的小小團隊「PandaPantus」，除了我以外還有Neko嗚喵的各種合作喔!!

黑仔熊相關傳送門:
Twitch實況台 http://www.twitch.tv/pandapantus
FB粉絲團 https://www.facebook.com/blackbear1207
Instagram https://www.instagram.com/thebear1207/
--------------------------------------
重要聲明:實況中使用到的許多畫面、影像、音效、音樂等等版權皆屬原公司擁有。
Important Notice: used to living picture, video, sound, music are copyright to the original company has.