【中鋼AI現場2：如何靠微米級控制力年省成本千萬？】熱浸鍍鋅AI應用大解密

微米級鍍鋅厚薄如何控制的恰到好處？既要賦予足夠耐蝕性，又要不超量用鋅降成本，秘訣是用AI達成精準生產控制，再用影像辨識找瑕疵，維持鋅層表面品質

文/翁芊儒 | 2021-03-04發表

攝影／洪政偉

生活中隨處可見鍍鋅類產品，凡是有耐腐蝕需求的鋼鐵加工製品，包括作為建材使用的浪板、擔當汽車門面的汽車鈑金、每天都要打開的電冰箱，還有高階電腦伺服器外殼、傢俱、彩色底板、滑軌、風管等等，都可能是運用中鋼的熱浸鍍鋅鋼捲，加工製作而成。

熱浸鍍鋅鋼捲，是中鋼的塗鍍產品中的其中一項，年產量約有87.5萬噸。中鋼軋鋼三廠第二熱浸鍍鋅課課長羅萬福就指出，每一批出產的鋼捲，都需根據中下游客戶需求，客製化調整鍍鋅膜厚，或是進行化成處理，在鋼捲表面進行鉻酸鹽、耐指紋處理等動作，來因應不同加工製品所需的特性。

比如說，部分高階電腦、伺服器的外殼，不會再進行烤漆，而是直接裸用鍍鋅後的鋼片，對這些廠商來說，就會要求鍍較薄的鋅層，才能維持產品表面品質美觀。相對來說，生產建材浪板的廠商，對鋼捲表面品質的要求就較低，而且考量到浪板恐架設在環境不佳的地方，反而要用越厚的鋅層，來製造高耐蝕性的產品。

由於不同客戶要求的鍍鋅模厚都不同（內行說法會用鍍鋅模重，以「公克／每平方公尺」來計），如何精準控制鋅層厚薄，就成為中鋼熱浸鍍鋅廠的一大挑戰。

中鋼技術部門代理副總經理鄭際昭指出，不同產品有不同規格的鍍鋅膜厚，若鍍的太多、高於客戶需求的厚度，由於鋅是高成本的原料之一，就會造成成本的浪費；若鍍鋅層不符合產品規格，又將導致客戶無法使用或加工後續問題，造成品質客訴。「如何控制的剛剛好，讓客戶審核過關，又能省成本，這是我們的目標。」

開發控制鍍鋅膜厚的自動調參AI，年省成本1,600萬元

為了更精準控制鍍鋅膜厚，來減少生產浪費，中鋼用AI開發了控制鍍鋅膜厚的製程調參AI，試圖解決製程中的大量複雜參數，如何影響鍍鋅膜厚的問題。這類製程調參AI，也正是製造業最典型的AI應用之一。

鄭際昭解釋，要將鍍鋅厚度控制的恰如其分，並不容易，因為鍍鋅層厚薄的生產參數，包括氣刀開口大小、與鋼帶的距離、氣刀的氣壓、鋼帶厚度、鋼帶溫度、產線速度等多重變因，都會影響鍍鋅膜厚。

過去，這些複雜參數的調整，都靠老師傅的經驗來人工調參，羅萬福表示，由於不同老師傅之間又有不同的經驗法則，雖然留存了一本本抄滿生產參數的筆記，但後人看不懂也難以吸收，造成經驗傳承的斷層，「這對於面臨員工退休潮的中鋼來說，是很大的問題。」

而且，過去調整完參數後，需要等鋼帶經過100～200公尺的冷卻，才有辦法進行線上鋅層厚度量測，若量測當下發現鋅層過厚或過薄，回頭調整生產參數時，中間就已經多生產了上百公尺的鋼捲，換句話說，從參數調整到成品量測之間，存在冷卻的時間差，「中間多鍍的鋼帶，就會造成浪費。」鄭際昭說。

為了克服這兩大問題，中鋼約從2年前開始投入製程調參AI的研發，先自動化蒐集生產參數，累積上萬筆大數據資料後，建立了一個AI模型，來歸納在不同參數組合下，所造成的鍍鋅膜厚變化。

去年初上線這項應用後，將參數帶入AI模型中，就能即時預測出鍍鋅膜厚，雖然比不上直接量測的數據精準，但是，以此來即時修正生產參數，能避免冷卻期間造成的鋅層浪費，對於鍍鋅膜厚的控制，也比人為設定更準確。

羅萬福指出，傳統人工調參仍然有約20%會失準，但投入AI後，約只有3%結果失準，準確率達到97%左右，更能減少約4.5%的鋅層的浪費。換算下來，一年就能省下1,600萬元的成本，帶來上千萬元的效益。

建立檢驗區瑕疵辨識AI，降低人工目檢負擔

除了鍍鋅膜厚的生產控制面臨挑戰，熱浸鍍鋅廠的另一大難題，則位於檢驗室中，以人工檢測鍍鋅鋼捲的表面缺陷時，具有一定程度的漏檢率。

實際走訪檢驗室，可以了解到員工過去要查驗鋼捲，需要在快速傳輸的鋼帶上，識別出鋼捲表面的缺陷，而且，不只要識別鋼捲單面的缺面，更要透過鏡面反射，同步識別雙面的缺陷，格外考驗員工眼力，「所以我們都找年輕人來看，眼力比較好。」羅萬福笑著說。

但是，人力識別缺陷的方法，仍有其侷限，除了不是所有缺陷都能肉眼識別，人也一定會眨眼，無法不間斷盯著鋼捲檢驗，加上鋼帶一直在動態傳輸，都提升了識別缺陷的難度。羅萬福舉例：「以前比較誇張的狀況，檢驗員還會因為沒有檢查完全，把鋼捲送到處理線慢慢看，但這樣會增加出貨的時間，造成產線的負擔。」

為此，中鋼導入了另一個同為製造業的典型AI應用，訓練出瑕疵檢測模型，透過影像辨識技術，在即時的鋼帶影像畫面中自動標記缺陷的位置、形狀、大小、嚴重程度，抓出缺陷後，再經由人工複查是否確實。換句話說，過去要由人工全檢所有鋼捲的查驗流程，現在能以AI自動辨識來取代，人工只需複查經AI標示出缺陷的鋼帶區域即可，不僅大幅省下查驗人力，更提升了缺陷識別的的準確率。

羅萬福指出：「過去用人工檢驗，會有一定的漏檢率，可能5%～10%，真的很難每一個缺陷都看到。」但在加入AI後，幾乎不再發生漏檢，瑕疵辨識準確率提升到95%以上，進一步提升了鋼捲品質。

人工查驗除了有漏檢的風險，更大的問題，則是在於沒有一套記錄的機制，將鋼帶表面的查驗記錄保存下來。

「以前遇到客戶說，在100公尺的地方有一個缺陷，你們怎麼沒看到？我們就只能認了，因為沒有記錄。」羅萬福指出，沒有記錄機制，就無法得知缺陷到底是發生在自家工廠，還是客戶的工廠中。

但現在，透過AI檢查鋼捲表面，自動標示出缺陷位置與種類後，將這些紀錄留存下來，未來遇到客戶反應類似情形，就能提供當初查驗留存的缺陷地圖（Defect Map），來證明工廠出貨時的品質無虞。

「所以我們不只是導入AI，還把整套記錄建立起來。」羅萬福說。

目前，檢驗區的瑕疵辨識AI已經在去年正式上線，但這項技術，還不足以完全取代人工查驗，除了缺陷處需人工複查，部分非表面瑕疵的缺陷，比如鋼片側面成波狀等形狀缺陷，還是需要靠人眼來識別。

進料區也設瑕疵辨識AI，找出上游廠缺陷鋼捲

除了在後段的檢驗區導入瑕疵辨識AI，中鋼也正在將該技術導入前段進料區。這是因為，部分在後段檢驗到的鋼捲表面瑕疵，可能不是在熱浸鍍鋅廠造成，而是在前一廠區製成鋼捲時，就已經生成。

羅萬福指出，一般來說，鋼品表面的缺陷可能是在傳送鋼帶的過程中，因下方滾輪沾附不明物體，而在鋼帶表面殘留印跡，「不外乎是壓痕、刮痕、或是一些污染，」當發現這些缺陷，就得去找出造成缺陷的來源，並確實清除乾淨，確保下一捲鋼捲的生產過程不會留下缺陷。

然而，在後段檢驗區查驗出缺陷，回頭在製程中查找缺陷來源時，若缺陷並不是在熱浸鍍鋅廠區生成，可能需要花費更多時間來判定缺陷來源。不只如此，熱浸鍍鋅產線從頭到尾大約要經歷2,000公尺的加工運送，若是在前一廠就已經產生嚴重缺陷，原本就不合格的鋼捲，又多進行了近2,000公尺的製程，對鍍鋅原料來說也是種浪費。

「如果可以在進料區就先檢測出來，就能馬上可以判斷，這一捲鋼捲還要不要繼續生產。」羅萬福說。

而且，越早發現缺陷，也能越快通知上游工廠找出生產流程的問題，不只能避免產出更多有瑕疵的鋼捲，快速撤查出同一批生產的瑕疵品，也能減少其他下游廠誤用瑕疵品的可能性。

因此，中鋼正在開發前段進料的瑕疵辨識AI系統，但不是只用於找出缺陷而已，而是要與後段檢驗區瑕疵辨識系統所拍到的畫面，進行整合比對，來檢視前端所發現的缺陷，是否就是造成後段缺陷的原因，藉此建立缺陷演化分析的AI模型。

這個AI模型，能用來判斷進料時不同類型的瑕疵，經鍍鋅製程後是否還會留存下來，當模型越準確，就能判斷前段缺陷的危害程度，來節省更多的浪費。

「這就是我們的產業專業知識，去定義出這個缺陷類型是不是刮痕、這道刮痕鍍鋅後還能不能看得見、這捲鋼捲能不能繼續生產？」羅萬福說。

羅萬福表示，若在後段檢驗區發現鋼捲瑕疵，一噸鋼捲就要損失200美元以上，一捲鋼捲約20噸重，換算成臺幣，就會損失12萬元以上，「能即時找出缺陷，預先判斷要不要繼續生產，就是成本控管的關鍵。」

若用一句話來解釋熱浸鍍鋅方法，就是將鋼捲放入鋅槽，使其雙面都沾附鋅液，讓鋼片表面附著一層薄薄的鋅，能耐腐蝕。不過，實際上要生產出一捲捲數噸的熱浸鍍鋅鋼捲，需要經過一連串複雜的處理流程，先後進入進料區、退火區、鍍鋅區、調質整平區、塗覆區、檢驗區、出料區，才能完成熱浸鍍鋅的作業。

中鋼開發的AI應用，位於生產流程中的進料區、鍍鋅區與檢驗區。在進料區與檢驗區，運用了AI瑕疵檢測技術，來取代部分人工查驗作業，在鍍鋅區，則運用了AI製程調參的技術，找出不同生產條件下的最佳化製程調參作法。

１ 進料區：進行的解捲、剪裁、焊接的步驟，先運用解捲機，將入料的鋼捲攤開，剪裁後，再利用焊接機，把兩個鋼捲接在一起，形成一個連續鋼捲，類似於將兩個捲筒式衛生紙的紙面連起來的樣子。

2 退火區：透過溫度變化，達成特定產品所需的機械性質，比如高強度鋼，需要在特定製程條件下才能生產而成。

3 鍍鋅區：鍍鋅區主要配備一個鋅槽，並透過氣刀來將多餘的鋅液刮除，藉此來控制鋅的膜厚（公克／每平方公尺），中鋼可生產單面每平方公尺40～200公克的熱浸鍍鋅鋼捲，越薄的鍍鋅層，用於越高階的產品，也越考驗鍍鋅的技術。

4 調質整平區：運用調質軋延機將剛鍍完鋅的光滑鋼板，依據客戶的需求，加上特定的表面紋路，比如部分要求高粗糙度的鋼板，就會以調質軋延機賦予特殊的表面。

5 塗覆區：在鋼品表面進行特殊處理，比如在用於家電外殼的鋼板上，進行耐指紋處理；又或是在用於抽屜滑軌的鋼板上，塗上高潤滑塗劑，確保鋼板能承受超過一萬次的拖拉。

6 檢驗區：查驗每一捲鋼捲表面是否有瑕疵。檢驗室內設置了鋼捲的垂直檢驗區及水平檢驗區，前者需透過鏡面反射，同步識別鋼捲雙面缺陷，後者則能從不同角度發掘瑕疵。

7 出料區：依據客戶對鋼捲寬度與重量的需求，將鋼捲裁邊修改成特定尺寸，再分捲成不同噸數的鋼捲，或是將鋼捲焊接成超過原尺寸的鋼捲來出貨。

AI瑕疵辨識如何取代人工目檢

作業流程？

實際走訪檢驗室，可以了解到員工過去要查驗鋼捲，需要在快速傳輸的鋼帶上，識別出鋼捲雙面的缺陷。但是，過去的作業流程，存在一定漏檢率，更可能因為沒有檢查完全，把鋼捲送到處理線重複檢驗，而延遲出貨時間，造成產線負擔。（如圖示：人工目檢1、2）

導入AI後，透過影像辨識技術，員工現在已經可以坐在控制室，看系統自動抓出鋼捲表面缺陷，再進行人工複查。如此一來，不僅大幅省下查驗人力，更降低了缺陷識別的漏檢率。（如圖示：AI作法1、2）

除了在檢驗區導入，中鋼也正在開發進料區的瑕疵檢測AI，要提前檢驗出上游鋼廠造成的瑕疵，攔截瑕疵品進入產線加工，來減少鍍鋅原料浪費。（如圖示：AI作法3）

人工目檢１

人工垂直檢驗鋼捲

人工目檢２

人工水平檢驗鋼捲

AI作法１

以攝影機蒐集鋼帶表面影像

AI作法２

系統自動標示缺陷位置與種類

AI作法３

訓練進料區瑕疵辨識AI

附圖：過去得靠老師傅依據經驗法則來人工調參的作法，現在已經看不到了。以前，老師傅需將每一次的參數設定抄寫到筆記中（如圖所示），但現在透過AI，能更精準掌控特定生產參數下的鍍鋅膜厚。（攝影／洪政偉）
圖解熱浸鍍鋅生產流程
攝影-洪政偉
過去要查驗鋼捲，員工需要在快速傳輸的鋼帶上，識別出鋼捲表面的缺陷，且不只要檢查單面，透過鏡面反射，還得同步識別鋼捲另一面的缺陷。圖為垂直檢驗區的實際檢查流程。（攝影／洪政偉）
除了垂直檢驗，查驗人員也需水平檢驗鋼捲，從不同角度發掘鋼捲表面缺陷，比如沖模過程中，可能產生類似於污點的缺陷，即可在此檢驗出來。（攝影／洪政偉）
為了取代人工目檢，中鋼將攝影機裝設在垂直檢驗區的鋼帶底部，也就是圖中綠色雷射光點的位置；拍攝到的鋼帶表面影像，則會顯示到控制室的螢幕畫面中，同步進行影像辨識來查找瑕疵。（攝影／洪政偉）
在控制室內，員工可以直接從螢幕看見鋼捲表面檢查情形，若AI偵測到任何瑕疵，系統會同步標註出缺陷位置、形狀、大小、嚴重程度，提供明確的缺陷資訊，節省人力目檢的負擔。（攝影／洪政偉）
左邊螢幕是檢驗區瑕疵檢測系統，右邊螢幕則是進料區瑕疵檢測系統。目前，中鋼正在開發進料區瑕疵辨識AI，更要藉由與後段瑕疵辨識所拍攝畫面的比對，來建立缺陷演化AI分析模型。（攝影／洪政偉）

資料來源：https://www.ithome.com.tw/news/142941

迎接終端AI新時代：讓運算更靠近資料所在

作者 : Andrew Brown，Strategy Analytics
2021-03-03

資料/數據(data)成長的速度越來越快。據估計，人類目前每秒產出1.7Mb的資料。智慧與個人裝置如智慧型手機、平板電腦與穿戴式裝置不但快速成長，現在我們也真正目睹物聯網(IoT)的成長，未來連網的裝置數量將遠遠超越地球的人口。

這包括種類繁多的不同裝置，像是智慧感測器與致動器，它們可以監控從震動、語音到視覺等所有的東西，以及幾乎大家可以想像到的所有東西。這些裝置無所不在，從工廠所在位置到監控攝影機、智慧手錶、智慧家庭以及自主性越來越高的車輛。隨著我們企圖測量生活週遭數位世界中更多的事物，它們的數量將持續爆炸性成長。

資料爆量成長，讓許多企業把資料從內部部署運作移到雲端。儘管集中到雲端運算的性質，在成本與資源效率、彈性與便利性有它的優點，但也有一些缺點。由於運算與儲存在遠端進行，來自終端、也就是那些在網路最邊緣裝置的資料，需要從起始點經過網際網路或其他網路，來到集中式的資料中心(例如雲端)，然後在這裡處理與儲存，最後再傳回給用戶。

對於一些傳統的應用，這種方式雖然還可以接受，但越來越多的使用場景就是無法承受終端與雲端之間，資訊被接力傳遞產生的延遲。我們必須即時做出決策，網路延遲要越小越好。基於這些原因，開始有人轉向終端運算；越來越多人轉而使用智慧終端，而去中心化的程度也越來越高。此外，在這些即時應用中產生的龐大資料量，意味著處理與智慧必須在本地以分散的方式進行。

與資料成長連袂而來的，是人工智慧與機器學習(ML)也朝終端移動，並且越來越朝終端本身移動。大量來自真實世界的資訊，需要用ML的方式來進行詮釋與採取行動。透過AI與ML，是以最小的延遲分析影像、動作、影片或數量龐大的資料，唯一可行且合乎成本效益的方式。運用AI與ML的演算法與應用將在邊緣運作，在未來還將會直接在終端裝置上進行。

資料正在帶動從集中化到分散化的轉變

隨著資訊科技市場逐漸發展與成熟，網路的設計以及在其運作的所有裝置，也都跟著進化。全盛時期從服務數千個小型客戶端的主機，一直到客戶端伺服器模型中使用的越來越本地化的個人電腦運算效能，基礎架構持續重組與最佳化，以便更貼近網路上的裝置以及符合運作應用的需求。這些需求包含檔案存取與資料儲存，以及資料處理的需求。

智慧型手機與其他行動裝置的爆炸性成長，加上物聯網的快速成長，促使我們需要為如何讓資產進行最佳的部署與安排進行評估。而影響這個評估的因素，包括網路的可用性、安全性、裝置的運算力，以及把資料從終端傳送到儲存設備的相關費用，近來也已轉向使用分散式的運算模型。

從邊緣到終端：AI與ML改變終端典範

在成本、資源效率、彈性與便利性等方面，雲端有它的優點，裝置數量的急遽增加(如圖2)，將導致資料產出量大幅增加。這些資料大部份都相當複雜且非結構化的，這也是為何企業只會分析1%~12% 的資料的原因之一。把大量非結構化的資料送到雲端的費用相當高、容易形成瓶頸，而且從能源、頻寬與運算力角度來看，相當沒有效率。

在終端執行進階處理與分析的能力，可協助為關鍵應用降低延遲、減少對雲端的依賴，並且更好地管理物聯網產出的巨量資料。

終端AI：感測、推論與行動

在終端部署更多智慧的主要原因之一，是為了創造更大的敏捷性。終端裝置處於網路的最邊緣與資料產生的地方，可以更快與更準確地做出回應，同時免除不必要的資料傳輸、延遲與資料移動中的安全風險，可以節省費用。

處理能力與神經網路的重大進展，正協助帶動終端裝置的新能力，另一股驅動力則是對即時資訊、效率(傳送較少的資訊到雲端)、自動化與在多數情況下，對近乎即時回應的需求。這是一個三道步驟的程序：傳送資料、資料推論(例如依據機器學習辨識影像、聲音或動作)，以及採取行動(如物件是披薩，冰箱的壓縮機發出正常範圍外的聲音，因此發出警告)。

感測

處理器、微控制器與感測器產生的資料量相當龐大。例如，自駕車每小時要搜集25GB的資料。智慧家庭裝置、智慧牙刷、健身追蹤器或智慧手錶持續進化，並且與以往相比，會搜集更多的資料。

它們搜集到的資料極具價值，但每次都從各個終端節點把資料推回給雲端，數量又會過多。因此必須在終端進行處理。倘若部份的作業負載能在終端本身進行，就可以大幅提升效率。

推論

終端搜集到的資料是非結構性的。當機器學習從資料擷取到關聯性時，就是在進行推論。這表示使用AI與ML工具來幫忙訓練裝置辨識物件。拜神經網路的進展之賜，機器學習工具越來越能訓練物件以高度的精準度辨識影像、聲音與動作，這對體積越來越小的裝置，極為關鍵。

例如，圖4顯示使用像ONNX、PyTorch、Caffe2、Arm NN或 Tensorflow Lite 等神經網路工具，訓練高效能的意法半導體(ST)微控制器(MCU)，以轉換成最佳化的程式碼，讓MCU進行物件辨識(這個的情況辨識對象是影像、聲音或動作)。更高效能的MCU越來越常利用這些ML工具來辨識動作、音訊或影像，而且準確度相當高，而我們接下來馬上就要對此進行檢視。這些動作越來越頻繁地從邊緣，轉移到在終端運作的MCU本身。

行動

資料一旦完成感測與推論後，結果就是行動。這有可能是回饋簡單的回應(裝置是開啟或關閉)，或針對應用情況進行最佳化(戴耳機的人正在移動中，因此會針對穩定度而非音質進行最佳化)，或是回饋迴路(根據裝置訓練取得的機器學習，輸送帶若發出聲音，顯示它可能歪掉了)。物聯網裝置將會變得更複雜且更具智慧，因為這些能力提升後，運算力也會因此增加。在我們使用新的機器學習工具後，一些之前在雲端或終端完成的關鍵功能，將可以移到終端本身的內部進行。

終端 AI：千里之行始於足下

從智慧型手機到車輛，今日所有電子裝置的核心都是許多的處理器、微控制器與感測器。它們執行各種任務，從最簡單到最複雜，並需要各式各樣的能力。例如，應用處理器是高階處理器，它們是為行動運算、智慧型手機與伺服器設計；即時處理器是為例如硬碟控制、汽車動力傳動系統，與無線通訊的基頻控制使用的非常高效能的處理器，至於微控制器處理器的矽晶圓面積則小了許多，能源效率也高出很多，同時擁有特定的功能。

這意味著利用ML工具訓練如MCU等較不複雜元件來執行的動作，之前必須透過威力更強大的元件才能完成，但現在邊緣與雲端則是理想的場所。這將讓較小型的裝置以更低的延遲執行更多種類的功能，例如智慧手錶、健康追蹤器或健康照護監控等穿戴式裝置。

隨著更多功能在較小型的終端進行，這將可以省下資源，包括資料傳輸費用與能源費用，同時也會產生極大的環境衝擊，特別是考量到全球目前已有超過200億台連網裝置，以及超過2,500億顆MCU(根據Strategy Analytics統計數據)。

TinyML、MCU與人工智慧

根據Google的TesnsorFlow 技術主管、同時也是深度學習與TinyML領域的指標人物 Pete Warden 表示：「令人相當興奮的是，我還不知道我們將如何使用這些全新的裝置，特別是它們後面代表的科技是如此的吸引人，我無法想像那些即將出現的全新應用。」

微型機器學習(TinyML)的崛起，已經催化嵌入式系統與機器學習結合，而兩者傳統上大多是獨立運作的。TinyML 捨棄在雲端上運作複雜的機器學習模型，過程包含在終端裝置內與微控制器上運作經過最佳化的模式識別模型，耗電量只有數毫瓦。

物聯網環境中有數十億個微型裝置，可以為各個產業提供更多的洞察與效率，包括消費、醫療、汽車與工業。TinyML 獲得 Arm、Google、Qualcomm、Arduino等業者的支持，可望改變我們處理物聯網資料的方式。

受惠於TinyML，微控制器搭配AI已經開始增添各種傳統上威力更強大的元件才能執行的功能。這些功能包括語音辨識(例如自然語言處理)、影像處理(例如物件辨識與識別)，以及動作(例如震動、溫度波動等)。啟用這些功能後，準確度與安全性更高，但電池的續航力卻不會打折扣，同時也考量到各種更微妙的應用。

儘管之前提到的雲端神經網路框架工具，是取用這個公用程式最常用的方法，但把AI函式庫整合進MCU，然後把本地的AI訓練與分析能力插入程式碼中也是可行的。這讓開發人員依據從感測器、麥克風與其他終端嵌入式裝置取得的訊號導出資料模式，然後從中建立模型，例如預測性維護能力。

如Arm Cortex-M55處理器與Ethos U55微神經處理器(microNPU)，利用CMSIS-DSP與CMSIS-NN等常見API來簡化程式碼的轉移性，讓MCU與共同處理器緊密耦合以加速AI功能。透過推論工具在低成本的MCU上實現AI功能並符合嵌入式設計需求極為重要，原因是具有AI功能的MCU有機會在各種物聯網應用中轉變裝置的設計。

AI在較小型、低耗電與記憶體受限的裝置中可以協助的關鍵功能，我們可以把其精華歸納至我們簡稱為「3V」的三大領域：語音(Voice，如自然語言處理)、視覺(Vision，如影像處理)以及震動(Vibration，如處理來自多種感測器的資料，包括從加速計到溫度感測器，或是來自馬達的電氣訊號)。

終端智慧對「3V」至關重要

多數的物聯網應用聚焦在一些特定的領域：基本控制(開/關)、測量(狀態、溫度、流量、噪音與震動、濕度等)、資產的狀況(所在地點以及狀況如何？)，以及安全性功能、自動化、預測性維護以及遠端遙控(詳見圖 6)。

Strategy Analytics的研究顯示，許多已經完成部署或將要部署的物聯網B2B應用，仍然只需要相對簡單的指令，如基本的開/關，以及對設備與環境狀態的監控。在消費性物聯網領域中，智慧音箱的語音控制AI已經出現爆炸性成長，成為智慧家庭指令的中樞，包括智慧插座、智慧照明、智慧攝影機、智慧門鈴，以及智慧恆溫器等。消費性裝置如藍牙耳機現在已經具備情境感知功能，可以依據地點與環境，在音質優先與穩定度優先之間自動切換。

如同我們檢視的結果，終端AI可以在「3V」核心領域提供價值，而它觸及的許多物聯網領域，遍及B2B與B2C的應用：

震動：包含來自多種感測器資料的處理，從加速計感測器到溫度感測器，或來自馬達的電氣訊號。
視覺：影像與影片辨識；分析與識別靜止影像或影片內物件的能力。
語音：包括自然語言處理(NLP)、瞭解人類口中說出與寫出的語言的能力，以及使用人類語言與人類交談的能力-自然語言產生(NLG)。
垂直市場中有多種可以實作AI技術的使用場景：

震動

可以用來把智慧帶進MCU中的終端AI的進展，有各式各樣的不同應用領域，對於成本與物聯網裝置與應用的效用，都會帶來衝擊。這包括我們在圖6中點出的數個關鍵物聯網應用領域，包括：

溫度監控；
壓力監控；
溼度監控；
物理動作，包括滑倒與跌倒偵測；
物質檢測(漏水、瓦斯漏氣等) ；
磁通量(如鄰近感測器與流量監控) ；
感測器融合(見圖7)；
電場變化。

一如我們將在使用場景單元中檢視的，這些能力有許多可以應用在各種被普遍部署的物聯網應用中。

語音

語音是進化的產物，也是人類溝通非常有效率的方式。因此我們常常想要用語音來對機器下指令，也不令人意外；聲音檢測是持續成長的類別。語音啟動在智慧家庭應用中很常見，例如智慧音箱，而它也逐漸成為啟動智慧家庭裝置與智慧家電的語音中樞，如電視、遊戲主機與其他新的電器。

在工業環境中，供車床、銑床與磨床等電腦數值控制(CNC)機器使用的電腦語音引擎正方興未艾。iTSpeex的ATHENA4是第一批專為這些產品設計的語音啟動作業系統。這些產品往往因為安全原因，有離線語音處理的需求，因此終端 AI 語音發展在這裡也創造出有趣的機會。用戶可以指示機器執行特定的運作，並從機器手冊與工廠文件，立即取用資訊。

語音整合在車輛中也相當關鍵。OEM 代工廠商持續對車載娛樂系統中的語音辨識系統，進行大量投資。語音有潛力成為最安全的輸入模式，因為它可以讓駕駛的眼睛持續盯著道路，而雙手仍持續握著方向盤。

對於使用觸控螢幕或硬體控制器通常需要多道步驟的複雜任務，語音辨識系統特別能勝任。這些任務包括輸入文字簡訊、輸入目的地、播放特定歌曲或歌曲子集，以及選擇廣播電台頻道。其他的服務包含如拋錨服務(或bCall)與禮賓服務。

視覺

正如我們之前已經檢視過，終端 AI 提供視覺領域全新的機會，特別是與物件檢測及辨識相關。這可能包括觀察生產線的製造瑕疵，以及找出自動販賣機需要補貨的庫存。其他實例包括農業應用，例如依據大小與品質為農產品分級。

曳引機裝上機器視覺攝影機後，我們幾乎可以即時檢測出雜草。雜草冒出後，AI可以分類雜草並估算它對農產收穫的潛在威脅。這讓農民可以鎖定特定的雜草，並打造客製的除草解決方案。機器視覺然後可以檢測除草劑的效用，並找出農地中仍具抗藥性的殘餘雜草。

使用場景

預測性維護工具已經從擷取與比較震動的量測資料，進化到提出即時的資產監控。藉由連接物聯網感測器裝置與維護軟體，我們也可能做到遠端監控。

震動分析

這種類型的預測性維護在旋轉型機器密集的製造工廠裡，相當常見。震動分析可以揭露鬆脫、不平衡、錯位與軸承磨損等狀況。例如，把震動計量器接上靠近選煤廠離心泵浦內部承軸處，就可以讓工程師建立起正常震動範圍的基線。超出這個範圍的震動，可能顯示滾珠軸承出現鬆動，需要更換。

磁感測器融合

磁感測器利用磁性浮筒與一系列可以感應並與液體表面一起移動的感測器，測量液面的高低。所有的這些應用都使用一個固定面上的磁感測器，它與附近平面的磁鐵一起作動，與這個磁鐵相對應的感測器也會移動。

聲學分析(聲音)

與震動分析相似，聲測方位分析也是供潤滑技師使用，主要是專注在主動採取潤滑措施。這意味我們可以避免移動設備時產生的過度磨損，否則會為了修理造成代價高昂的停機。實際的例子可能包括測量輸送皮帶的承軸狀況。出現過度磨損時，承軸會因為潤滑不足或錯位出現故障，可能造成整個生產流程的中斷。

聲學分析(超音波)

聲音聲學分析雖然可以用來進行主動與預測性維護，超音波聲學分析卻只能用於預測性維護。它可以在超音波範圍內找出與機器摩擦及壓力相關的聲音，並使用在會發出較細微聲音的電氣設備與機器設備。我們可以說這一類型的分析與震動或油量分析相比，更可以預測即將出現的故障。目前它部署起來比其他種類的預防性維護花費較高，但終端 AI 的進展可以促成這種細微層級的聲學檢測，大幅降低部署的費用。

熱顯影

熱顯影利用紅外線影像來監控互動機器零件的溫度，讓任何異常情況很快變得顯而易見。具備終端 AI 能力的裝置，可以長期檢測微細的變化。與其他對事故敏感的監視器一樣，它們會觸發排程系統，自動採取適當的行動來預防零件故障。

消費者與智慧家庭

將語音運用在消費者與智慧家庭，是最常看到的場景之一。這包括智慧型手機與平板電腦上、未包含電話整合功能的裝置，例如螢幕尺寸有限的穿戴式裝置。這類型的裝置包含智慧手錶與健康穿戴式裝置，可以為各種功能提供免動手的語音啟動。像 Amazon 的 Echo 或 Google 的 Home 等智慧音箱市場的成長，說明消費者對於可接收與提供語音互動等現有裝置的強勁需求，與日俱增。

消費者基於各種理由使用智慧音箱，最常見的使用場景為：

聽音樂；
控制如照明等智慧家庭裝置；
取得新聞與天氣預報的更新；
建立購物與待辦事項清單。

除了像智慧音箱與智慧電視等消費裝置，智慧家庭裝置語音的使用，也顯現相當的潛力。諸如連網門鈴(如 ring.com)等裝置與連網的煙霧偵測器(例如 Nest Protect 煙霧與一氧化碳警報)目前都已上市可供消費者選購，它們結合了語音與視覺的感測器融合功能以及運動檢測。有了連網的煙霧偵測器，裝置在偵測到煙霧或一氧化碳時，可以發出語音警告。

終端 AI 為強化這些能力提供了全新機會，而且常常結合震動(動作)、視覺與語音控制。例如，增加姿態辨識來控制例如電視等家電，或是把語音控制嵌入白色家電，即是以最低成本強化功能性最直接的方式。

健康照護

用來發現醫護資訊的 AI 驅動終端裝置的應用，將為病況的治療與診斷，提供更多的價值。這種資訊可能是資料，也可能是影像、影片以及說出的話，我們可以透過 AI 進行型態與診斷分析。這些資料將引發全新、更有效的治療方法，為整個產業節省成本。受惠於終端 AI 的進展，像 Google Duplex 等語音系統的複雜性將會降低。例如門診預約等勞力密集的工作，也可以轉換成 AI 活動。利用自然語言語音來延伸 AI 的使用，也可以把 AI 用在第一線的病人診斷，然後再由醫師接手提供諮詢。

其他健康照護實例包括像 Wewalk5 等物件，這是一個供半盲與全盲人員使用的智慧拐杖。它使用感測器來檢測胸口水平以上的物件，並搭配 Google Maps 與 Amazon Alexa 等 app，方便使用者提出問題。

結論

由於連網的終端裝置數量越來越多，這個世界也越來越複雜。連接到網際網路的裝置已經超過 300 億個，而微控制器的數量也超過 2,500 億，每年還會增加約 300 億個。越來越多的程序開始進行自動化，不過，把大量資料傳送到雲端涉及的延遲以及邊緣運算的額外費用，意味著許多全新、令人興奮且引人矚目的物聯網使用場景，可能無法開花結果。

解決這些挑戰的答案，並不是為雲端資料中心持續增添運算力。降低出現在邊緣的延遲雖然會有幫助，但不會解決日益分散的世界的所有挑戰。我們需要把智能應用到基礎架構中。

儘管為終端裝置增添先進的運算能力在十年前仍不可行，TinyML 技術近來的提升，已經讓位處相當邊緣的裝置 (也就是終端本身)增添智能的機會大大改觀。在終端增加運算與人工智慧能力，可以讓我們在源頭搜集到更多更具關聯性與相關的資訊。隨著裝置與資料的數量持續攀升，在源頭掌握情境化與具關聯性的資料，具有極大的價值，並將開啟全新的使用場景與營收機會。

終端裝置的機器學習，可以促成全新的終端 AI 世界。新的應用場景正在崛起，甚至跳過傳送大量資料的需求，因而紓解資料傳輸的瓶頸與延遲，並在各種作業環境中創造全新機會。終端 AI 將為我們開啟一個充滿全新機會與應用場景的世界，其中還有很多我們現在想像不到的機會。

附圖：圖1：從集中式到分散式運算的轉變。
(資料來源：《The End of Cloud Computing》，by Peter Levine，Andreessen Horowitz)
圖2：全球上網裝置安裝量。
(資料來源：Strategy Analytics)
圖3：深度學習流程。
圖4：MCU的視覺、震動與語音。
(資料來源：意法半導體)
圖5：AI 工具集執行模型轉換，以便在MCU上執行經最佳化的神經網路推論。
(資料來源：意法半導體)
圖6：物聯網企業對企業應用的使用-目前與未來。
(資料來源：Strategy Analytics)
圖7：促成情境感知的感測器融合。
(資料來源：恩智浦半導體)

資料來源：https://www.eettaiwan.com/20210303nt31-the-dawn-of-endpoint-ai-bringing-compute-closer-to-data/?fbclid=IwAR0JTRpNsJUl-DmSNpfIcymGQpkQaUgXixEaczwDpELxGCaCeJpkTyoqUtI

產業追蹤／智慧物聯網 開啟產業新契機

2020-02-08 23:51 經濟日報 / 鄭華琦

隨著人工智慧（AI）技術逐步進展，IoT結合AI並透過感測技術之輔助，藉由傳遞訊號、處理數據、儲存學習經驗實現實體世界遠距離無法達成之工作程序，未來的生活型態將是大數據（Big Data）、超連結（Supper-Connectivity）、人工智慧與雲端（Cloud）的逐步整合。

法國市調公司Yole Developpement亦揭示九大科技應用趨勢，未來會影響的生活模式包括：智能汽車、移動、5G帶寬增加、AR / VR，人工智能/機器學習（AI / ML）、無人駕駛汽車、醫療保健、工業4.0，這將使日常生活對感測器有更多需求和依賴。

IHS Markit預測，物聯網設備市場從2016年17.7億台安裝量，2020年將達到307億台，預期2025年增加到754億台，顯示市場對於IoT的普遍接受度與依賴性與日俱增。

近年來應用於IoT之3D影像感測市場逐漸明朗且廣泛，主要涵蓋工/商業、科學/太空安全、醫療、消費性電子與車用等領域。技術包含近距離的 VCSEL技術（垂直共振腔面射型雷射）主要應用於智慧手機，與較長距離的ToF（飛時測距）技術可切入虛擬實境、地圖導航、機器視覺、安全認證、體感操作等領域。

Yole Development預估，全球3D成像與感測器市場規模2016年至2022年的複合年均增長率（CAGR）約38％，2022年可能超過90億美元，成長性將是2016年的七倍。

感測器在消費電子應用是增長最快的市場，2016-2022年的CAGR達160％，預計2022年市場規模將超過60億美元。另外，自動化產業的感測器使用比例愈來愈高，如連網汽車電子、自駕車等都對感測器有很高的需求。無人自駕車與工業自動化兩者於 2016 年到 2022 年的CAGR分別為50%與13％，成長性分別居第二及第三位。

目前3D感測技術主要分為立體視覺、結構光、飛時測距（ToF），各技術發展皆已具備商業化應用的水準，現階段的主流技術包括ToF及結構光等。

就功能而言，3D感測主要是利用繞射式光學元件（DOE）、CMOS影像感測器、垂直共振腔面射型雷射（VCSEL）等元件的運作，配合不同演算法進行量測與儲存。除可進行人臉辨識，也被應用在ADAS系統，如自駕車及ADAS的 3D感測應用，即是利用光達（LiDAR）測量及感測車輛與外在環境物體間的距離，以達到自動煞車功能，或利用車內的感測技術確認駕駛者的狀態，進行行車監控警示等。

無人商店也是3D感測的關鍵應用。這是利用3D感測來進行人臉或物像特徵辨識，包括應用在人員進出管制，針對進入商店的人員進行辨識，並附帶計算客流量、客群管理，也能偵測物品移動或轉移，進一步達成商品結帳、庫存管理、物流配送等，甚至分消費特性與行為管理。

3D感測應用極廣，監控或影像辨識的各種應用陸續推出，需求將有爆發性成長。因此包括傳統晶圓代工廠、砷化鎵等化合物晶圓代工廠、磊晶片供應商、光學元件封測廠等上、中、下游產業鏈，可望受惠於3D感測所需之光學元件的代工業務而強勁成長。

3D感測模組硬體廠商、演算法及3D視覺數位訊號處理器（DSP）供應商、提供 3D 景深技術之設計廠商、CMOS 影像感測器及演算法業者等，相關周邊的產業也連動性受惠。隨著ＡIoT運用普及化，該產業鏈的相關廠商也面臨更多挑戰與機會。

AIoT新時代來臨，對台灣影響至深，除基本零組件外，串聯各組件之材料至為關鍵。特別是符合高階應用感測器之零組件，與延長機器壽命之構裝方法與特殊材料，將隨新載具增加應用機會。台廠應積極利用AI的學習與演算，強化產業設計與生產，以及透過智慧系統與服務提升產業附加價值。

此外，AIoT（智慧物聯網）應用通常是少量多樣之高階產品（或應用）而非高量生產，因此對感測器的需求著重具備嚴苛條件下的可靠運作、精準且小型的裝置。隨著人機、機器與機器之間的連結協作日趨精密，感測器的任務也從被動監測，演化成主動探測預防型維護、資產控管與數據分析，協助增加生產效率的重要角色。 IoT發展關鍵在於介面間的協作與資訊傳輸，台灣可運用這項技術結合AI深度學習與演算能力，讓製造業更有效率，並積極拓展貼近生活之交通、醫療、救援、金融服務等相關產業。

資料來源：https://udn.com/news/story/7241/4331137?from=udn-relatednews_ch2