AI的未來？你不能不認識的人工智慧與資料科學自動化技術—AutoML(2/10)
一、資料前處理（Data Pre-processing）
資料前處理是機器學習過程中的重要步驟。資料收集方法通常比較寬鬆、缺乏控制，導致收集到的值超出範圍或不合邏輯（例如，收入出現-100），不可能的資料組合（例如，「性別：男性」加上「懷孕：是」的組合）以及缺失值（missing value）等。未經仔細篩選此類問題可能會產生誤導性結果。因此，在進行分析之前，資料的表示形式和品質是首要確認的目標。一般來說，資料前處理是機器學習項目中最重要的階段。
如果存在大量不相關和多餘的訊息，或者存在噪音（noisy）且不可靠的資料，則在訓練階段發現知識將變得更加困難。資料準備和過濾的步驟可能會花費大量的處理時間。資料前處理包括清理（cleaning）、實例選擇（instance selection）、標準化（normalization）、轉換（transformation）、特徵提取和選擇（feature extraction and selection）等。資料前處理的產出是最終的訓練集。MLBox（machine learning box）AutoML套件就提供了許多資料前處理的功能，甚至提供具高穩健性的特徵選擇與資料洩漏（data leakage，意旨資料特徵與預測目標之因果關係的瑕疵，導致得到非常好的預測結果）偵測功能。

由谷哥大腦與deepmind攜手推出新論文，透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層，這個被找出來的新結構稱之為EvoNorm，論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。

Evolving Normalization-Activation Layers
https://arxiv.org/pdf/2004.02967.pdf

為了確認這個EvoNorm是否該納入經常性的使用，因此我做了一下簡單的測試，我原本用了mnist數據集，總共做了(1)只有卷積、活化函數與全連接層(2)加入batch normalization (3)加入batch normalization與dropout(4)使用EvaNormB0

以上皆是卷積層3層，卷積核皆為(3,3)，第一層strides為1其餘為2，活化函數為leaky_relu，在優化器為adam，學習速率1e-3，批次大小128，跑了2000個批次的結果。

從圖上看來，EvoNorm前段比較普普，後段在四種架構中的確是損失最低評價最高。若是利用center loss圖來觀察這幾個模型的決策空間（每個顏色是指0~9數字在特徵空間的分佈，顏色交疊意味著分類錯誤），EvoNorm的中心點比較空洞，這表示分類案例重疊誤判的狀況是最輕微的。

#電源設計 #數位訊號處理器DSP #IP核心 #卷積神經網路CNN

【硬體加速器非萬靈丹！執行效率與功耗是兩大瓶頸】

網路直播的浪濤泉湧，數千人同時在線上閱聽影音內容已屬司空見慣，行動終端的運算能力亦須跟上時代，視覺串流的處理尤其備受關注；加上監控和穿戴式裝置以全年無休的「不斷線」(always-on) 為發展職志，若無法壓低功耗，電力恐撐沒多久就玩完了。一般保全監控視訊、汽車光達 (LiDAR)／雷達、無人機和感測器融合等應用的視覺系統需要兩種優化運算：首先，運用傳統運算攝影／成像演算法對來自攝影機的輸入進行強化，其次，由神經網路的辨識演算法執行物體偵測和辨識。為達極致省電目的，從「IP 核心」根本革新有其必要性。

神經網路 (NN) 已成深度學習顯學，但運算極具挑戰。一般常見的作法是將影像數位訊號處理器 (DSP) 綑綁「NN 硬體加速器」(accelerator)，但這種 DSP+NN 引擎的架構，乃將神經網路編碼分割處理，不斷在 DSP 的網路層與加速器的卷積層之間加載、卸載，而將其他層級的運算工作全數丟給主要 DSP / CPU / GPU 一肩獨攬。如此一來，不僅執行效率不佳、且會造成不必要的耗電，如果 NN 架構的神經元 (Neurons) 數量增加，其間鍵結也會隨之平方增加；若利用硬體加速 NN 的運算速度，所需硬體結構複雜度將大幅增加而變得不容易實現。

卷積神經網路 (CNN) 演算法有三大發展趨勢：1. 近來不到四年的時間，運算需求狂增十六倍；2. 網路架構趨於規律化，層次分明——例如，AlexNet 適用於規模較大的卷積運算、ResNet 適用於規模較小者，以及線性 (Linear) 或分支 (branch)運算；3.新應用層出不窮，遍及汽車、伺服器、家庭語音助理、手機及監控等。「非卷積演算」因鏈結關係相對簡單，運算次序無傷大雅，硬體加速器尚可應付；但若是具有綿密而複雜的對應關係、須步步為營的 CNN，邏輯一旦錯位，這些次序不明確且無法判讀意義的資料會讓網路混淆。

一種被稱為「獨立自含式」的 DSP IP，是業界首款真正專為 NN 獨立運作而生；所建構的「通用型」神經網路 DSP，可加速所有神經網路運算架構，包括：卷積 (Convolutional)、全連接 (Fully connected)、池化／取樣 (Pooling) 及標準化 (Normalization)，以精算「型態辨識」(Pattern recognition) 與相鄰資料間的關係；藉由消除神經網路 DSP 與主要視覺／影像 DSP 之間的外來資料移動，提供較 NN 加速器、GPU 和 CPU 更低功耗及簡單的 NN 編程模型。至於「視覺處理器」(VPU) 變種產品，恐須用更多硬體才能實現同等效能，將會導致整體功耗變高。

延伸閱讀：
《捨棄加速器！Tensilica 獨立自含式 DSP IP 更有效率》
http://compotechasia.com/a/____/2017/0615/35753.html
(點擊內文標題即可閱讀全文)

#益華電腦Cadence #Tensilica #Vision C5

★★【智慧應用開發論壇】(FB 不公開社團：https://www.facebook.com/groups/smart.application/) 誠邀各界擁有工程專業或實作經驗的好手參與討論，採「實名制」入社。申請加入前請至 https://goo.gl/forms/829J9rWjR3lVJ67S2 填寫基本資料，以利規劃議題方向；未留資料者恕不受理。★★