迎接終端AI新時代：讓運算更靠近資料所在

作者 : Andrew Brown，Strategy Analytics
2021-03-03

資料/數據(data)成長的速度越來越快。據估計，人類目前每秒產出1.7Mb的資料。智慧與個人裝置如智慧型手機、平板電腦與穿戴式裝置不但快速成長，現在我們也真正目睹物聯網(IoT)的成長，未來連網的裝置數量將遠遠超越地球的人口。

這包括種類繁多的不同裝置，像是智慧感測器與致動器，它們可以監控從震動、語音到視覺等所有的東西，以及幾乎大家可以想像到的所有東西。這些裝置無所不在，從工廠所在位置到監控攝影機、智慧手錶、智慧家庭以及自主性越來越高的車輛。隨著我們企圖測量生活週遭數位世界中更多的事物，它們的數量將持續爆炸性成長。

資料爆量成長，讓許多企業把資料從內部部署運作移到雲端。儘管集中到雲端運算的性質，在成本與資源效率、彈性與便利性有它的優點，但也有一些缺點。由於運算與儲存在遠端進行，來自終端、也就是那些在網路最邊緣裝置的資料，需要從起始點經過網際網路或其他網路，來到集中式的資料中心(例如雲端)，然後在這裡處理與儲存，最後再傳回給用戶。

對於一些傳統的應用，這種方式雖然還可以接受，但越來越多的使用場景就是無法承受終端與雲端之間，資訊被接力傳遞產生的延遲。我們必須即時做出決策，網路延遲要越小越好。基於這些原因，開始有人轉向終端運算；越來越多人轉而使用智慧終端，而去中心化的程度也越來越高。此外，在這些即時應用中產生的龐大資料量，意味著處理與智慧必須在本地以分散的方式進行。

與資料成長連袂而來的，是人工智慧與機器學習(ML)也朝終端移動，並且越來越朝終端本身移動。大量來自真實世界的資訊，需要用ML的方式來進行詮釋與採取行動。透過AI與ML，是以最小的延遲分析影像、動作、影片或數量龐大的資料，唯一可行且合乎成本效益的方式。運用AI與ML的演算法與應用將在邊緣運作，在未來還將會直接在終端裝置上進行。

資料正在帶動從集中化到分散化的轉變

隨著資訊科技市場逐漸發展與成熟，網路的設計以及在其運作的所有裝置，也都跟著進化。全盛時期從服務數千個小型客戶端的主機，一直到客戶端伺服器模型中使用的越來越本地化的個人電腦運算效能，基礎架構持續重組與最佳化，以便更貼近網路上的裝置以及符合運作應用的需求。這些需求包含檔案存取與資料儲存，以及資料處理的需求。

智慧型手機與其他行動裝置的爆炸性成長，加上物聯網的快速成長，促使我們需要為如何讓資產進行最佳的部署與安排進行評估。而影響這個評估的因素，包括網路的可用性、安全性、裝置的運算力，以及把資料從終端傳送到儲存設備的相關費用，近來也已轉向使用分散式的運算模型。

從邊緣到終端：AI與ML改變終端典範

在成本、資源效率、彈性與便利性等方面，雲端有它的優點，裝置數量的急遽增加(如圖2)，將導致資料產出量大幅增加。這些資料大部份都相當複雜且非結構化的，這也是為何企業只會分析1%~12% 的資料的原因之一。把大量非結構化的資料送到雲端的費用相當高、容易形成瓶頸，而且從能源、頻寬與運算力角度來看，相當沒有效率。

在終端執行進階處理與分析的能力，可協助為關鍵應用降低延遲、減少對雲端的依賴，並且更好地管理物聯網產出的巨量資料。

終端AI：感測、推論與行動

在終端部署更多智慧的主要原因之一，是為了創造更大的敏捷性。終端裝置處於網路的最邊緣與資料產生的地方，可以更快與更準確地做出回應，同時免除不必要的資料傳輸、延遲與資料移動中的安全風險，可以節省費用。

處理能力與神經網路的重大進展，正協助帶動終端裝置的新能力，另一股驅動力則是對即時資訊、效率(傳送較少的資訊到雲端)、自動化與在多數情況下，對近乎即時回應的需求。這是一個三道步驟的程序：傳送資料、資料推論(例如依據機器學習辨識影像、聲音或動作)，以及採取行動(如物件是披薩，冰箱的壓縮機發出正常範圍外的聲音，因此發出警告)。

感測

處理器、微控制器與感測器產生的資料量相當龐大。例如，自駕車每小時要搜集25GB的資料。智慧家庭裝置、智慧牙刷、健身追蹤器或智慧手錶持續進化，並且與以往相比，會搜集更多的資料。

它們搜集到的資料極具價值，但每次都從各個終端節點把資料推回給雲端，數量又會過多。因此必須在終端進行處理。倘若部份的作業負載能在終端本身進行，就可以大幅提升效率。

推論

終端搜集到的資料是非結構性的。當機器學習從資料擷取到關聯性時，就是在進行推論。這表示使用AI與ML工具來幫忙訓練裝置辨識物件。拜神經網路的進展之賜，機器學習工具越來越能訓練物件以高度的精準度辨識影像、聲音與動作，這對體積越來越小的裝置，極為關鍵。

例如，圖4顯示使用像ONNX、PyTorch、Caffe2、Arm NN或 Tensorflow Lite 等神經網路工具，訓練高效能的意法半導體(ST)微控制器(MCU)，以轉換成最佳化的程式碼，讓MCU進行物件辨識(這個的情況辨識對象是影像、聲音或動作)。更高效能的MCU越來越常利用這些ML工具來辨識動作、音訊或影像，而且準確度相當高，而我們接下來馬上就要對此進行檢視。這些動作越來越頻繁地從邊緣，轉移到在終端運作的MCU本身。

行動

資料一旦完成感測與推論後，結果就是行動。這有可能是回饋簡單的回應(裝置是開啟或關閉)，或針對應用情況進行最佳化(戴耳機的人正在移動中，因此會針對穩定度而非音質進行最佳化)，或是回饋迴路(根據裝置訓練取得的機器學習，輸送帶若發出聲音，顯示它可能歪掉了)。物聯網裝置將會變得更複雜且更具智慧，因為這些能力提升後，運算力也會因此增加。在我們使用新的機器學習工具後，一些之前在雲端或終端完成的關鍵功能，將可以移到終端本身的內部進行。

終端 AI：千里之行始於足下

從智慧型手機到車輛，今日所有電子裝置的核心都是許多的處理器、微控制器與感測器。它們執行各種任務，從最簡單到最複雜，並需要各式各樣的能力。例如，應用處理器是高階處理器，它們是為行動運算、智慧型手機與伺服器設計；即時處理器是為例如硬碟控制、汽車動力傳動系統，與無線通訊的基頻控制使用的非常高效能的處理器，至於微控制器處理器的矽晶圓面積則小了許多，能源效率也高出很多，同時擁有特定的功能。

這意味著利用ML工具訓練如MCU等較不複雜元件來執行的動作，之前必須透過威力更強大的元件才能完成，但現在邊緣與雲端則是理想的場所。這將讓較小型的裝置以更低的延遲執行更多種類的功能，例如智慧手錶、健康追蹤器或健康照護監控等穿戴式裝置。

隨著更多功能在較小型的終端進行，這將可以省下資源，包括資料傳輸費用與能源費用，同時也會產生極大的環境衝擊，特別是考量到全球目前已有超過200億台連網裝置，以及超過2,500億顆MCU(根據Strategy Analytics統計數據)。

TinyML、MCU與人工智慧

根據Google的TesnsorFlow 技術主管、同時也是深度學習與TinyML領域的指標人物 Pete Warden 表示：「令人相當興奮的是，我還不知道我們將如何使用這些全新的裝置，特別是它們後面代表的科技是如此的吸引人，我無法想像那些即將出現的全新應用。」

微型機器學習(TinyML)的崛起，已經催化嵌入式系統與機器學習結合，而兩者傳統上大多是獨立運作的。TinyML 捨棄在雲端上運作複雜的機器學習模型，過程包含在終端裝置內與微控制器上運作經過最佳化的模式識別模型，耗電量只有數毫瓦。

物聯網環境中有數十億個微型裝置，可以為各個產業提供更多的洞察與效率，包括消費、醫療、汽車與工業。TinyML 獲得 Arm、Google、Qualcomm、Arduino等業者的支持，可望改變我們處理物聯網資料的方式。

受惠於TinyML，微控制器搭配AI已經開始增添各種傳統上威力更強大的元件才能執行的功能。這些功能包括語音辨識(例如自然語言處理)、影像處理(例如物件辨識與識別)，以及動作(例如震動、溫度波動等)。啟用這些功能後，準確度與安全性更高，但電池的續航力卻不會打折扣，同時也考量到各種更微妙的應用。

儘管之前提到的雲端神經網路框架工具，是取用這個公用程式最常用的方法，但把AI函式庫整合進MCU，然後把本地的AI訓練與分析能力插入程式碼中也是可行的。這讓開發人員依據從感測器、麥克風與其他終端嵌入式裝置取得的訊號導出資料模式，然後從中建立模型，例如預測性維護能力。

如Arm Cortex-M55處理器與Ethos U55微神經處理器(microNPU)，利用CMSIS-DSP與CMSIS-NN等常見API來簡化程式碼的轉移性，讓MCU與共同處理器緊密耦合以加速AI功能。透過推論工具在低成本的MCU上實現AI功能並符合嵌入式設計需求極為重要，原因是具有AI功能的MCU有機會在各種物聯網應用中轉變裝置的設計。

AI在較小型、低耗電與記憶體受限的裝置中可以協助的關鍵功能，我們可以把其精華歸納至我們簡稱為「3V」的三大領域：語音(Voice，如自然語言處理)、視覺(Vision，如影像處理)以及震動(Vibration，如處理來自多種感測器的資料，包括從加速計到溫度感測器，或是來自馬達的電氣訊號)。

終端智慧對「3V」至關重要

多數的物聯網應用聚焦在一些特定的領域：基本控制(開/關)、測量(狀態、溫度、流量、噪音與震動、濕度等)、資產的狀況(所在地點以及狀況如何？)，以及安全性功能、自動化、預測性維護以及遠端遙控(詳見圖 6)。

Strategy Analytics的研究顯示，許多已經完成部署或將要部署的物聯網B2B應用，仍然只需要相對簡單的指令，如基本的開/關，以及對設備與環境狀態的監控。在消費性物聯網領域中，智慧音箱的語音控制AI已經出現爆炸性成長，成為智慧家庭指令的中樞，包括智慧插座、智慧照明、智慧攝影機、智慧門鈴，以及智慧恆溫器等。消費性裝置如藍牙耳機現在已經具備情境感知功能，可以依據地點與環境，在音質優先與穩定度優先之間自動切換。

如同我們檢視的結果，終端AI可以在「3V」核心領域提供價值，而它觸及的許多物聯網領域，遍及B2B與B2C的應用：

震動：包含來自多種感測器資料的處理，從加速計感測器到溫度感測器，或來自馬達的電氣訊號。
視覺：影像與影片辨識；分析與識別靜止影像或影片內物件的能力。
語音：包括自然語言處理(NLP)、瞭解人類口中說出與寫出的語言的能力，以及使用人類語言與人類交談的能力-自然語言產生(NLG)。
垂直市場中有多種可以實作AI技術的使用場景：

震動

可以用來把智慧帶進MCU中的終端AI的進展，有各式各樣的不同應用領域，對於成本與物聯網裝置與應用的效用，都會帶來衝擊。這包括我們在圖6中點出的數個關鍵物聯網應用領域，包括：

溫度監控；
壓力監控；
溼度監控；
物理動作，包括滑倒與跌倒偵測；
物質檢測(漏水、瓦斯漏氣等) ；
磁通量(如鄰近感測器與流量監控) ；
感測器融合(見圖7)；
電場變化。

一如我們將在使用場景單元中檢視的，這些能力有許多可以應用在各種被普遍部署的物聯網應用中。

語音

語音是進化的產物，也是人類溝通非常有效率的方式。因此我們常常想要用語音來對機器下指令，也不令人意外；聲音檢測是持續成長的類別。語音啟動在智慧家庭應用中很常見，例如智慧音箱，而它也逐漸成為啟動智慧家庭裝置與智慧家電的語音中樞，如電視、遊戲主機與其他新的電器。

在工業環境中，供車床、銑床與磨床等電腦數值控制(CNC)機器使用的電腦語音引擎正方興未艾。iTSpeex的ATHENA4是第一批專為這些產品設計的語音啟動作業系統。這些產品往往因為安全原因，有離線語音處理的需求，因此終端 AI 語音發展在這裡也創造出有趣的機會。用戶可以指示機器執行特定的運作，並從機器手冊與工廠文件，立即取用資訊。

語音整合在車輛中也相當關鍵。OEM 代工廠商持續對車載娛樂系統中的語音辨識系統，進行大量投資。語音有潛力成為最安全的輸入模式，因為它可以讓駕駛的眼睛持續盯著道路，而雙手仍持續握著方向盤。

對於使用觸控螢幕或硬體控制器通常需要多道步驟的複雜任務，語音辨識系統特別能勝任。這些任務包括輸入文字簡訊、輸入目的地、播放特定歌曲或歌曲子集，以及選擇廣播電台頻道。其他的服務包含如拋錨服務(或bCall)與禮賓服務。

視覺

正如我們之前已經檢視過，終端 AI 提供視覺領域全新的機會，特別是與物件檢測及辨識相關。這可能包括觀察生產線的製造瑕疵，以及找出自動販賣機需要補貨的庫存。其他實例包括農業應用，例如依據大小與品質為農產品分級。

曳引機裝上機器視覺攝影機後，我們幾乎可以即時檢測出雜草。雜草冒出後，AI可以分類雜草並估算它對農產收穫的潛在威脅。這讓農民可以鎖定特定的雜草，並打造客製的除草解決方案。機器視覺然後可以檢測除草劑的效用，並找出農地中仍具抗藥性的殘餘雜草。

使用場景

預測性維護工具已經從擷取與比較震動的量測資料，進化到提出即時的資產監控。藉由連接物聯網感測器裝置與維護軟體，我們也可能做到遠端監控。

震動分析

這種類型的預測性維護在旋轉型機器密集的製造工廠裡，相當常見。震動分析可以揭露鬆脫、不平衡、錯位與軸承磨損等狀況。例如，把震動計量器接上靠近選煤廠離心泵浦內部承軸處，就可以讓工程師建立起正常震動範圍的基線。超出這個範圍的震動，可能顯示滾珠軸承出現鬆動，需要更換。

磁感測器融合

磁感測器利用磁性浮筒與一系列可以感應並與液體表面一起移動的感測器，測量液面的高低。所有的這些應用都使用一個固定面上的磁感測器，它與附近平面的磁鐵一起作動，與這個磁鐵相對應的感測器也會移動。

聲學分析(聲音)

與震動分析相似，聲測方位分析也是供潤滑技師使用，主要是專注在主動採取潤滑措施。這意味我們可以避免移動設備時產生的過度磨損，否則會為了修理造成代價高昂的停機。實際的例子可能包括測量輸送皮帶的承軸狀況。出現過度磨損時，承軸會因為潤滑不足或錯位出現故障，可能造成整個生產流程的中斷。

聲學分析(超音波)

聲音聲學分析雖然可以用來進行主動與預測性維護，超音波聲學分析卻只能用於預測性維護。它可以在超音波範圍內找出與機器摩擦及壓力相關的聲音，並使用在會發出較細微聲音的電氣設備與機器設備。我們可以說這一類型的分析與震動或油量分析相比，更可以預測即將出現的故障。目前它部署起來比其他種類的預防性維護花費較高，但終端 AI 的進展可以促成這種細微層級的聲學檢測，大幅降低部署的費用。

熱顯影

熱顯影利用紅外線影像來監控互動機器零件的溫度，讓任何異常情況很快變得顯而易見。具備終端 AI 能力的裝置，可以長期檢測微細的變化。與其他對事故敏感的監視器一樣，它們會觸發排程系統，自動採取適當的行動來預防零件故障。

消費者與智慧家庭

將語音運用在消費者與智慧家庭，是最常看到的場景之一。這包括智慧型手機與平板電腦上、未包含電話整合功能的裝置，例如螢幕尺寸有限的穿戴式裝置。這類型的裝置包含智慧手錶與健康穿戴式裝置，可以為各種功能提供免動手的語音啟動。像 Amazon 的 Echo 或 Google 的 Home 等智慧音箱市場的成長，說明消費者對於可接收與提供語音互動等現有裝置的強勁需求，與日俱增。

消費者基於各種理由使用智慧音箱，最常見的使用場景為：

聽音樂；
控制如照明等智慧家庭裝置；
取得新聞與天氣預報的更新；
建立購物與待辦事項清單。

除了像智慧音箱與智慧電視等消費裝置，智慧家庭裝置語音的使用，也顯現相當的潛力。諸如連網門鈴(如 ring.com)等裝置與連網的煙霧偵測器(例如 Nest Protect 煙霧與一氧化碳警報)目前都已上市可供消費者選購，它們結合了語音與視覺的感測器融合功能以及運動檢測。有了連網的煙霧偵測器，裝置在偵測到煙霧或一氧化碳時，可以發出語音警告。

終端 AI 為強化這些能力提供了全新機會，而且常常結合震動(動作)、視覺與語音控制。例如，增加姿態辨識來控制例如電視等家電，或是把語音控制嵌入白色家電，即是以最低成本強化功能性最直接的方式。

健康照護

用來發現醫護資訊的 AI 驅動終端裝置的應用，將為病況的治療與診斷，提供更多的價值。這種資訊可能是資料，也可能是影像、影片以及說出的話，我們可以透過 AI 進行型態與診斷分析。這些資料將引發全新、更有效的治療方法，為整個產業節省成本。受惠於終端 AI 的進展，像 Google Duplex 等語音系統的複雜性將會降低。例如門診預約等勞力密集的工作，也可以轉換成 AI 活動。利用自然語言語音來延伸 AI 的使用，也可以把 AI 用在第一線的病人診斷，然後再由醫師接手提供諮詢。

其他健康照護實例包括像 Wewalk5 等物件，這是一個供半盲與全盲人員使用的智慧拐杖。它使用感測器來檢測胸口水平以上的物件，並搭配 Google Maps 與 Amazon Alexa 等 app，方便使用者提出問題。

結論

由於連網的終端裝置數量越來越多，這個世界也越來越複雜。連接到網際網路的裝置已經超過 300 億個，而微控制器的數量也超過 2,500 億，每年還會增加約 300 億個。越來越多的程序開始進行自動化，不過，把大量資料傳送到雲端涉及的延遲以及邊緣運算的額外費用，意味著許多全新、令人興奮且引人矚目的物聯網使用場景，可能無法開花結果。

解決這些挑戰的答案，並不是為雲端資料中心持續增添運算力。降低出現在邊緣的延遲雖然會有幫助，但不會解決日益分散的世界的所有挑戰。我們需要把智能應用到基礎架構中。

儘管為終端裝置增添先進的運算能力在十年前仍不可行，TinyML 技術近來的提升，已經讓位處相當邊緣的裝置 (也就是終端本身)增添智能的機會大大改觀。在終端增加運算與人工智慧能力，可以讓我們在源頭搜集到更多更具關聯性與相關的資訊。隨著裝置與資料的數量持續攀升，在源頭掌握情境化與具關聯性的資料，具有極大的價值，並將開啟全新的使用場景與營收機會。

終端裝置的機器學習，可以促成全新的終端 AI 世界。新的應用場景正在崛起，甚至跳過傳送大量資料的需求，因而紓解資料傳輸的瓶頸與延遲，並在各種作業環境中創造全新機會。終端 AI 將為我們開啟一個充滿全新機會與應用場景的世界，其中還有很多我們現在想像不到的機會。

附圖：圖1：從集中式到分散式運算的轉變。
(資料來源：《The End of Cloud Computing》，by Peter Levine，Andreessen Horowitz)
圖2：全球上網裝置安裝量。
(資料來源：Strategy Analytics)
圖3：深度學習流程。
圖4：MCU的視覺、震動與語音。
(資料來源：意法半導體)
圖5：AI 工具集執行模型轉換，以便在MCU上執行經最佳化的神經網路推論。
(資料來源：意法半導體)
圖6：物聯網企業對企業應用的使用-目前與未來。
(資料來源：Strategy Analytics)
圖7：促成情境感知的感測器融合。
(資料來源：恩智浦半導體)

資料來源：https://www.eettaiwan.com/20210303nt31-the-dawn-of-endpoint-ai-bringing-compute-closer-to-data/?fbclid=IwAR0JTRpNsJUl-DmSNpfIcymGQpkQaUgXixEaczwDpELxGCaCeJpkTyoqUtI

DeeCamp2020結束了，特別驚喜地看到同學們今年的作品，跟以往線下合作在水準上基本沒有區別。今天的活動評選出了兩個總冠軍獎項，但學生們做的每一個作品都非常優秀、用心。也希望參與的200多名學生有真正的收穫。

本文來自創新工場微信公眾號
………………………………

創新工場DeeCamp2020完美落幕，兩團隊並列總冠軍獎金翻倍，共克真實世界難題

過去的2個月裡，200餘名來自全球高校的學生，聆聽了李開復、張亞勤、吳恩達、張宏江、俞敏洪、周志華等12位AI學術界、產業界大師授課，透徹理解了科技與創投核心規律；分組挑戰開放命題AI創新大賽，用AI和創意向現在和未來人類世界面臨的真實難題問題發起挑戰。

2020年8月5日，DeeCamp2020人工智慧訓練營總冠軍答辯暨結營典禮，在創新工場北京總部隆重舉行。

經過節奏緊湊的立項、研發、測試，DeeCamp 2020開放命題AI創新大賽共37支團隊提交了振奮人心的AI Demo，其中6項入圍總冠軍答辯。他們現場展示了自己精彩的成果，角逐開放命題AI創新大賽的總冠軍和各賽道冠軍。

最終，兩支團隊並列奪得總冠軍，分屬自動駕駛賽道和創新賽道。總冠軍獎金翻倍，兩支隊伍各獲得10萬元獎勵，其餘五個項目獲得各賽道冠軍。

DeeCamp人工智慧訓練營是一項面向全球大學生的公益項目，專注培養應用型AI人才。自2017年暑期啟動以來已舉辦四屆，培養了上千名大學生。DeeCamp 2020 由創新工場聯合華為共同推出，在今年全球變局與挑戰的背景下，旨在召集科技領軍新人才，肩負時代新使命，用AI解決真實世界的難題。受蔓延全球的新冠疫情影響，DeeCamp2020大師課和開放命題AI創新大賽全部轉為線上進行。

創新工場董事長兼CEO李開復博士，創新工場人工智慧工程院執行院長王詠剛，創新工場運營合夥人黃蕙雯，華為雲首席戰略官餘虎，聯合國開發計畫署駐華代表白雅婷（Beate Trankmann），路孚特（中國）科技有限公司董事長兼總經理党曉青等嘉賓出席典禮現場，予以專案點評，並為優勝隊伍頒獎。

華為雲首席戰略官餘虎表示：“華為一貫非常注重AI人才的培養，我們在2018年就發布了沃土人才培養計劃；通過華為雲線上的ModelArts AI訓練平台，以及端側的Hilens kit等算力平台，在高校，跟學校一起，聯合開展教材設計，課程設計；並且舉行無人車大賽，聯合創新創業及科研合作。目前已經和超過50所雙一流高校，形成了良好的合作，培養了上萬名學生。這次華為雲ModelArts平台很好支撐了創新工場DeeCamp大賽，幫助全國各地參賽學生隊伍的實戰項目挑戰AI難題。大家的作品和創意都非常好。期望後面大家能基於本次大賽作為良好開端，更好的掌握AI技能，發揮想像力，基於AI工程化落地的視角，用AI解決真實的產業和生活難題，給社會和生活帶來更多的改變。”

聯合國開發計劃署駐華代表白雅婷表示：“人工智能以及其他新興技術的發展會改變我們的生活，甚至可以為氣候變暖、新冠肺炎等全球性問題提供解決方案，然而它們也會擴大數字鴻溝並造成新的不平等現象。希望各位學員在日後的研究中可以運用所學，促進變革，通過自己的努力為人類創造更可持續的未來。”

路孚特（中國）科技有限公司董事長兼總經理黨曉青表示：“從2019年開始，路孚特成為DeeCamp合作夥伴，為學員分享金融行業深厚的業務知識和豐富的專業數據，並提供學習並實踐相關課題的資源。作為路孚特戰略研發運營中心之一，北京研發運營中心希望能夠吸引國內優秀的AI專業人才，增強AI專業人才儲備和研發技術能力。”

▌6支 AI Demo競逐總決賽，兩支並列總冠軍，10萬獎金翻倍

DeeCamp2020入圍總冠軍答辯的6支項目團隊，分別來自創新賽道、自動駕駛賽道、教育賽道、醫療與公共衛生賽道、商業賽道。8月5日上午，通過雲端連線的方式，6支團隊各自展示了激動人心的Demo作品。

經過評委打分、討論，自動駕駛賽道的Faster&Better團隊和創新賽道的方仔照相館團隊，最終共同奪得總冠軍。總冠軍獎金翻倍，兩個團隊分別獲得10萬元獎勵。另有五個項目獲得了各賽道冠軍。

為什麼最終選出兩個冠軍？評委之一、創新工場董事長兼CEO李開復博士解釋說，這兩個項目評委打分相同，難分伯仲。“Faster&Better”團隊的技術讓人震撼，這說明在今天，黑科技創業的空間仍然存在。而“方仔照相館”團隊則以商業取勝，讓我們驚訝於積木居然可以與AI結合。他們的“方頭仔”產品讓人充滿購買欲望，幾乎是一項可以直接拿到融資的項目。“我們認為這兩個組，任何一個單獨奪冠，都不能完整表達DeeCamp代表的精神，所以最終決定評選出兩個總冠軍。”

▍總冠軍：方仔照相館 BrickMeStudio
所屬賽道：人工智慧的創新思考與前沿設計
挑戰賽題：自動積木建模

AI+積木？聽起來如此跨界的兩件事，會有什麼奇妙的組合？

來自北京航空航太大學、清華大學、香港中文大學、奧地利科學技術研究所的同學們組成的“方仔照相館”團隊，用AI玩轉積木，為創意插上了翅膀。

他們打造了一個AI積木創作平臺“方仔照相館”，簡單上傳一張頭像照片，就可以生成個性化定制的方頭仔玩偶頭像。未來，只需一鍵下單，百變趣味的方頭仔就可以郵送到家。

怎麼實現呢？他們先根據輸入的圖像，抽取特徵向量，比如髮型、劉海、鬍子、眼睛、下巴、膚色、上衣款式、衣服圖案、鞋子顏色、手的擺放、褲子紋理等，匹配相應的積木零件，然後生成積木模型和拼裝步驟。

“方仔照相館”團隊希望將自己對積木的熱情，傳遞給更多人。積木不只是孩子們的玩具，更是創造力的源泉，“AI時代，更要注重創造力培養”。

▍總冠軍：Faster&Better
所屬賽道：自動駕駛的技術突破與前沿設計
挑戰賽題：算符算力約束下的無人駕駛車輛檢測

自動駕駛是人工智慧中最具挑戰、最具有應用前景的方向之一。對於需要大規模落地量產的車輛檢測場景，神經網路模型只能在較為廉價的晶片上運行，這為檢測模型的效率帶來了巨大挑戰和約束。

Faster&Better團隊在滿足嚴格算符算力的約束下，設計了一種極為高效的anchor-free車輛檢測模型。該模型採用了backbone、後處理策略，將物體看作點，使用輕量的head來預測物體位置、類別和bounding box，在保障性能的同時大幅提升了速度。
Faster&Better團隊對項目的商業價值也進行了思考。該車輛檢測模型能夠很容易地部署在低成本的晶片上，實現產品的落地，帶來商業回報。模型反覆運算速度快，可以使用更低的功耗訓練和維護。模型精度高，能夠為無人系統的安全性和穩定性保駕護航。

未來，該車輛檢測模型也有廣闊的應用空間。一是可以部署到行車記錄儀等傳統硬體上，使其智慧化，具備行車預警功能；二是可以部署到安防監控中，使用模型自動過濾篩選，將視頻中有車輛的場景加以保存，節省存儲空間，也節省人員重播視頻的時間。

▍教育賽道冠軍：Teched U
所屬賽道：用AI驅動的教育新工具和新方法
挑戰賽題：網路公開課聚類、檢索、評價和推薦工具

線上教育是未來趨勢，但錄播課的用戶體驗不佳。大量的錄播課僅將一段長視頻從線下直接搬運到線上，難以避免冗餘重複，造成學生積極性差、完課率低等問題。

來自卡內基梅隆大學和沃頓商學院的同學組成了Teched U團隊，希望用AI技術賦能線上教育。他們通過自研原創神經網路 TopicNet，實現長視頻切割、大綱提取、知識搜索三項功能。

通過視頻切割，尋找知識結構中斷點，可以將一小時的教育視頻切割成5-10分鐘的短視頻，讓使用者利用碎片化時間學習；通過大綱提取，借助整理好的知識大綱進行跳轉，讓使用者快速瞭解知識內容的結構；通過知識搜索，可以精確尋找到相關視頻和精確到秒的視頻跳轉位置。

目前，線上教育巨頭主要通過人工標注做視頻切分，但對於缺乏人才和技術的中小型線上公司，這項低成本的視頻切割自動標注技術，可以説明他們豐富視頻內容，實現精准推薦，從而提升用戶體驗和轉化率。

▍醫療賽道冠軍：心靈捕手
所屬賽道：用AI應對醫療和公共衛生領域的新挑戰
挑戰賽題：通過深度學習識別生物電信號

在DeeCamp，AI+醫療也可以大顯身手！

由“心靈捕手”小組帶來的“聽醫聲AI 診斷專家”項目，是本屆DeeCamp項目中唯一一個軟硬結合的項目。硬體製作、小程式設計開發等工作，全部是在DeeCamp期間用兩個月的時間完成。

“聽醫聲”AI診斷專家通過電子聽診器採集心音、呼吸音、脈搏，並將電子化的信號傳遞給微信小程式及後臺雲端分析系統，進行定量分析判斷使用者的健康狀況，實現健康監護、疾病預警、輔助診斷。若檢測到身體異樣，可自動推薦附近的醫院。未來，“聽醫聲”既可以輔助醫生做疾病早期篩查、健康監測，也可以用在留守老人監護、殘疾人健康關愛等領域。

值得一提的是，“聽醫聲”的脈搏波資料集，通過與醫院、診所、體檢中心等工作單位合作，共採集了6000余例由中醫專家標定的脈象資料，把專家經驗轉化為臨床診斷量化標準，實現了中醫問診的客觀化、資訊化。

▍創新賽道冠軍：AI科幻世界
所屬賽道：人工智慧的創新思考與前沿設計
挑戰賽題：科幻小說自動/輔助生成

你能想像一個AI構建的科幻世界嗎？在DeeCamp2020，AI正在創造一個全新的寫作時代。

來自中科院、美國喬治梅森大學等高校的五位同學組成的“AI科幻世界”團隊，基於Open AI 的GPT-2模型，在百億級中文大規模語料上重新訓練，打造了一位神奇的“AI科幻小說作家”。

這位元“科幻作家”，可以根據設定好的故事主線、人物角色等，互動式生成科幻小說內容，不僅可以遣詞造句，還可以創作構思，讓普通人也可以化身“科幻文學大咖”。

“AI科幻世界”團隊在開發的過程中，借鑒作家創作小說的過程，受到認知心理學和文學理論啟發，提出情節大綱主導的、人機協同寫作的範式：用戶輸入第一句，機器輸出多個人稱一致、語句連貫、邏輯合理的下一句話候選，由用戶做篩選和修改，不斷重複形成情節閉環。

在人機協同的半自動模式下，AI科幻世界寫作故事大綱的速度每分鐘可達50-100字。而在無人干預的全自動模式下，可以在1秒鐘之內寫出一個曲折動人的兩千字故事，揭開了創作的神秘面紗。

未來，科幻小說自動/輔助生成可以應用在商業傳播場景中，提升內容的廣度和個性化，兼顧精准分發下的使用者需求和內容品質，滿足企業對海量資訊的搜集、分析、篩選、整理和發佈需求。

▍商業賽道冠軍：“Non-pretrain”
所屬賽道：AI 賦能的商業決策與商業流程優化
挑戰賽題：人工智慧在量化交易和投資中的決策輔助

量化交易是指以先進的數學模型替代人為的主觀判斷，利用電腦技術從龐大的歷史資料中海選能帶來超額收益的多種“大概率”事件以制定策略。
來自南京大學、復旦大學的“Non-pretrain”團隊，針對外匯量化交易的歷史資料，提出了一種資料依賴的相似性度量方法。對每一個分類，分別使用所提出的層次注意力LSTM模型對未來匯率進行預測。最後對多個類的預測結果進行集成，並結合挖掘出來的典型pattern制定交易策略。

此外，聯合國開發計畫署一直非常關注高新科技與人工智慧在可持續發展領域的應用，為了鼓勵各位學員積極探索用AI解決可持續發展問題，專門設立了“AI4SDG”獎項，頒發給西天取經團隊、AI倒爺團隊、Teched U團隊、Brainnova意念互聯團隊、心靈捕手團隊。

此外，DeeCamp還組織了學員互評，評選最受學員歡迎的作品，最終西天取經、You OnlyLook Us、AI科幻世界三個團隊獲此殊榮。

▍自動駕駛賽道冠軍：“西天取經”AwesomeDet
所屬賽道：自動駕駛的技術突破與前沿設計
挑戰賽題：算符算力約束下的無人駕駛車輛檢測

西天取經團隊由來自北理工、北航、新加坡國立、北大、麥吉爾大學的五位極客組成。他們希望在自動駕駛的漫漫長路上，經歷磨難，不斷成長探索。

團隊採用了業界先進的技術，從Backbone、Neck、Loss三個層面出發，設計了一系列滿足算符算符約束的目標檢測模型，並做出適配改進，進行算法針對性優化。

推理速度是衡量自動駕駛技術的關鍵指標，目前行業內對推理速度的最低要求是10fps, 而該團隊的產品推理速度最快達到了74.5fps。

同時，他們提出了基於數據分析提出特定的增強方法，改善了夜間難樣本的訓練。經過真實場景下的測試，無論側視、後視、前視、夜景，都表現出了良好的遷移效果，測速、性能表現較好，達到了簡單場景下的車輛檢測要求，滿足了商業落地的要求。

該項目另外一大亮點是在手機上集成了檢測產品，做到了產品級別的實時呈現。未來，產品將可以搭載到智能行車記錄儀車輛預警、車載手機預警APP、交通事故實時監測、實時治安情況監測等多個領域。

此外，聯合國開發計劃署（UNDP）一直非常關注高新科技與人工智能在可持續發展領域的應用，為了鼓勵各位學員積極探索用AI解決可持續發展問題，專門設立了“AI4SDG”獎項，頒發給西天取經團隊、AI倒爺團隊、Teched U團隊、Brainnova意念互聯團隊、心靈捕手團隊。

▌74所高校200余名學生參與，12位大師授課

DeeCamp2020採用開放報名+定向邀請的方式，通過激烈競爭，200余位學員最終入選。

他們來自清華大學、北京大學、中國科學院大學、南京大學、北京航空航太大學、復旦大學、中國人民大學等44所國內高校，以及卡內基梅隆大學、麻省理工學院、牛津大學、康奈爾大學等30所海外高校，分佈在86個國內城市及北美和歐洲的17個海外城市。

學員中，碩士生占比56%，本科生占比26%，博士生占比17%。另外還有1%的學員是優秀的高中生，他們的技術科研能力已經達到了大學本科生的水準。

DeeCamp2020獨創“大師課+開放命題AI創新大賽”模式，讓學員既可以近距離與科研及產業領域大師溝通交流，也可以與志同道合的小夥伴結隊，親身體驗 AI 技術如何轉化為產業應用、積累實踐案例經驗。

在大師課上，李開復、張亞勤、吳恩達、張宏江、俞敏洪、周志華等12位來自AI領域學術界、產業界的重量級嘉賓，為同學們分享了AI前沿理論、產業創新、行業發展、創業趨勢等領域的最新洞察，讓大家充分領略了學術大師的思維方式，感受知識的魅力。

不同於常見的 AI 領域競賽，DeeCamp2020 開放命題AI創新大賽不以完成某一具體指標為目的，而是讓同學們組隊完成一個完整的創新項目，鼓勵其用創意向現在和未來人類面臨的科技問題發起挑戰。

因此，在賽題的設置上，DeeCamp聚焦社會熱點，關注真實世界與人們生活，共設置五大賽道14個新穎賽題，允許學生自由組隊。五個賽道分別是：

•教育賽道：AI 驅動的教育新工具和新方法
•醫療賽道：用 AI 應對醫療和公共衛生領域的新挑戰
•創新賽道：人工智慧的創新思考與前沿設計
•商業賽道：AI 賦能的商業決策與商業流程優化
•自動駕駛賽道：自動駕駛的技術突破與前沿創新

據創新工場人工智慧工程院執行院長王詠剛介紹，這次的賽道賽題設計具有“更熱門”、“更真實”、“更接地氣”三大特點：

“更熱門”：2020年是特殊的一年，我們面對著最多的變化，最多的挑戰，也是最多的機會，因此賽題設置貼合當前社會最關注的熱點問題，如健康賽道關注仍在全球延燒的新冠疫情。

“更真實”：為了讓同學們最大限度地接觸真實世界，所有賽題提供的資料都來自各個合作企業的真實場景資料。例如在Momenta提供的自動駕駛賽道中，Momenta為同學們提供了一批獨家未公開的128線雷射雷達檢測資料集和十萬量級視覺資料集，希望同學們在科研人員帶領下一同解決行業中的各類技術問題。

“更接地氣”：賽題設置與同學們的學習生活息息相關。在教育賽道中，人工智慧對程式設計教育的應用占了很大的部分，因為參賽的同學大多來自數學、電腦專業，有自學程式設計的經歷，這能促使參加該賽題的同學發揮主觀能動性，更好的利用自身經驗提高項目完成品質。

最終，共有9支隊伍選擇了商業賽道，10支隊伍選擇了自動駕駛賽道，5支隊伍選擇了教育賽道，6支隊伍選擇了醫療賽道，7支隊伍選擇了創新賽道，向這些難題發起挑戰。

▌你想用AI改變什麼？——DeeCamp學員的AI願望

人工智慧是一項偉大的技術，我們有幸生活在這個時代，也應該努力讓人工智慧造福人類社會。

“你想用AI改變什麼？”在主辦方發起的一項徵集活動中，200多名同學用紙和筆，寫下了自己的AI願望：

o“我想用AI改變人們的出行方式”
o“我希望用AI改變人們的教育環境，為所有人帶來更加智慧化的教育方式”
o“我希望用AI解決量化投資及商業決策問題”
o“我想用AI改變遊戲設計”
o“我想用AI改變文學作品的表現方式，讓大家能更加淋漓盡致地表現所思所想”
o“我想用AI改變醫療診斷技術”
o“我想用AI改變我們觀察世界的方式”
………

創新工場人工智慧工程院執行院長王詠剛表示，DeeCamp是一個為學生服務、充分發揮學生自主精神的人工智慧訓練營，鼓勵所有來到DeeCamp的同學進行一段自我驅動的AI學習實踐之旅。

在專案期間，DeeCamp的同學們充分發揮了“自我組織、自我管理、自我表現”的精神：自發組織了13場分享會，涉及創業經驗、讀書感想、技術研討、項目交流。在官方組織的“飯？泛？FUN？”談會中，學員們積極與各位大師雲上約飯，探討AI產業發展、創業方向、職業選擇等話題。

DeeCamp人工智慧訓練營自誕生起，就以消弭中國AI應用人才鴻溝、培養和完善中國AI應用人才生態為初衷，堅持公益屬性，將知識課程與項目實踐相結合，引導學生體驗 AI 技術如何轉化為產業應用，積累實踐案例經驗。

自2017年暑期首次開辦以來，DeeCamp總計收到來全球 1000 餘所高校超過 20000 份報名申請，已有 1000 余名學員順利結業。

DeeCamp的最大期待，就是結業的學員們都能在方興未艾的 AI 產業浪潮中，真正解決來自真實世界的難題，將論文中的 AI 演算法打造成一個個成功的 AI 產品與解決方案，用AI創造更美好的人類未來！

未來，DeeCamp 將繼續砥礪前行，不遺餘力地在人工智慧人才培養上面挖掘新方法和新思路，為 AI 領域輸送最新鮮的血液、提供最堅實的力量。