機器學習識別特徵阻絕代測　上鏈回送監理資料庫防竄改

人臉辨識加酒精鎖阻酒駕　串區塊鏈上傳比對告警

2021-05-24社團法人台灣E化資安分析管理協會元智大學多媒體安全與影像處理實驗室

本文將介紹酒精防偽人臉影像辨識系統，結合了人臉辨識、酒精鎖以及區塊鏈應用，以解決酒駕問題，並透過監控系統避免代測狀況發生。且利用區塊鏈不可修改的特性，將車輛與人臉資料串上區塊鏈，以確保駕駛人的不可否認性。

長長期以來「酒駕」都是一個很嚴肅且必須被重視的議題，儘管在2019年立法院修法酒駕及拒絕酒測的罰則，但是抱持僥倖心態的人還是數不勝數，導致因酒駕釀成車禍的悲劇還是一再重演，讓不少的家庭因此破滅。

據統計，從2015年到2018年的酒駕取締件數都逾10萬件，而因為酒駕車禍的死亡人數逾百人。在2019年酒駕新制上路以後，2020年警方酒駕取締件數有明顯下降至約6萬件，雖然成功達到嚇阻效果，但是死亡人數仍與去年前年持平，可見離完全遏止酒駕還有很長的路需要努力。

立法院於2018年三讀通過了「道路交通管理處罰條例部分條文修正案」，酒駕者必須重新考照，並且只能駕駛具有酒精鎖（Alcohol Interlock）的車輛，所謂酒精鎖，屬於車輛點火自動鎖定裝置，在汽車發動前必須進行酒測，通過才能將汽車發動，而且在每45分鐘至60分鐘後酒精鎖系統就會要求駕駛人在一定時間內進行重新酒測，以便防範在行車過程中有飲酒的情況發生，若駕駛人未遵守其要求，車子就會強制熄火並鎖死，必須回酒精鎖服務中心才能將鎖解開。

由於法案的方式無法完全遏止酒駕，因此許多創新科技或是企業致力於研究相關科技來解決酒駕的問題。

其中本田（Honda）汽車與日立（Hitachi）公司研發出手持型酒精含量檢測裝置，讓駕駛人必須在駕駛之前都先進行酒測，若酒精濃度超標就會將汽車載具上鎖，藉此避免酒駕意外或事故發生，且該技術結合了智慧鑰匙功能，若偵測到酒測值超標，車輛中的顯示面板將會發出警告訊號告知駕駛人，避免酒駕上路之問題。

另一方面則是解決酒精殘值之問題，因為有許多駕駛人都會認為，休息一下後，身體也無感到不適，即駕車出門，等到駕駛人被警方臨檢時才知道酒測未通過，因此收到罰單，甚至是吊銷駕照處罰等。

根據醫學研究指出，酒精是在人體體內由肝臟代謝，實際代謝時間必須看體質以及飲酒量而定。台灣酒駕防制社會關懷協會建議，喝酒後至少要10至20小時後再駕車比較安全。多數人無具備酒精代謝時間的觀念，導致駕駛人貿然上路，待意外發生或罰單臨頭時，已經為時已晚。

背景知識說明

本文介紹的方法為酒精鎖結合攝影鏡頭進行人臉辨識，並將人臉特徵資料與車輛資料串上區塊鏈，並利用區塊鏈不可篡改的特性，來避免駕駛人在解鎖酒精鎖時發生他人代測的問題。

由於人臉辨識技術具備防偽性、身分驗證的特性，因此將酒精鎖的技術結合人臉辨識，便可確認為駕駛本人。

何謂人臉辨識

人臉辨識技術屬於生物辨識的一種，基於人工智慧、機器學習、深度學習等技術，將大量人臉的資料輸入至電腦中做為模型訓練的素材，讓電腦透過演算法學習人類的面部特徵，藉以歸納其關聯性最後輸出人臉的特徵模型。

目前人臉辨識技術已經遍佈在日常生活之中，其應用面廣泛，最為常見的應用即為智慧型手機的解鎖、行動支付如LINE Pay、Apple Pay等，其他應用還包括行動網路銀行、網路郵局、社區大樓門禁管理系統、企業監控系統、機場出入關、智能ATM、中國天眼系統等。一般來說，人臉辨識皆具備以下幾個特性：

‧ 普遍性：屬於任何人皆擁有的特徵。

‧ 唯一性：除本人以外，其他人不具相同的特徵。

‧ 永續性：特徵不易隨著短時間有大幅的改變。

‧ 方便性：人臉辨識容易實施，設備容易取得，如相機鏡頭。

‧ 非接觸性：不須直接接觸儀器，也可以進行辨識，這部分考量到衛生問題以及辨識速度。

人臉辨識透過人臉特徵的分析比對進行身分的驗證，別於其他生物辨識如虹膜辨識、指紋辨識，無須近距離接觸，也可以精準地辨識身分，且具有同時辨識多人的能力。因應新冠肺炎疫情肆虐全球，人臉辨識技術也被用來管理人來人往的人流。人臉辨識的儀器可以搭配紅外線攝影機來測量人體體溫，在門禁進出管制系統中，利於提高管理效率，有效掌握到進出人員的身分，以及幫助衛生福利部在做疫調時更容易掌握到確診病患行經的足跡。

人臉辨識的步驟

人臉辨識的過程與步驟，包括人臉偵測、人臉校正、人臉特徵值的摘取，進行機器學習與深度學習、輸出人臉模型，從影像中先尋找目標人臉，偵測到目標後會將人臉進行預處理、灰階化、校正，並摘取特徵值，接著人臉資料交給電腦進行機器學習與深度學習運算，最後輸出已訓練好的模型。相關辨識的步驟，如圖1所示。

人臉偵測

基於Haar臉部檢測器的基本思想，對於一個一般的正臉而言，眼睛周圍的亮度較前額與臉頰暗、嘴巴比臉頰暗等其他明顯特徵。基於這樣的模式進行數千、數萬次的訓練，所訓練出的人臉模型，其訓練時間可能為幾個小時甚至幾天到幾周不等。利用已經訓練好的Haar人臉特徵模型，可以有效地在影像中偵測到人臉。

Python中的Dilb函式庫提供了訓練好的人臉模型，可以偵測出人臉的68個特徵點，包括臉的輪廓、眉毛、眼睛、鼻子、嘴巴。基於這些特徵點的資料就能夠進行人臉偵測，如圖2～4所示。圖中左上角的部分是偵測到的分數，若分數越高，代表該張影像就越可能是人臉，右側括弧中的編號代表子偵測器的編號，代表人臉的方向，其中0為正面、1為左側、2為右側。

人臉的預處理

偵測到人臉後，要針對圖片進行預處理。通常訓練的影像與攝影鏡頭拍出來的照片會有很大的不同，尤其會受到燈光、角度、表情等影響，為了改善這類問題，必須對圖片進行預處理以減少這類的問題，其中訓練的資料集也很重要：

‧ 幾何變換與裁剪：將影像中的人臉對齊與校正，將影像中不重要的部分進行裁切，並旋轉人臉，並使眼睛保持水平。

‧ 針對人臉的兩側用直方圖均衡化：可以增強影像中的對比度，可以改善過曝的影像或是曝光不足的問題，更有效地顯示與取得人臉目標的特徵點。

‧ 影像平滑化：影像在傳遞的過程中若受到通道、劣質取樣系統或是受到其他干擾導致影像變得粗糙，藉由使用圖形平滑處理，可以減少影像中的鋸齒效應和雜訊。

人臉特徵摘取

關於人臉特徵摘取，相關的技術說明如下：

‧ 歐式距離：人臉辨識是一個監督式學習，利用建立好的人臉模型，將測試資料和訓練資料進行匹配，最直觀的方式就是利用歐式距離來計算所有測試資料與訓練資料之間的距離，選擇差距最小者的影像作為辨識結果。由於人臉資料過於複雜，且需要大量的訓練集資料與測試集資料，會導致計算量過大，使辨識的速度過於緩慢，因此需要透過主成分分析法（Principal Components Analysis，PCA）來解決此問題。

‧ 主成分分析法：主成分分析法為統計學中的方法，目的是將大量且複雜的人臉資料進行降維，只保留影像中的主成分，即為影像中的關鍵像素，以在維持精確度的前提下加快辨識的速度。先將原本的二維影像資料每列資料減掉平均值，並計算協方差矩陣且取得特徵值與特徵向量，接著將訓練集與測試集的資料進行降維，讓新的像素矩陣中只保留主成分，最後則將降維後的測試資料與訓練資料做匹配，選擇距離最近者為辨識的結果。由於影像資料經過了降維的步驟，因此人臉辨識的速度將會大幅度地提升。

‧ 卷積神經網路：卷積神經網路（Convolutional Neural Network，CNN）是一種神經網路的架構，在影像辨識、人臉辨識至自駕車領域中都被廣泛運用，是深度學習（Deep Learning）中重要的一部分。主要的目的是透過濾波器對影像進行卷積、池化運算，藉此來提取圖片的特徵，並進行分類、辨識、訓練模型等作業。在人臉辨識的應用中，首先會輸入人臉的影像，再透過CNN從影像提取像素特徵並轉換成特定形式輸出，並用輸出的資料集進行訓練、辨識等等。

何謂酒精鎖

酒精鎖（圖5）是一種裝置在車輛載體中的配備，讓駕駛人必須在汽車發動前進行酒測，通過後才能將車輛發動。且每隔45分鐘至60分鐘會發出要求，讓駕駛人在時間內再次進行檢測。

根據歐盟經驗，提高罰款金額以及吊銷駕照只有在短期實施有效，只有勸阻的效果，若在執法上不夠嚴謹，被吊照者會轉變成無照駕駛，因此防止酒駕最有效的方法就是強制讓駕駛人無法上路，這就是「酒精鎖」的設計精神。

在本國2020年3月1日起酒駕新制通過後，針對酒駕犯有了更明確且更嚴厲的規定，在酒駕被吊銷駕照者重考後，一年內車輛要裝酒精鎖，未通過酒測者無法啟動，且必須上15小時的教育訓練才能重考，若酒駕累犯三次，要接受酒癮評估治療滿一年、十二次才能重考。

許多民眾對於「酒精鎖」議論紛紛，懷疑是否會發生找其他人代吹酒精鎖的疑慮，為防範此問題，酒精鎖在啟動後的五分鐘內重新進行吹氣，且汽車在行駛期間的每45至60分鐘內，便會隨機要求駕駛重新進行酒測，如果沒有通過測量或是沒有測量，整合在汽車智慧顯示面板的酒精鎖便會發出警告，並勸告駕駛停止駕車。

對於酒精鎖的實施，目前無法完全普及到每一台車子，而且對於沒有飲酒習慣的民眾而言，根本是多此一舉，反而增加不少麻煩給駕駛。若還有每45～60分鐘的隨機檢測，會導致多輛汽車必須臨時停靠路邊進行檢測，可能加劇汽車違規停車的發生頻率。

認識區塊鏈

區塊鏈技術是一種不依賴於第三方，透過分散式節點（Peer to Peer，P2P）來進行網路數據的存儲、交易與驗證的技術方法。本質上就是一個去中心化的資料庫，任何人在任何時間都可以依照相同的技術標準將訊息打包成區塊並串上區塊鏈，而這些被串上區塊鏈的區塊無法再被更改。區塊鏈技術主要依靠了密碼學與HASH來保護訊息安全，也是賦予區塊鏈技術具有高安全性、不可篡改性以及去中心化的關鍵。區塊鏈相關概念，如圖6所示。

區塊鏈的原理與特性

可以將區塊鏈想像成是一個大型公開帳本，網路上的每個節點都擁有完整的帳本備份，當產生一筆交易時，會將這筆交易廣播到各個節點，而每個節點會將未驗證的交易HASH值收集至區塊內。接著，每個節點進行工作量證明，選取計算最快的節點進行這些交易的驗證，完成後會把區塊廣播給到其他節點，其他節點會再度確認區塊中包含的交易是否有效，驗證過後才會接受區塊並串上區塊鏈，此時就無法再將資料進行篡改。

關於區塊鏈的特性，可分成以下四部分做說明：

1. 去中心化：區塊鏈其中一個最重要的核心宗旨，就是「去中心化」，區塊鏈採用分散式的點對點傳輸，該概念架構中，節點與節點之中沒有所謂的中心，所有的操作都部署在分散式的節點中，而無須部署在中心化機構的伺服器，一筆交易或資料的傳輸不再需要第三方的介入，因此又可以說每個節點就是所謂的「中心」。這樣的結構也加強了區塊鏈的穩定性，不會因為其中的部分節點故障而癱瘓整個區塊鏈的結構。

2. 不可篡改性：透過密碼學與雜湊函數的運用來將資料打包成區塊並上鏈，所有區塊都有屬於它的時間戳記，並依照時間順序排序，而所有節點的帳本資料中又記錄了完整的歷史內容，讓區塊鏈無法進行更改或是更改成本很高，因此使區塊鏈具備「不可篡改性」，並且同時確保了資料的完整性、安全性以及真實性。

3. 可追溯性：區塊鏈是一種鏈式的資料結構，鏈上的訊息區塊依照時間的順序環環相扣，這便使得區塊鏈具有可追溯的特性。可追本溯源的特性適用在廣泛的領域中，如供應鏈、版權保護、醫療、學歷認證等。區塊鏈就如同記帳帳本一般，每筆交易記錄著時間和訊息內容，若要進行資料的更改，則會視為一筆新的交易，且舊的紀錄仍會存在無法更動，因此仍可依照過去的交易事件進行追溯。

4. 匿名性：在去中心化的結構下，節點與節點之間不分主從關係，且每個節點中都擁有一本完整的帳本，因此區塊鏈系統是公開透明的。此時，個人資料與訊息內容的隱私就非常重要，區塊鏈技術運用了HASH運算、非對稱式加密與數位簽章等其他密碼學技術，讓節點資料在完全開放的情況下，也能保護隱私以及用戶的匿名性。

區塊鏈與酒精鎖

由於區塊鏈的技術具備去中心化、記錄時間以及不可篡改的特性，且更加強酒精鎖的檢測需要身分驗證的保證性。當進行酒精鎖檢測解鎖時，系統記錄駕駛人吹氣時間以及車輛的相關資訊，還有人臉特徵資料打包成區塊並串上區塊鏈。因此，在同一時間當監控系統偵測到當前駕駛人與吹氣人不同時，此時區塊鏈中所記錄的資料便能成為一個強而有力的依據，同時也能讓其他的違規或違法事件可以更容易進行追溯。

酒駕防偽人臉辨識系統介紹

為了解決酒精鎖發生駕駛人代測的問題，酒精鎖產品應導入具有身分驗證性的人臉辨識技術。酒駕防偽人臉辨識系統即為駕駛人在進行酒精鎖解鎖時，要同時進行人臉辨識，來確保駕駛人與吹氣人為同一人。

在駕駛座前方的位置會安裝攝影鏡頭，作為駕駛的監控裝置。進行酒測吹氣的人臉資料將會輸入到該系統中的資料庫儲存，並將人臉資料以及酒測的時間戳記打包成區塊串上區塊鏈，當汽車已經駛動時，攝影鏡頭將會將當前駕駛人畫面傳回系統進行人臉比對驗證。如果驗證成功，會將通過的紀錄與時間戳一同上傳至區塊鏈，若是系統偵測到駕駛人與吹氣人為不同對象，系統將發出警示要求駕駛停車並重新進行檢測，並同時將此次異常的情況進行記錄上傳到區塊鏈中。

如果駕駛持續不遵循系統指示仍持續行駛，該系統會將區塊鏈的紀錄傳送回給開罰的相關單位，並同時發出警報以告知附近用路人該車輛處於異常情況，應先行迴避。且該車輛於熄火後，酒精鎖會將車輛上鎖，必須聯絡酒精鎖廠商或酒精鎖服務中心才能解鎖。相關的系統概念流程圖，如圖7所示。

區塊鏈打包上鏈模擬

在進行酒測解鎖完畢以及進行人臉資料儲存後，會透過CNN將影像轉換輸出成128維的特徵向量作為人臉資料的測量值，接著將128個人臉特徵向量資料取出，並隨著車輛資訊一起打包到同一個區塊，然後串上區塊鏈。取出的人臉特徵資料，如圖8所示。

要打包成區塊和上鏈的內容，包括了人臉特徵資料、車牌號碼、酒測解鎖時間點等相關輔助資料，接著透過雜湊函數將相關的資料打包成區塊。以車牌號碼ABC-1234為例，圖9顯示將車輛資料和人臉資料進行區塊鏈的打包，並進行HASH運算。

將人臉資料和車輛相關資料作為一次的交易內容，並打包區塊，經過HASH後的結果如圖10所示，其中prev_hash屬性代表鏈結串列指向前一筆資料，由於這是實作模擬情境，並無上一筆資料，其中messages屬性代表內容數，一筆代表車牌資料，另一筆則為人臉資料。time屬性則代表區塊上鏈的時間點，代表車輛解鎖的時間點。

情境演練說明

話說小禛是一間企業的上班族，平時以開車為上下班的交通工具，他的汽車配置了酒駕防偽影像辨識系統，以下模擬小禛下班後準備開車的情境。

已經下班的小禛今天打算從公司開車回家，當小禛上車準備發動車子時，他必須先拿起安裝在車上的酒測器進行吹氣，並將臉對準攝影鏡頭讓系統取得小禛的人臉影像。小禛在汽車發動前的人臉影像，如圖11所示。

待攝影鏡頭偵測到小禛的人臉後，接著系統便會擷取臉上五官的68個特徵點，如圖12所示。然後，相關數據再透過CNN轉換輸出成128維的特徵向量作為人臉資料的測量值，如圖13所示。

酒精鎖通過解鎖後，車輛隨之發動，解鎖成功的時間點將會記錄成時間戳記，隨著影像與相關資料串上區塊鏈。在行駛途中，設置在駕駛座前方的鏡頭將擷取目前駕駛的人臉，以取得駕駛人的128維人臉特徵向量測量值，並且與汽車發動前所存入的人臉資料進行比對，藉以判斷目前的駕駛人與剛才的吹氣人臉是否為同一位駕駛。當驗證通過後，也會再將通過的紀錄與時間戳上傳至區塊鏈中，如此一來，區塊鏈的訊息內容便完整記載了這一次駕車的紀錄，檢測通過的示意圖如圖14所示。

系統通過辨識後，便確認了駕駛人的身分與吹氣人一致。且透過時戳的紀錄和區塊鏈的輔助，也確保了駕駛的不可否認性。若有其他違規事件發生時，區塊鏈的紀錄便成為一個強而有力的依據來進行追溯。

如此一來，便可以預防小禛喝酒卻找其他人代吹酒測器的情況發生。在駕駛的途中，如果有需要更換駕駛人，必須待車輛靜止時，從車載系統發出更換駕駛要求，再重新進行酒測以及重複上述流程，才可以更換駕駛人。如果沒有按照該流程更換駕駛，系統將視為異常情況。

結語

酒駕一直是全球性的問題，將有高機率導致重大交通事故，造成人員傷亡、家庭破碎，進而醞釀後續更多的社會問題，皆是酒駕所引發的不良效益。為了解決酒駕的問題，各個國家都有不同的酒駕標準或是法律規範，但是大部分國家的規範和制度都只有嚇阻作用卻無法完全遏止。在不同的國家防止酒駕的方式不盡相同，有的國家如新加坡，透過監禁及鞭刑來遏止酒駕犯，又或者是薩爾瓦多，當發現酒駕直接判定死刑，這樣的制度雖嚇阻力極強，但是若讓其他國家也跟進，會造成違憲或是違反人權等問題。因此，各國都在酒駕的問題方面紛紛投入研究，想要達到零酒駕的社會。

為達成此理想，本文介紹了基於區塊鏈的酒駕防偽辨識系統，利用酒精鎖搭配人臉辨識技術以及區塊鏈技術，使有飲酒的駕駛人無法發動汽車。且該系統搭載在行車電腦中，結合攝影鏡頭的監控對駕駛進行酒測防制管理，將人臉資料、酒精鎖、解鎖時間點與相關資訊打包成區塊並上鏈。基於區塊鏈技術內容的不易篡改，可加強駕駛人的不可否認性，當汽車發生異常情況時，便能利用有效且可靠的依據進行追溯。人工智慧和物聯網時代已經來臨，透過酒駕防偽辨識系統來改善酒駕問題，在未來能夠普及並結合法規，智慧汽車以及智慧科技的應用將會帶給人們更安全、更便利的社會。

附圖：圖1 人臉辨識的步驟。
圖2 人臉特徵點偵測（正臉）。
圖3 人臉特徵點偵測（左側臉）。
圖4 人臉特徵點偵測（右側臉）。
圖5 酒精鎖。 （圖片來源：https://commons.wikimedia.org/wiki/File:Guardian_Interlock_AMS2000_1.jpg with Author: Rsheram）
圖6 區塊鏈分散式節點的概念圖。
圖7 系統概念流程圖。
圖8 取出人臉128維特徵向量。
圖9 儲存車輛相關資料及人臉資料到區塊。
圖10 HASH後及打包成區塊的結果。
圖11 汽車發動前小禛的人臉影像。
圖12 小禛的人臉影像特徵點。
圖13 小禛的人臉特徵向量資料。
圖14 系統通過酒測檢測者與駕駛人為同一人。

資料來源：https://www.netadmin.com.tw/netadmin/zh-tw/technology/CC690F49163E4AAF9FD0E88A157C7B9D

【張旭許願池 YT 首播：Cayley-Hamilton 定理 & 極小多項式】
【第 15 回張旭許願池活動開跑】
　
各位晚安
又到了我們張旭許願池首播的時候了
目前在數學老師張旭的 YT 頻道那邊
正在首播第 14 回的張旭許願池影片喔
　
連結：https://reurl.cc/pdlWnb
　
這次我們講解了 Cayley-Hamlton 定理的證明與應用
然後說明了極小多項式和特徵多項式的差別
然後再利用極小多項式去分析矩陣的結構
　
這個章節算是工數裡面蠻兩極的章節
可以考得很簡單也可以考得很難
我想差別就在於教授希望學生對這兩個東西了解要多深
　
當你看到這篇貼文的時候
影片應該已經開始首播了
如果你也想跟我還有丈哥一起看首播
並在聊天室裡面和大家一起討論的話
那就趕快過來吧❗
　
///
　
另外，想許願的同學們
歡迎在這篇貼文底下留言或投票你想聽的主題
　
雖然第 14 回許願池活動已經結束
但第 15 回還是會持續進行
只要還有同學們想聽的主題沒有拍出來
這個許願池活動就不會停止
　
但在許願之前
記得先看看我們以前是否已經有拍過類似的主題囉👇
　
歷屆許願池清單：
EP01：向量微積分重點整理 (https://reurl.cc/62Y1Ky)
EP02：泰勒展開式說明與應用 (https://reurl.cc/g7pORz)
EP03：級數審斂法統整於習題 (https://reurl.cc/j7YN91)
EP04：積分技巧統整【丈哥講解】(https://reurl.cc/D9LRqm)
EP05：極座標統整與應用 (https://reurl.cc/b5aLWl)
EP06：極限嚴格定義題型 + 讀書方法分享 (https://reurl.cc/3Dp0KX)
EP07：常見的一階微分方程題型與解法 (https://reurl.cc/3Dp0KX)
EP08：Jordan form 與 SVD 分解 (本集計算錯誤較多，之後將重新錄製)
EP09：反函數定理與隱函數定理 (https://reurl.cc/O1LlY3)
EP10：多變數函數求極值與 Lagrange 乘子法【丈哥講解】 (https://reurl.cc/xZ4yNz)
EP11：Laplace 轉換 (https://reurl.cc/kdWyeL)
EP12：Fourier 級數與 Fourier 轉換 (https://reurl.cc/6233Yb)
EP13：換變數定理與 Jacobian 行列式【丈哥講解】(https://reurl.cc/d0Zm3q)
EP14：Cayley-Hamilton 定理 & 極小多項式【丈哥講解】 (https://reurl.cc/pdlWnb)
　
註：
EP12' 我會錄製傅氏轉換解 PDE
　
想聽以上這個主題的同學也不用急著留言
最近我們會額外補錄
　
大概如此
歡迎各位參加～
　
///
　
歡迎用訂閱行動支持數學老師張旭 YT 頻道‼
連結：https://reurl.cc/KkL3Vy
　
張旭老師大一微積分先修線上直播課程開課了🔥
連結：https://reurl.cc/Njol7x
　
張旭老師高中學測數學題庫培訓班線上直播課程開課了🔥
連結：https://reurl.cc/pdlDGa
　
歡迎參加許願池活動，留下你想聽我們講的主題
最新連結請到置頂文章：https://reurl.cc/WdZQDx
　
贊助支持我們拍更多教學影片
歐付寶：https://reurl.cc/vD401k (台灣境內請用這個)
綠界：https://reurl.cc/3Dp7Ll (台灣境外用這個)

創新工場“AI蒙汗藥”入選NeurIPS 2019，3年VC+AI佈局進入科研收穫季

本文來自量子位微信公眾號
……………………………………………………………………

NeurIPS 2019放榜，創新工場AI工程院論文在列。

名為“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”。

一作是創新工場南京國際AI研究院執行院長馮霽，二作是創新工場南京國際人工智慧研究院研究員蔡其志，南京大學AI大牛周志華教授也在作者列。

論文提出了一種高效生成對抗訓練樣本的方法DeepConfuse，通過微弱擾動資料庫的方式，徹底破壞對應的學習系統的性能，達到“資料下毒”的目的。

創新工場介紹稱，這一研究就並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅，還能協助針對性地制定防範“AI駭客”的完善方案，推動AI安全攻防領域的發展。

NeurIPS，全稱神經資訊處理系統大會(Conference and Workshop on Neural Information Processing Systems)，自1987年誕生至今已有32年的歷史，一直以來備受學術界和產業界的高度關注，是AI學術領域的“華山論劍”。

作為AI領域頂會，NeurIPS也是最火爆的那個，去年會議門票在數分鐘內被搶光，而且在論文的投稿錄取上，競爭同樣激烈。

今年，NeurIPS會議的論文投稿量再創新高，共收到6743篇投稿，最終錄取1428篇論文,錄取率為21.2%。

▌“資料下毒”論文入選頂會NeurIPS

那這次創新工場AI工程院這篇入選論文，核心議題是什麼？

我們先拆解說說。

近年來，機器學習熱度不斷攀升，並逐漸在不同應用領域解決各式各樣的問題。不過，卻很少有人意識到，其實機器學習本身也很容易受到攻擊，模型並非想像中堅不可摧。

例如，在訓練(學習階段)或是預測(推理階段)這兩個過程中，機器學習模型就都有可能被對手攻擊，而攻擊的手段也是多種多樣。

創新工場AI工程院為此專門成立了AI安全實驗室，針對人工智慧系統的安全性進行了深入對評估和研究。

在被NeurIPS收錄的論文中，核心貢獻就是提出了高效生成對抗訓練資料的最先進方法之一——DeepConfuse。

▌給數據下毒

通過劫持神經網路的訓練過程，教會雜訊生成器為訓練樣本添加一個有界的擾動，使得該訓練樣本訓練得到的機器學習模型在面對測試樣本時的泛化能力盡可能地差，非常巧妙地實現了“資料下毒”。

顧名思義，“資料下毒”即讓訓練資料“中毒”，具體的攻擊策略是通過干擾模型的訓練過程，對其完整性造成影響，進而讓模型的後續預測過程出現偏差。

“資料下毒”與常見的“對抗樣本攻擊”是不同的攻擊手段，存在於不同的威脅場景：前者通過修改訓練資料讓模型“中毒”，後者通過修改待測試的樣本讓模型“受騙”。

舉例來說，假如一家從事機器人視覺技術開發的公司希望訓練機器人識別現實場景中的器物、人員、車輛等，卻不慎被入侵者利用論文中提及的方法篡改了訓練資料。

研發人員在目視檢查訓練資料時，通常不會感知到異常（因為使資料“中毒”的噪音資料在圖像層面很難被肉眼識別），訓練過程也一如既往地順利。

但這時訓練出來的深度學習模型在泛化能力上會大幅退化，用這樣的模型驅動的機器人在真實場景中會徹底“懵圈”，陷入什麼也認不出的尷尬境地。

更有甚者，攻擊者還可以精心調整“下毒”時所用的噪音資料，使得訓練出來的機器人視覺模型“故意認錯”某些東西，比如將障礙認成是通路，或將危險場景標記成安全場景等。

為了達成這一目的，這篇論文設計了一種可以生成對抗雜訊的自編碼器神經網路DeepConfuse。

通過觀察一個假想分類器的訓練過程更新自己的權重，產生“有毒性”的雜訊，從而為“受害的”分類器帶來最低下的泛化效率，而這個過程可以被歸結為一個具有非線性等式約束的非凸優化問題。

▌下毒無痕，毒性不小

從實驗資料可以發現，在MNIST、CIFAR-10以及縮減版的IMAGENET這些不同資料集上，使用“未被下毒”的訓練資料集和“中毒”的訓練資料集所訓練的系統模型在分類精度上存在較大的差異，效果非常可觀。

與此同時，從實驗結果來看，該方法生成的對抗雜訊具有通用性，即便是在隨機森林和支援向量機這些非神經網路上也有較好表現。

其中，藍色為使用“未被下毒”的訓練資料訓練出的模型在泛化能力上的測試表現，橙色為使用“中毒”訓練資料訓練出的模型的在泛化能力上的測試表現。

在CIFAR和IMAGENET資料集上的表現也具有相似效果，證明該方法所產生的對抗訓練樣本在不同的網路結構上具有很高的遷移能力。

此外，論文中提出的方法還能有效擴展至針對特定標籤的情形下，即攻擊者希望通過一些預先指定的規則使模型分類錯誤，例如將“貓”錯誤分類成“狗”，讓模型按照攻擊者計畫，定向發生錯誤。

例如，下圖為MINIST資料集上，不同場景下測試集上混淆矩陣的表現，分別為乾淨訓練資料集、無特定標籤的訓練資料集、以及有特定標籤的訓練資料集。

實驗結果有力證明，為有特定標籤的訓練資料集做相應設置的有效性，未來有機會通過修改設置以實現更多特定的任務。

對資料“下毒”技術的研究並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅，更重要的是，只有深入研究相關的入侵或攻擊技術，才能有針對性地制定防範“AI駭客”的完善方案。

隨著AI演算法、AI系統在國計民生相關的領域逐漸得到普及與推廣，科研人員必須透徹地掌握AI安全攻防的前沿技術，並有針對性地為自動駕駛、AI輔助醫療、AI輔助投資等涉及生命安全、財富安全的領域研發最有效的防護手段。

▌還關注聯邦學習

除了安全問題之外，人工智慧應用的資料隱私問題，也是創新工場AI安全實驗室重點關注的議題之一。

近年來，隨著人工智慧技術的高速發展，社會各界對隱私保護及資料安全的需求加強，聯邦學習技術應運而生，並開始越來越多地受到學術界和工業界的關注。

具體而言，聯邦學習系統是一個分散式的具有多個參與者的機器學習框架，每一個聯邦學習的參與者不需要與其餘幾方共用自己的訓練資料，但仍然能利用其餘幾方參與者提供的資訊更好的訓練聯合模型。

換言之，各方可以在在不共用資料的情況下，共用資料產生的知識，達到共贏。

創新工場AI工程院也十分看好聯邦學習技術的巨大應用潛力。

今年3月，“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”論文的作者、創新工場南京國際人工智慧研究院執行院長馮霽代表創新工場當選為IEEE聯邦學習標準制定委員會副主席，著手推進制定AI協同及大資料安全領域首個國際標準。

創新工場也將成為聯邦學習這一技術“立法”的直接參與者。

▌創新工場AI工程院科研成績單

創新工場憑藉獨特的VC+AI（風險投資與AI研發相結合）的架構，致力於扮演前沿科研與AI商業化之間的橋樑角色。

創新工場2019年廣泛開展科研合作，與其他國際科研機構合作的論文，入選多項國際頂級會議，除上述介紹的“資料下毒”論文入選NeurlPS之外，還有8篇收錄至五大學術頂會，涉及影像處理、自動駕駛、自然語言處理、金融AI和區塊鏈等方向。

┃兩篇論文入選ICCV

Disentangling Propagation and Generation for Video Prediction
https://arxiv.org/abs/1812.00452

這篇論文的主要工作圍繞一個視頻預測的任務展開，即在一個視頻中，給定前幾幀的圖片預測接下來的一幀或多幀的圖片。

Joint Monocular 3D Vehicle Detection and Tracking
https://arxiv.org/abs/1811.10742

這篇論文提出了一種全新的線上三維車輛檢測與跟蹤的聯合框架，不僅能隨著時間關聯車輛的檢測結果，同時可以利用單目攝像機獲取的二維移動資訊估計三維的車輛資訊。

┃一篇論文入選IROS

Monocular Plan View Networks for Autonomous Driving
http://arxiv.org/abs/1905.06937

針對端到端的控制學習問題提出了一個對當前觀察的視角轉換，將其稱之為規劃視角，它把將當前的觀察視角轉化至一個鳥瞰視角。具體的，在自動駕駛的問題下，在第一人稱視角中檢測行人和車輛並將其投影至一個俯瞰視角。

┃三篇論文入選EMNLP

Multiplex Word Embeddings for Selectional Preference Acquisition

提出了一種multiplex詞向量模型。在該模型中，對於每個詞而言，其向量包含兩部分，主向量和關係向量，其中主向量代表總體語義，關係向量用於表達這個詞在不同關係上的特徵，每個詞的最終向量由這兩種向量融合得到。

What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues
https://assert.pub/papers/1909.00421

提出了一個新模型（VisCoref）及一個配套資料集（VisPro），用以研究如何將代詞指代與視覺資訊進行整合。

Reading Like HER: Human Reading Inspired Extractive Summarization

人類通過閱讀進行文本語義的摘要總結大體上可以分為兩個階段：1）通過粗略地閱讀獲取文本的概要資訊，2）進而進行細緻的閱讀選取關鍵句子形成摘要。

本文提出一種新的抽取式摘要方法來模擬以上兩個階段，該方法將文檔抽取式摘要形式化為一個帶有上下文的多臂老虎機問題，並採用策略梯度方法來求解。

┃一篇論文入選IEEE TVCG

sPortfolio: Stratified Visual Analysis of Stock Portfolios
https://www.ncbi.nlm.nih.gov/pubmed/31443006

主要是對於金融市場中的投資組合和多因數模型進行可視分析的研究。通過三個方面的分析任務來幫助投資者進行日常分析並升決策準確性。

並提出了一個全新的視覺化分析系統sPortfolio，它允許使用者根據持倉，因數和歷史策略來觀察投資組合的市場。sPortfolio提供了四個良好協調的視圖。

┃一篇論文入選NSDI

Monoxide: Scale Out Blockchain with Asynchronized Consensus Zones
https://www.usenix.org/system/files/nsdi19-wang-jiaping.pdf

提出了一種名為非同步共識組 Monoxide 的區塊鏈擴容方案，可以在由 4.8 萬個全球節點組成的測試環境中，實現比比特幣網路高出 1000 倍的每秒交易處理量，以及 2000 倍的狀態記憶體容量，有望打破“不可能三角”這個長期困擾區塊鏈性能的瓶頸。

▌獨特的“科研助推商業”思路

國內VC，發表論文都很少見，為什麼創新工場如此做？

這背後在於其“VC+AI”模式。

最獨特之處在于，創新工場的AI工程院可以通過廣泛的科研合作以及自身的科研團隊，密切跟蹤前沿科研領域裡最有可能轉變為未來商業價值的科研方向。

這種“科研助推商業”的思路力圖儘早發現有未來商業價值的學術研究，然後在保護各方智慧財產權和商業利益的前提下積極與相關科研方開展合作。

同時，由AI工程院的產品研發團隊嘗試該項技術在不同商業場景裡可能的產品方向、研發產品原型，並由商務拓展團隊推動產品在真實商業領域的落地測試，繼而可以為創新工場的風險投資團隊帶來早期識別、投資高價值賽道的寶貴機會。

“科研助推商業”並不是簡單地尋找有前景的科研專案，而是將技術跟蹤、人才跟蹤、實驗室合作、智慧財產權合作、技術轉化、原型產品快速反覆運算、商務拓展、財務投資等多維度的工作整合在一個統一的資源體系內，用市場價值為導向，有計劃地銜接學術科研與商業實踐。

以AI為代表的高新技術目前正進入商業落地優先的深入發展期，產業大環境亟需前沿科研技術與實際商業場景的有機結合。

創新工場憑藉在風險投資領域積累的豐富經驗，以及在創辦AI工程院的過程中積累的技術人才優勢，特別適合扮演科研與商業化之間的橋樑角色。

於是，創新工場AI工程院也就順勢而生。

創新工場人工智慧工程院成立於2016年9月，以“科研+工程實驗室”模式，規劃研發方向，組建研發團隊。

目前已經設有醫療AI、機器人、機器學習理論、計算金融、電腦感知等面向前沿科技與應用方向的研發實驗室，還先後設立了創新工場南京國際人工智慧研究院、創新工場大灣區人工智慧研究院。

目標是培養人工智慧高端科研與工程人才，研發以機器學習為核心的前沿人工智慧技術，並同各行業領域相結合，為行業場景提供一流的產品和解決方案。

而且， 創新工場還與國內外著名的科研機構廣泛開展科研合作。

例如，今年3月20日，香港科技大學和創新工場宣佈成立電腦感知與智慧控制聯合實驗室（Computer Perception and Intelligent Control Lab）。

此外，創新工場也積極參與了國際相關的技術標準制定工作。例如，今年8月，第28屆國際人工智慧聯合會議（IJCAI）在中國澳門隆重舉辦，期間召開了IEEE P3652.1（聯邦學習基礎架構與應用）標準工作組第三次會議。

IEEE聯邦學習標準由微眾銀行發起，創新工場等數十家國際和國內科技公司參與，是國際上首個針對人工智慧協同技術框架訂立標準的專案。

創新工場表示，自身的科研團隊將深度參與到聯邦學習標準的制定過程中，希望為AI技術在真實場景下的安全性、可用性以及保護資料安全、保護使用者隱私貢獻自己的力量。

JAVA實用級解題分享之2(102-106)

完整教學：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYMVnYJCPsbyaITTdYtPf8DG

部落格：
http://terry55wu.blogspot.tw/2014/01/javaandroid.html
01_JAVA開發環境與術科題目說明
02_開啟ECLIPSE與101題試題說明
03_101題解答01(產生7個號碼與輸出)
04_101題解答02(產生不重覆與除錯模式)
05_102題解答01(用Date類別產生日期時間)
06_104題河洛之數亂數矩陣說明
07_106數值過濾器(傳引數&轉型&例外事件)
08_108題九九乘法表(For迴圈輸出&While&Do迴圈)
09_110題試題說明與預設模式
10_110題試題預設模式解答
11_110題試題自由出題模式解答
12_202題利息計算說明
13_期末考成績計算說明

課程大綱：
1.認識 AWT類別
2.認識並學習如何建立視窗物件
3.學習如何管理與配置版面
4.事件處理：1.認識 Java的委派事件模式。2.認識並學習使用各種事件處理類別。3.學習各種物件的事件處理 。

之後：
1.分享最新的JAVA DOCS資訊與中文化版本，
並設定ECLIPSE直接讀取JAVA說明檔的設定方法。
2.利用實例綜合練習變數宣告、資料型別、運算子、
流程控制的IF...ELSE與各種迴圈方法的應用。
3.說明陣列與多維陣列的使用與實例。
漸漸更深入JAVA語法的核心，有些同學似乎已經吃不消，
但有些同學可能以前學過，所以一下子就解出來了，
也很大方的分享出他的解法，
不過這樣有時反而讓一些沒學過JAVA的同學備感壓力。
因為老師以為大家都會了，所以就加速往前，害一些同學在後面趕的很辛苦，
腦筋已經被迴圈給轉的頭昏，還沒弄懂題目，又要接下一題，
所以真有點兩難，好在助教的提醒，有稍放慢一點進度，
若有程度較好的同學，請些自行預息後面的課程，
或是先準備TQC JAVA的學術科考題好了，再不然好心一點，
充當一下老師的分身，幫忙同學一下，感謝！

101模擬樂透彩
102系統日期、時間顯示
103亂數排序器
104河洛之數
105陣列行列轉換
106數值過濾器
107求平均值
108九九乘法表
109面積與體積計算
110單字測驗

202利息計算
204期末考分數計算
206四則運算
208三角形邊長判斷
210字元搜尋器
302字體設定選擇器
304簡易繪圖板
306滑鼠感應視窗
308藝人音樂評等
310年齡計算

TQC JAVA實用級20題已經上完，準備開始講進階級的第三類10題，
但上進階級10題若是沒有 AWT類別的概念，恐怕很難接上第三類的 AWT視窗設計，
所以就在上進階級前，先給湜憶學員一些概念，可以不只在電腦證照考試受用，
在日後撰寫程式也可以更得心應手，JAVA工程師職缺很大，主要是人才培養不易，
要有好的培訓計畫，才能學的好又能有系統，才不致學的有挫折感，
這那上課方式，我也會將之有系統的轉換成雲端教學方式，在線上就可以學習，
並可以與老師隨時互動，得知學習進度與成效，
而這樣的方式已經很成功在各校電腦課程進行中，
從學員們的滿分成效就可以一窺端倪，要有效率又學的好真的不太容易，
很需要學習方法，上課無章法只會浪費時間與金錢，有效率有成果的學習才是王道，
快上完JAVA的進階級，期待每個學員都能順利取得 JAVA證照。

java下載,jdk,eclipse,java教學網站,java教學影片,java eclipse教學,eclipse 教學,java證照解答,AWT類別, 電腦證照

JAVA實用級解題分享之2(102-106)

完整教學：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYMVnYJCPsbyaITTdYtPf8DG

部落格：
http://terry55wu.blogspot.tw/2014/01/javaandroid.html
01_JAVA開發環境與術科題目說明
02_開啟ECLIPSE與101題試題說明
03_101題解答01(產生7個號碼與輸出)
04_101題解答02(產生不重覆與除錯模式)
05_102題解答01(用Date類別產生日期時間)
06_104題河洛之數亂數矩陣說明
07_106數值過濾器(傳引數&轉型&例外事件)
08_108題九九乘法表(For迴圈輸出&While&Do迴圈)
09_110題試題說明與預設模式
10_110題試題預設模式解答
11_110題試題自由出題模式解答
12_202題利息計算說明
13_期末考成績計算說明

課程大綱：
1.認識 AWT類別
2.認識並學習如何建立視窗物件
3.學習如何管理與配置版面
4.事件處理：1.認識 Java的委派事件模式。2.認識並學習使用各種事件處理類別。3.學習各種物件的事件處理 。

之後：
1.分享最新的JAVA DOCS資訊與中文化版本，
並設定ECLIPSE直接讀取JAVA說明檔的設定方法。
2.利用實例綜合練習變數宣告、資料型別、運算子、
流程控制的IF...ELSE與各種迴圈方法的應用。
3.說明陣列與多維陣列的使用與實例。
漸漸更深入JAVA語法的核心，有些同學似乎已經吃不消，
但有些同學可能以前學過，所以一下子就解出來了，
也很大方的分享出他的解法，
不過這樣有時反而讓一些沒學過JAVA的同學備感壓力。
因為老師以為大家都會了，所以就加速往前，害一些同學在後面趕的很辛苦，
腦筋已經被迴圈給轉的頭昏，還沒弄懂題目，又要接下一題，
所以真有點兩難，好在助教的提醒，有稍放慢一點進度，
若有程度較好的同學，請些自行預息後面的課程，
或是先準備TQC JAVA的學術科考題好了，再不然好心一點，
充當一下老師的分身，幫忙同學一下，感謝！

101模擬樂透彩
102系統日期、時間顯示
103亂數排序器
104河洛之數
105陣列行列轉換
106數值過濾器
107求平均值
108九九乘法表
109面積與體積計算
110單字測驗

202利息計算
204期末考分數計算
206四則運算
208三角形邊長判斷
210字元搜尋器
302字體設定選擇器
304簡易繪圖板
306滑鼠感應視窗
308藝人音樂評等
310年齡計算

TQC JAVA實用級20題已經上完，準備開始講進階級的第三類10題，
但上進階級10題若是沒有 AWT類別的概念，恐怕很難接上第三類的 AWT視窗設計，
所以就在上進階級前，先給湜憶學員一些概念，可以不只在電腦證照考試受用，
在日後撰寫程式也可以更得心應手，JAVA工程師職缺很大，主要是人才培養不易，
要有好的培訓計畫，才能學的好又能有系統，才不致學的有挫折感，
這那上課方式，我也會將之有系統的轉換成雲端教學方式，在線上就可以學習，
並可以與老師隨時互動，得知學習進度與成效，
而這樣的方式已經很成功在各校電腦課程進行中，
從學員們的滿分成效就可以一窺端倪，要有效率又學的好真的不太容易，
很需要學習方法，上課無章法只會浪費時間與金錢，有效率有成果的學習才是王道，
快上完JAVA的進階級，期待每個學員都能順利取得 JAVA證照。

java下載,jdk,eclipse,java教學網站,java教學影片,java eclipse教學,eclipse 教學,java證照解答,AWT類別, 電腦證照

JAVA實用級解題分享之2(102-106)

完整教學：
https://www.youtube.com/playlist?list=PLgzs-Q3byiYMVnYJCPsbyaITTdYtPf8DG

部落格：
http://terry55wu.blogspot.tw/2014/01/javaandroid.html
01_JAVA開發環境與術科題目說明
02_開啟ECLIPSE與101題試題說明
03_101題解答01(產生7個號碼與輸出)
04_101題解答02(產生不重覆與除錯模式)
05_102題解答01(用Date類別產生日期時間)
06_104題河洛之數亂數矩陣說明
07_106數值過濾器(傳引數&轉型&例外事件)
08_108題九九乘法表(For迴圈輸出&While&Do迴圈)
09_110題試題說明與預設模式
10_110題試題預設模式解答
11_110題試題自由出題模式解答
12_202題利息計算說明
13_期末考成績計算說明

課程大綱：
1.認識 AWT類別
2.認識並學習如何建立視窗物件
3.學習如何管理與配置版面
4.事件處理：1.認識 Java的委派事件模式。2.認識並學習使用各種事件處理類別。3.學習各種物件的事件處理 。

之後：
1.分享最新的JAVA DOCS資訊與中文化版本，
並設定ECLIPSE直接讀取JAVA說明檔的設定方法。
2.利用實例綜合練習變數宣告、資料型別、運算子、
流程控制的IF...ELSE與各種迴圈方法的應用。
3.說明陣列與多維陣列的使用與實例。
漸漸更深入JAVA語法的核心，有些同學似乎已經吃不消，
但有些同學可能以前學過，所以一下子就解出來了，
也很大方的分享出他的解法，
不過這樣有時反而讓一些沒學過JAVA的同學備感壓力。
因為老師以為大家都會了，所以就加速往前，害一些同學在後面趕的很辛苦，
腦筋已經被迴圈給轉的頭昏，還沒弄懂題目，又要接下一題，
所以真有點兩難，好在助教的提醒，有稍放慢一點進度，
若有程度較好的同學，請些自行預息後面的課程，
或是先準備TQC JAVA的學術科考題好了，再不然好心一點，
充當一下老師的分身，幫忙同學一下，感謝！

101模擬樂透彩
102系統日期、時間顯示
103亂數排序器
104河洛之數
105陣列行列轉換
106數值過濾器
107求平均值
108九九乘法表
109面積與體積計算
110單字測驗

202利息計算
204期末考分數計算
206四則運算
208三角形邊長判斷
210字元搜尋器
302字體設定選擇器
304簡易繪圖板
306滑鼠感應視窗
308藝人音樂評等
310年齡計算

TQC JAVA實用級20題已經上完，準備開始講進階級的第三類10題，
但上進階級10題若是沒有 AWT類別的概念，恐怕很難接上第三類的 AWT視窗設計，
所以就在上進階級前，先給湜憶學員一些概念，可以不只在電腦證照考試受用，
在日後撰寫程式也可以更得心應手，JAVA工程師職缺很大，主要是人才培養不易，
要有好的培訓計畫，才能學的好又能有系統，才不致學的有挫折感，
這那上課方式，我也會將之有系統的轉換成雲端教學方式，在線上就可以學習，
並可以與老師隨時互動，得知學習進度與成效，
而這樣的方式已經很成功在各校電腦課程進行中，
從學員們的滿分成效就可以一窺端倪，要有效率又學的好真的不太容易，
很需要學習方法，上課無章法只會浪費時間與金錢，有效率有成果的學習才是王道，
快上完JAVA的進階級，期待每個學員都能順利取得 JAVA證照。

java下載,jdk,eclipse,java教學網站,java教學影片,java eclipse教學,eclipse 教學,java證照解答,AWT類別, 電腦證照