📌📌建物圖資向量化 加速三維應用圖資建置🏠🏠

土地是國家建設發展之基礎，隨著都市發展，土地利用也朝向立體化，早期二維圖籍資料作為真實世界之決策思考，容易忽略立體面向觀點，使得無法發揮實質效益，因此內政部於2006年起開始研擬「多目標 #地籍圖 立體圖資建置計畫」，經過多年的經驗及技術累積，目前已完成部分立體圖資之建置，期望未來透過 #三維立體建物 與地籍所呈現之空間真實感，使都市發展及管理上更能符合使用需求。

MyGoNews不動產網路新聞粉絲團

創新工場“AI蒙汗藥”入選NeurIPS 2019，3年VC+AI佈局進入科研收穫季

本文來自量子位微信公眾號
……………………………………………………………………

NeurIPS 2019放榜，創新工場AI工程院論文在列。

名為“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”。

一作是創新工場南京國際AI研究院執行院長馮霽，二作是創新工場南京國際人工智慧研究院研究員蔡其志，南京大學AI大牛周志華教授也在作者列。

論文提出了一種高效生成對抗訓練樣本的方法DeepConfuse，通過微弱擾動資料庫的方式，徹底破壞對應的學習系統的性能，達到“資料下毒”的目的。

創新工場介紹稱，這一研究就並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅，還能協助針對性地制定防範“AI駭客”的完善方案，推動AI安全攻防領域的發展。

NeurIPS，全稱神經資訊處理系統大會(Conference and Workshop on Neural Information Processing Systems)，自1987年誕生至今已有32年的歷史，一直以來備受學術界和產業界的高度關注，是AI學術領域的“華山論劍”。

作為AI領域頂會，NeurIPS也是最火爆的那個，去年會議門票在數分鐘內被搶光，而且在論文的投稿錄取上，競爭同樣激烈。

今年，NeurIPS會議的論文投稿量再創新高，共收到6743篇投稿，最終錄取1428篇論文,錄取率為21.2%。

▌“資料下毒”論文入選頂會NeurIPS

那這次創新工場AI工程院這篇入選論文，核心議題是什麼？

我們先拆解說說。

近年來，機器學習熱度不斷攀升，並逐漸在不同應用領域解決各式各樣的問題。不過，卻很少有人意識到，其實機器學習本身也很容易受到攻擊，模型並非想像中堅不可摧。

例如，在訓練(學習階段)或是預測(推理階段)這兩個過程中，機器學習模型就都有可能被對手攻擊，而攻擊的手段也是多種多樣。

創新工場AI工程院為此專門成立了AI安全實驗室，針對人工智慧系統的安全性進行了深入對評估和研究。

在被NeurIPS收錄的論文中，核心貢獻就是提出了高效生成對抗訓練資料的最先進方法之一——DeepConfuse。

▌給數據下毒

通過劫持神經網路的訓練過程，教會雜訊生成器為訓練樣本添加一個有界的擾動，使得該訓練樣本訓練得到的機器學習模型在面對測試樣本時的泛化能力盡可能地差，非常巧妙地實現了“資料下毒”。

顧名思義，“資料下毒”即讓訓練資料“中毒”，具體的攻擊策略是通過干擾模型的訓練過程，對其完整性造成影響，進而讓模型的後續預測過程出現偏差。

“資料下毒”與常見的“對抗樣本攻擊”是不同的攻擊手段，存在於不同的威脅場景：前者通過修改訓練資料讓模型“中毒”，後者通過修改待測試的樣本讓模型“受騙”。

舉例來說，假如一家從事機器人視覺技術開發的公司希望訓練機器人識別現實場景中的器物、人員、車輛等，卻不慎被入侵者利用論文中提及的方法篡改了訓練資料。

研發人員在目視檢查訓練資料時，通常不會感知到異常（因為使資料“中毒”的噪音資料在圖像層面很難被肉眼識別），訓練過程也一如既往地順利。

但這時訓練出來的深度學習模型在泛化能力上會大幅退化，用這樣的模型驅動的機器人在真實場景中會徹底“懵圈”，陷入什麼也認不出的尷尬境地。

更有甚者，攻擊者還可以精心調整“下毒”時所用的噪音資料，使得訓練出來的機器人視覺模型“故意認錯”某些東西，比如將障礙認成是通路，或將危險場景標記成安全場景等。

為了達成這一目的，這篇論文設計了一種可以生成對抗雜訊的自編碼器神經網路DeepConfuse。

通過觀察一個假想分類器的訓練過程更新自己的權重，產生“有毒性”的雜訊，從而為“受害的”分類器帶來最低下的泛化效率，而這個過程可以被歸結為一個具有非線性等式約束的非凸優化問題。

▌下毒無痕，毒性不小

從實驗資料可以發現，在MNIST、CIFAR-10以及縮減版的IMAGENET這些不同資料集上，使用“未被下毒”的訓練資料集和“中毒”的訓練資料集所訓練的系統模型在分類精度上存在較大的差異，效果非常可觀。

與此同時，從實驗結果來看，該方法生成的對抗雜訊具有通用性，即便是在隨機森林和支援向量機這些非神經網路上也有較好表現。

其中，藍色為使用“未被下毒”的訓練資料訓練出的模型在泛化能力上的測試表現，橙色為使用“中毒”訓練資料訓練出的模型的在泛化能力上的測試表現。

在CIFAR和IMAGENET資料集上的表現也具有相似效果，證明該方法所產生的對抗訓練樣本在不同的網路結構上具有很高的遷移能力。

此外，論文中提出的方法還能有效擴展至針對特定標籤的情形下，即攻擊者希望通過一些預先指定的規則使模型分類錯誤，例如將“貓”錯誤分類成“狗”，讓模型按照攻擊者計畫，定向發生錯誤。

例如，下圖為MINIST資料集上，不同場景下測試集上混淆矩陣的表現，分別為乾淨訓練資料集、無特定標籤的訓練資料集、以及有特定標籤的訓練資料集。

實驗結果有力證明，為有特定標籤的訓練資料集做相應設置的有效性，未來有機會通過修改設置以實現更多特定的任務。

對資料“下毒”技術的研究並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅，更重要的是，只有深入研究相關的入侵或攻擊技術，才能有針對性地制定防範“AI駭客”的完善方案。

隨著AI演算法、AI系統在國計民生相關的領域逐漸得到普及與推廣，科研人員必須透徹地掌握AI安全攻防的前沿技術，並有針對性地為自動駕駛、AI輔助醫療、AI輔助投資等涉及生命安全、財富安全的領域研發最有效的防護手段。

▌還關注聯邦學習

除了安全問題之外，人工智慧應用的資料隱私問題，也是創新工場AI安全實驗室重點關注的議題之一。

近年來，隨著人工智慧技術的高速發展，社會各界對隱私保護及資料安全的需求加強，聯邦學習技術應運而生，並開始越來越多地受到學術界和工業界的關注。

具體而言，聯邦學習系統是一個分散式的具有多個參與者的機器學習框架，每一個聯邦學習的參與者不需要與其餘幾方共用自己的訓練資料，但仍然能利用其餘幾方參與者提供的資訊更好的訓練聯合模型。

換言之，各方可以在在不共用資料的情況下，共用資料產生的知識，達到共贏。

創新工場AI工程院也十分看好聯邦學習技術的巨大應用潛力。

今年3月，“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”論文的作者、創新工場南京國際人工智慧研究院執行院長馮霽代表創新工場當選為IEEE聯邦學習標準制定委員會副主席，著手推進制定AI協同及大資料安全領域首個國際標準。

創新工場也將成為聯邦學習這一技術“立法”的直接參與者。

▌創新工場AI工程院科研成績單

創新工場憑藉獨特的VC+AI（風險投資與AI研發相結合）的架構，致力於扮演前沿科研與AI商業化之間的橋樑角色。

創新工場2019年廣泛開展科研合作，與其他國際科研機構合作的論文，入選多項國際頂級會議，除上述介紹的“資料下毒”論文入選NeurlPS之外，還有8篇收錄至五大學術頂會，涉及影像處理、自動駕駛、自然語言處理、金融AI和區塊鏈等方向。

┃兩篇論文入選ICCV

Disentangling Propagation and Generation for Video Prediction
https://arxiv.org/abs/1812.00452

這篇論文的主要工作圍繞一個視頻預測的任務展開，即在一個視頻中，給定前幾幀的圖片預測接下來的一幀或多幀的圖片。

Joint Monocular 3D Vehicle Detection and Tracking
https://arxiv.org/abs/1811.10742

這篇論文提出了一種全新的線上三維車輛檢測與跟蹤的聯合框架，不僅能隨著時間關聯車輛的檢測結果，同時可以利用單目攝像機獲取的二維移動資訊估計三維的車輛資訊。

┃一篇論文入選IROS

Monocular Plan View Networks for Autonomous Driving
http://arxiv.org/abs/1905.06937

針對端到端的控制學習問題提出了一個對當前觀察的視角轉換，將其稱之為規劃視角，它把將當前的觀察視角轉化至一個鳥瞰視角。具體的，在自動駕駛的問題下，在第一人稱視角中檢測行人和車輛並將其投影至一個俯瞰視角。

┃三篇論文入選EMNLP

Multiplex Word Embeddings for Selectional Preference Acquisition

提出了一種multiplex詞向量模型。在該模型中，對於每個詞而言，其向量包含兩部分，主向量和關係向量，其中主向量代表總體語義，關係向量用於表達這個詞在不同關係上的特徵，每個詞的最終向量由這兩種向量融合得到。

What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues
https://assert.pub/papers/1909.00421

提出了一個新模型（VisCoref）及一個配套資料集（VisPro），用以研究如何將代詞指代與視覺資訊進行整合。

Reading Like HER: Human Reading Inspired Extractive Summarization

人類通過閱讀進行文本語義的摘要總結大體上可以分為兩個階段：1）通過粗略地閱讀獲取文本的概要資訊，2）進而進行細緻的閱讀選取關鍵句子形成摘要。

本文提出一種新的抽取式摘要方法來模擬以上兩個階段，該方法將文檔抽取式摘要形式化為一個帶有上下文的多臂老虎機問題，並採用策略梯度方法來求解。

┃一篇論文入選IEEE TVCG

sPortfolio: Stratified Visual Analysis of Stock Portfolios
https://www.ncbi.nlm.nih.gov/pubmed/31443006

主要是對於金融市場中的投資組合和多因數模型進行可視分析的研究。通過三個方面的分析任務來幫助投資者進行日常分析並升決策準確性。

並提出了一個全新的視覺化分析系統sPortfolio，它允許使用者根據持倉，因數和歷史策略來觀察投資組合的市場。sPortfolio提供了四個良好協調的視圖。

┃一篇論文入選NSDI

Monoxide: Scale Out Blockchain with Asynchronized Consensus Zones
https://www.usenix.org/system/files/nsdi19-wang-jiaping.pdf

提出了一種名為非同步共識組 Monoxide 的區塊鏈擴容方案，可以在由 4.8 萬個全球節點組成的測試環境中，實現比比特幣網路高出 1000 倍的每秒交易處理量，以及 2000 倍的狀態記憶體容量，有望打破“不可能三角”這個長期困擾區塊鏈性能的瓶頸。

▌獨特的“科研助推商業”思路

國內VC，發表論文都很少見，為什麼創新工場如此做？

這背後在於其“VC+AI”模式。

最獨特之處在于，創新工場的AI工程院可以通過廣泛的科研合作以及自身的科研團隊，密切跟蹤前沿科研領域裡最有可能轉變為未來商業價值的科研方向。

這種“科研助推商業”的思路力圖儘早發現有未來商業價值的學術研究，然後在保護各方智慧財產權和商業利益的前提下積極與相關科研方開展合作。

同時，由AI工程院的產品研發團隊嘗試該項技術在不同商業場景裡可能的產品方向、研發產品原型，並由商務拓展團隊推動產品在真實商業領域的落地測試，繼而可以為創新工場的風險投資團隊帶來早期識別、投資高價值賽道的寶貴機會。

“科研助推商業”並不是簡單地尋找有前景的科研專案，而是將技術跟蹤、人才跟蹤、實驗室合作、智慧財產權合作、技術轉化、原型產品快速反覆運算、商務拓展、財務投資等多維度的工作整合在一個統一的資源體系內，用市場價值為導向，有計劃地銜接學術科研與商業實踐。

以AI為代表的高新技術目前正進入商業落地優先的深入發展期，產業大環境亟需前沿科研技術與實際商業場景的有機結合。

創新工場憑藉在風險投資領域積累的豐富經驗，以及在創辦AI工程院的過程中積累的技術人才優勢，特別適合扮演科研與商業化之間的橋樑角色。

於是，創新工場AI工程院也就順勢而生。

創新工場人工智慧工程院成立於2016年9月，以“科研+工程實驗室”模式，規劃研發方向，組建研發團隊。

目前已經設有醫療AI、機器人、機器學習理論、計算金融、電腦感知等面向前沿科技與應用方向的研發實驗室，還先後設立了創新工場南京國際人工智慧研究院、創新工場大灣區人工智慧研究院。

目標是培養人工智慧高端科研與工程人才，研發以機器學習為核心的前沿人工智慧技術，並同各行業領域相結合，為行業場景提供一流的產品和解決方案。

而且， 創新工場還與國內外著名的科研機構廣泛開展科研合作。

例如，今年3月20日，香港科技大學和創新工場宣佈成立電腦感知與智慧控制聯合實驗室（Computer Perception and Intelligent Control Lab）。

此外，創新工場也積極參與了國際相關的技術標準制定工作。例如，今年8月，第28屆國際人工智慧聯合會議（IJCAI）在中國澳門隆重舉辦，期間召開了IEEE P3652.1（聯邦學習基礎架構與應用）標準工作組第三次會議。

IEEE聯邦學習標準由微眾銀行發起，創新工場等數十家國際和國內科技公司參與，是國際上首個針對人工智慧協同技術框架訂立標準的專案。

創新工場表示，自身的科研團隊將深度參與到聯邦學習標準的制定過程中，希望為AI技術在真實場景下的安全性、可用性以及保護資料安全、保護使用者隱私貢獻自己的力量。

{{ 肆. 談談現場演出實務經驗 }}_09

這一週與幾位音樂工作上的老戰友、新夥伴，一起在南京、成都與我非常喜歡、欣賞的創作人戴佩妮，執行(或說…更趨近於玩耍)兩場音樂活動；到成都的第一晚，讓阿妮招待了超好吃川菜、回到飯店後，剛好在一樓大廳的Pub有『樂隊』的現場演出，我們一行樂手就習慣性地坐了下來，邊用飲料邊欣賞音樂。這一晚是一個當地的樂團，基本的編制唱著橫跨了三、四十年的華語、西洋曲目；我們這樣聆聽著，但其實，心思都回到了將近二十五、六年前，我們還在臺灣各地的Pub，扮演著與這一晚台上的表演者一模一樣角色的那些回憶裡。

我與這些老戰友都非常幸運，從早期在舞台上Copy國外的流行音樂作品開始，慢慢地走進華語流行音樂製作環境，做了若干更接近『原創』的工作，包括錄音、編曲，譬如這兩天我們在台上演出阿妮的曲目中，有不少曲目就是我們自己在前些年所編寫、錄製的；能與自己所喜歡的音樂工作者一起在舞台上『玩耍』這些與自己高度相關的音樂內容，真的是一件非常奇妙的事情！但，在第二場演出的前一夜，看到另外一群性質相近的年輕音樂人正在音樂事業的道路上試著找到自己的方向與出路，我心裡浮起的念頭與問題是：『如果現在我是二十五歲，在今時今日的音樂客觀環境下從頭開始，我可以有機會能想著我現在在想的問題嗎？』

我不知道。

我們很幸運地在音樂產業變得我們幾乎無法應變之前，就能在一些傑出的作品、專輯裡留下過自己的印記，但也因此，我們無法將時間或是任何相關的因素都『重設』一次，來看看究竟我們自身的能耐有沒有辦法在現在的環境裡存活下來。我們都得承認，現在的產業環境比起二、三十年前來說，真的困難非常非常多，我有時都懷疑，那些我們此刻在北藝大(或類似的流行音樂相關系所)所傳授的『過去式』型的經驗法則，對於現在的入行者，能有多少的實際作用。不過，有趣的是，在過去的幾年之間，我所熟識的幾位年輕音樂夥伴(現在平均年齡在三十五上下)，還是在如此惡劣的環境下嶄露頭角，成為新一代音樂製作圈中炙手可熱的代表型人物，而他們所觸及的工作層面、口碑與成就(包括獲得國家級獎項的認定)，其實都遠遠超過我們這一輩在三十五歲時所能做到的事。

所以，時代、環境的改變，似乎也沒能阻擋了這些新血的企圖與成績。我的摯友張超然博士(臺灣最具代表性的音樂論壇『當代樂手』創辦人 https://modernmusician.com/forums/index.php )在國外潛心鑽研作曲理論之前就曾經說過：『會成為鑽石的，終究會成為鑽石---不論它在哪裡』。相距十五年、兩個世代的音樂工作者，都有人在截然不同的時空環境裡找到他們留下印記的方式，這其中，應該會有某些相通的邏輯或模式，可以讓我們找到而且能分析、討論並且重複驗證的，只是……

那是什麼？

[二. 認識現場的器材_04]～你

從這個專頁的起始，我就將『你』視為一顆還未琢磨的鑽石：我先循序漸進地安排了所有影響、啓發了我編曲概念的曲目，用我的觀點去介紹其中值得深究的織地，而且，我幾乎可以保證，如果你保持耐心，固定每天都能用聽力去琢磨那些內容，並且持續地實際練習，假以時日(我估計是一年半至兩年之間)，一定可以從中找到自己木吉他彈奏的手法與風格；然後我帶進下一個階段---『演出』，這其中你應該要知道、而且可以幫助你更穩定去呈現音樂的種種知識。但是，我相信你是知道的：我提供了我所能想得到的線索，但我沒有辦法『發現』你所要面對的所有問題，因為～我不是你。

而且，我好像從來也沒有問過你『想不想要』。

我們說了好些與現場工作人員溝通的要點，也說了些硬的、軟的器材知識，但我不知道你有沒有意識到，真正在現場要去面對這些問題的人、的器材中心，是你。

如果，你不是很認識、瞭解你自己，那麼，其實前面所能『提供的線索』，大概也就起不了任何可以帶著你繼續往下冒險的功能，因為，也許你甚至連『我願不願意去知道、瞭解這些事』的答案，都很難確定。

『瞭解自己』？多麼含糊的命題啊！到底是要瞭解什麼啦……

我想，應該就是瞭解你與音樂之間的關係。

我在北藝大的『製作概論』課程中，與同學們討論到這個議題時，很喜歡用一個模型來說明：把你的左手或右手的大拇指、食指與中指，各朝一個方向伸直、互相成為彼此的九十度角，你會得到一個象徵了三維空間的向量坐標(比較正確的命名應該是叫做『弗萊明右手定則』，我們只是借用來往下討論 https://zh.wikipedia.org/wiki/%E5%8F%B3%E6%89%8B%E5%AE%9A%E5%89%87 )，將任一手指的彼此定義為：『我想不想要做音樂』、『我能不能夠做音樂』與『我應不應該做音樂』的三種檢查尺度，然後拿這個空間坐標來對應自己真實的情況，你會很清楚地意識與定位出你與音樂之間的關係。

在我從業將近三十年的過程中，有幸所認識、熟知的優秀音樂工作者，他們的空間坐標都落在三維空間所延伸出來的最遠離手掌的那個『虛無而看不到』的點；反過來說，如果你的落點是靠近著你的手掌，你至少也會因此而知道了究竟是這三個向量的哪一邊讓你與成功的模型有了差距。

舉例來說好了！毋庸置疑，你一定很希望、想要做音樂，所以第一維你會是任一手指軸線的最頂端；而～很幸運地，你的家人、環境也不是真的特別反對你去從事音樂工作，所以在『應不應該』這個第二維度的軸線，我們也許可以定義個80%的距離，此時，你就得到一個X、Y軸交會的『點』，那麼，現在會影響你最終落點遠近的，就只剩下『你能不能夠』的這個能力問題的Z軸定位了！

『你能不能夠』呢？這就牽涉到你是否知道自己現在的本質學能距離『市場需求』的遠近，牽涉到你是否知道人我之間的競爭態勢，牽涉到對於你希望去追求的事物、你實際付出了多少的行動與自我要求，牽涉到你是否懂得自我教育來提高能力累積的效率。

不論從哪一個面向來檢查，你會比之前都更多清楚地瞭解自己、瞭解自己與音樂之間的關係一些；你也會因此而知道，整體能力的提升，不是來自於別人告訴了你多少，而是『你自己想知道多少』與『我怎麼去知道這些』的那整個自我設定問題、自我尋求答案的所有過程。

那些很傑出的音樂工作者，除了會定時定量地搜尋新知來作為自己能力累積的『Input』之外，更棒的是，他們都會知道將工作時的技能輸出---『Output』，又再轉化為下一個工作前置準備的Input，因為，為了處理工作過程中他所需要去解決的問題，他會主動去發現問題解構的方式，而每一個解決問題的經驗，都成為他能力基準增高的墊腳石，如此往復循環，他的最終落點一定會因為Z軸的坐標越來越高，而越來越接近理想的那個交會點。

至於『應不應該』這方面，比較多會是你身處的環境所給予你必須相對客觀去檢索的條件問題；這個問題常常被具體地用一種方式來表達：『做音樂究竟能不能吃飽？』---我有一點懷疑，這個問題的隱密要求，會不會是『如果要吃飽，好像不應該做音樂』？

所以，在這個模型裡，你的坐標會落在哪裡？以及，為什麼落在那裡呢？

在很多不同場合的訪談中，我常常重複提到自己在高中時期因為與當時的同窗好友經常性地討論著我們似懂非懂的哲學、人生觀，因而不斷檢視自己的思維、從而建立起對於自己的瞭解，促使我在高中的階段就決定了我想『彈吉他謀生』的生涯規劃，在那個時候，我『非常想做音樂』、家人非常反對所以我『實在不應該做音樂』，而且也才接觸音樂沒多長的時間，所以『似乎沒什麼能力做音樂』，那個左手或右手定則的落點根本就只落在某一條軸線的頂端、完全沒有任何空間距離的存在；三十年過去了，我可以告訴你的是：『因為我太想做音樂了，所以我一定要解決掉那些能不能、應不應該的所有問題』。這其中，我大概只做對了兩件事：

1. 對所有遇到的狀況都習慣性地問『為什麼』。
2. 真的認真的思考。

我學習著自己去設立問題，然後努力地尋找所有可用的資源，盡力地去解決疑問，然後把這些過程當作是Input，在下一次的機會中把它Output出去，再把整個循環當成新的一次Input，而且樂此不疲。

那些與我相差了一、兩個世代的優秀年輕音樂工作者，他們也做了同樣的事情。

我知道你很喜歡音樂，但也苦惱著『應不應該』、『能不能』做音樂；『弗萊明定則』不是用來限制你的發展，而是協助你去瞭解自己的一種工具，你因為知道了自己的欠缺，你纔會知道該從何下手去解決問題。以這個主題『認識現場的器材』來說，我一定是無法盡數所有的器材知識來讓你瞭解，從而增加你在現場演出的穩定性---事實上，我也不該那麼做！因為，你才是你所發動的音樂的中心，你所瞭解的自己，纔會帶著你在未知的前路披荊斬棘。

『會成為鑽石的，終究會成為鑽石---不論它在哪裡』---但我是不是忘了告訴你，碳元素要經過多少時間、多大的壓力纔會『晶化』，以及它要經過怎樣的車工、切割，纔會顯露它的光澤與價值？(https://tw.answers.yahoo.com/question/index?qid=20051024000014KK03010 )

人在異鄉，突然有了這些感觸；而～與此同時，這個當地的樂團自己就唱起了『你要的愛』！在這首阿妮的代表作、我也有所參與的音樂中(https://www.youtube.com/watch?v=2X8zK_ck5KU )，自己思前想後地琢磨著該怎麼告訴你：也許你所遇到的根本不是環境許不許可、能力夠不夠的問題！

是你『想不想要』的問題而已。