熱門Ptt文章

[爆卦]混淆矩陣是什麼？優點缺點精華區懶人包

雖然這篇混淆矩陣鄉民發文沒有被收入到精華區：在混淆矩陣這個話題中，我們另外找到其它相關的精選爆讚文章

在 混淆矩陣產品中有3篇Facebook貼文，粉絲數超過3,992的網紅台灣物聯網實驗室 IOT Labs，也在其Facebook貼文中提到， 訓練AI模型，要多少數據？拆解企業人工智慧專案為何難落地 2020.12.09 by 若水AI Blog 企業導入AI似乎已成為一種趨勢，但是訓練AI模型，需要多少數據？其背後的商業命題與成本又該如何解決？帶你來一起窺探AI專案背後的秘密！ 企業的AI專案在釐清問題本質、找到命題之後，首先...

　同時也有2部Youtube影片，追蹤數超過7萬的網紅王大喜，也在其Youtube影片中提到，2021/06/01（超自然現象生命紀實；Supernatural phenomenal Documentary) 1616、「七星燈、引魂向上(1～6盞）原始未疊影音」（Revolution 20、The 7 Golden Bowl) Raw /.王大喜(Rasta Wang) *參考所有「時...

「混淆矩陣」的推薦目錄
  • 台灣物聯網實驗室 IOT Labs

    混淆矩陣 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳解答

    2020-12-14 12:01:59
    有 0 人按讚

    訓練AI模型，要多少數據？拆解企業人工智慧專案為何難落地

    2020.12.09 by 若水AI Blog

    企業導入AI似乎已成為一種趨勢，但是訓練AI模型，需要多少數據？其背後的商業命題與成本又該如何解決？帶你來一起窺探AI專案背後的秘密！

    企業的AI專案在釐清問題本質、找到命題之後，首先會面臨到一個問題：收集數據（Data Collection）和建立AI模型（Model Establishing），該以什麼作為評估基準？

    訓練一個AI數據模型，需要多少數據？

    訓練AI數據模型時，其實有三個要素，彼此互相影響。分別是： 商業問題的複雜度 、 AI模型複雜度 （Model Complexity），以及 數據複雜度 （Data Complexity）。

    因此，如果想知道需要多少訓練數據（Training Data），建議先釐清：這個AI專案到底要處理什麼問題，以及這個問題有多複雜？確定之後，再來判斷應該選用哪種程度的模型來做訓練。根據不同的商業命題複雜度，用不同複雜度的模型和精準數據彼此搭配，找出最佳平衡，才能讓AI專案順利落地。

    但光憑想像，很難評估實際的AI數據量和成效，所以開始AI的第一步，需要先透過POC概念驗證（Proof of Concept）實驗來找答案。

    簡單來說，就是針對不同複雜程度的商業問題，嘗試選用不同複雜度的模型搭配測試，直到模型跑出來的曲線，符合理想目標。

    一般狀態下，假設商業問題本身的複雜度很高，我們會預期要選擇複雜度較高的模型。但是如果數據量不足，那麼選擇複雜度較高的AI模型，反而會比用簡單的AI模型效果還差。（上圖左上、右上，分別代表複雜度10和複雜度50的問題，可以明顯看出複雜的模型曲線比較接近學習數據集（Dataset），但是在測試數據集上的誤差 Eout，反而比簡單模型還差了許多。）

    上圖的左下和右下，是以不同複雜度的模型去做POC，跑出來的結果曲線圖。藍色線代表的是學習數據（Training Data）成效，紅色線代表的是測試數據（Testing Data）成效。最理想的POC目標，應該是兩條曲線很貼近彼此，而且位置越低越好。

    我們會發現，左下這張圖的兩條曲線雖然彼此貼近，但是就算增加數據，也無法降低誤差。這表示模型偏誤（Bias）高，效果不佳，應該要增加模型複雜度 （Model Complexity）。

    增加模型複雜度之後，就會像右下這張圖，藍色曲線（學習數據）雖然數值很低，但在學習數據不足的情況下（灰色區塊），紅色曲線（測試數據）卻「飄」得太高。這表示模型變異誤差（Variance）高，應該要增加學習數據。最後在慢慢增加模型複雜度以及學習數據之後，我們就可以達到理想的結果（兩條曲線很貼近彼此，而且位置越低越好）。

    數據哪裡來？發展AI人工智慧之前，先建立數據流

    先前我在文章裡提到，很多企業會急著開發AI模型，但AI專案落地經驗的三大關鍵之一，其實是先確認：是否已經準備好數據了？如果沒有這樣的能力，談AI落地其實有點好高騖遠。

    AI數據收集（Data Collection）最大的挑戰，在於針對不同型態的命題，會產生不同的AI數據需求，因此需要建立的「數據流」（Data Pipeline），AI數據處理 （Data Processing）和數據標註（Data Annotation）的模式及流程也會有所不同。

    發展AI之前，如果能建立起從數據收集（Data Collection）、數據處理（Data Processing）到AI模型學習的數據流（Data Pipeline），並確保可以順暢運行，實際訓練AI模型時才會省力很多。

    數據不夠或太多怎麼辦？

    Google開設的機器學習（Machine Learning）課程中，第一項原則就開宗明義地指出：「Don’t be afraid to launch a product without machine learning」。

    如果你的產品或業務不一定需要用到機器學習（Machine Learning），那就別用，除非你有AI數據。有數據，再來談機器學習（Machine Learning）。但在業界的實際狀況，大家不是沒有數據，而是只有一些些，這時候該怎麼辦？我會建議，先從小地方開始做起，也就是從POC專案著手。

    POC專案要有具體成效，除了要注意設計專案、實驗模型的指標（Metrics），企業最重要的是要先定義清楚：AI專案要達到什麼樣的指標，才算是成功？這樣最後做出來的成果，才會真正符合商業目標。

    如果今天不是沒有AI數據，而是數據很多，又該從何下手呢？

    我建議，嘗試減少訓練AI人工智慧時的「 數據大小 」和「 數據筆數 」。

    過去曾經處理過一個AI專案，數據多達2億筆。第一次實驗，把數據全部餵進AI模型，取得結果。第二次，只拿其中有代表性的500萬筆出來訓練人工智慧。

    猜猜結果如何？兩次實驗的表現，只差異不到1%。

    所以，如果企業對於AI數據的品質和數量有一定程度的自信根據，其實不用把數據全部餵進AI模型訓練（Model Training），只用有代表性的AI數據來訓練就可以了。市面上很多常見的AI工具（Cluster），可以做到這點，幫助省時省力。

    AI模型訓練，記得校準商業目標

    企業發展AI人工智慧的最終目的，還是希望能 達到商業目標，創造價值 。

    所以，訓練AI模型時，團隊如果不知道如何判斷哪個指標，對AI模型學習來說比較重要，建議回歸初心，重新釐清「 這個專案想達到的商業目標是什麼 」。

    比方，趨勢科技（Trend Micro）要開發一個能夠判斷電腦病毒的AI，但是勒索病毒（denial-of-access attack）和廣告病毒對客戶的傷害程度大不相同。這時候，工程師就會針對這個命題，餵給AI模型不同病毒種類的數據，讓它學會判斷不同病毒的重要性，分辨出哪些病毒比較嚴重不能有判斷錯誤，而哪些病毒比較無害，不一定要做到一百分。

    最常見的訓練方法，是用成本函數（Cost Function）的方式，訓練完再回去調整AI模型的評分（Rating），用加扣分的方式，告訴機器它的學習表現是好是壞，做對就加分，做錯就扣分。

    上述評分原則的制定，和企業的商業價值考量息息相關，所以一般在組織分工，會由PM專案團隊負責判斷哪些項目重要，請資料科學家設計在上述Cost Function裡面。

    很多人以為，AI人工智慧開發要做到很完美才行，但其實根據我們的經驗，只要AI開發成本符合預算、AI模型表現可接受（大約做到60–70分），而且結果有助於降低成本，就可以算是達到商業目標。反過來，即使AI模型表現非常好（高達90分），但成本卻遠超出預算，就不建議執行。

    另外，因為POC階段會做很多的實驗，需要拿兩個穩定且可以互相比較的基準做A/B Test，所以做好基礎建設非常重要。

    如果一個團隊裡面有三位工程師，但三個人做出來的結果都無法互相比較，那麼這個實驗就會變得霧裡看花，導致AI專案難以落地。

    AI數據小學堂：模型指標（metrics）

    在做模型實驗時，通常會用混淆矩陣（Confusion Matrix）的四種指標：TP（True Positive）、TN（True Negative）、FP（False Positive）、FN（False Negative），以及Count、Unique和Accuracy等等函數，來判斷這個模型的表現好不好。

    P或TN值，代表模型辨識的答案正確，和預期結果一致。例如：模型正確判斷出「這是一隻貓」、「這不是一隻貓」。而FP或FN值，則代表模型的判斷錯誤，例如「明明是貓，模型卻說不是貓」、「明明不是貓，模型卻說它是貓」。

    附圖：AI模型 若水國際
    AI模型的POC概念驗證實驗怎麼做？

    資料來源：https://www.bnext.com.tw/article/60440/ai-strategy-04?fbclid=IwAR1SOhjjGxypdGgOGfaBIl_a1IsZFJAQZ8J2aeDd98spbUfOdg7hiPQP7UA

  • 幣圖誌Bituzi

    混淆矩陣 在 幣圖誌Bituzi Facebook 的最讚貼文

    2019-10-25 09:05:27
    有 67 人按讚

    【牧清華】好久沒寫文章了，希望大家都不再混淆~

  • 李開復 Kai-Fu Lee

    混淆矩陣 在 李開復 Kai-Fu Lee Facebook 的最讚貼文

    2019-09-05 15:05:26
    有 224 人按讚

    創新工場“AI蒙汗藥”入選NeurIPS 2019，3年VC+AI佈局進入科研收穫季

    本文來自量子位微信公眾號
    ……………………………………………………………………

    NeurIPS 2019放榜，創新工場AI工程院論文在列。

    名為“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”。

    一作是創新工場南京國際AI研究院執行院長馮霽，二作是創新工場南京國際人工智慧研究院研究員蔡其志，南京大學AI大牛周志華教授也在作者列。

    論文提出了一種高效生成對抗訓練樣本的方法DeepConfuse，通過微弱擾動資料庫的方式，徹底破壞對應的學習系統的性能，達到“資料下毒”的目的。

    創新工場介紹稱，這一研究就並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅，還能協助針對性地制定防範“AI駭客”的完善方案，推動AI安全攻防領域的發展。

    NeurIPS，全稱神經資訊處理系統大會(Conference and Workshop on Neural Information Processing Systems)，自1987年誕生至今已有32年的歷史，一直以來備受學術界和產業界的高度關注，是AI學術領域的“華山論劍”。

    作為AI領域頂會，NeurIPS也是最火爆的那個，去年會議門票在數分鐘內被搶光，而且在論文的投稿錄取上，競爭同樣激烈。

    今年，NeurIPS會議的論文投稿量再創新高，共收到6743篇投稿，最終錄取1428篇論文,錄取率為21.2%。

    ▌“資料下毒”論文入選頂會NeurIPS

    那這次創新工場AI工程院這篇入選論文，核心議題是什麼？

    我們先拆解說說。

    近年來，機器學習熱度不斷攀升，並逐漸在不同應用領域解決各式各樣的問題。不過，卻很少有人意識到，其實機器學習本身也很容易受到攻擊，模型並非想像中堅不可摧。

    例如，在訓練(學習階段)或是預測(推理階段)這兩個過程中，機器學習模型就都有可能被對手攻擊，而攻擊的手段也是多種多樣。

    創新工場AI工程院為此專門成立了AI安全實驗室，針對人工智慧系統的安全性進行了深入對評估和研究。

    在被NeurIPS收錄的論文中，核心貢獻就是提出了高效生成對抗訓練資料的最先進方法之一——DeepConfuse。

    ▌給數據下毒

    通過劫持神經網路的訓練過程，教會雜訊生成器為訓練樣本添加一個有界的擾動，使得該訓練樣本訓練得到的機器學習模型在面對測試樣本時的泛化能力盡可能地差，非常巧妙地實現了“資料下毒”。

    顧名思義，“資料下毒”即讓訓練資料“中毒”，具體的攻擊策略是通過干擾模型的訓練過程，對其完整性造成影響，進而讓模型的後續預測過程出現偏差。

    “資料下毒”與常見的“對抗樣本攻擊”是不同的攻擊手段，存在於不同的威脅場景：前者通過修改訓練資料讓模型“中毒”，後者通過修改待測試的樣本讓模型“受騙”。

    舉例來說，假如一家從事機器人視覺技術開發的公司希望訓練機器人識別現實場景中的器物、人員、車輛等，卻不慎被入侵者利用論文中提及的方法篡改了訓練資料。

    研發人員在目視檢查訓練資料時，通常不會感知到異常（因為使資料“中毒”的噪音資料在圖像層面很難被肉眼識別），訓練過程也一如既往地順利。

    但這時訓練出來的深度學習模型在泛化能力上會大幅退化，用這樣的模型驅動的機器人在真實場景中會徹底“懵圈”，陷入什麼也認不出的尷尬境地。

    更有甚者，攻擊者還可以精心調整“下毒”時所用的噪音資料，使得訓練出來的機器人視覺模型“故意認錯”某些東西，比如將障礙認成是通路，或將危險場景標記成安全場景等。

    為了達成這一目的，這篇論文設計了一種可以生成對抗雜訊的自編碼器神經網路DeepConfuse。

    通過觀察一個假想分類器的訓練過程更新自己的權重，產生“有毒性”的雜訊，從而為“受害的”分類器帶來最低下的泛化效率，而這個過程可以被歸結為一個具有非線性等式約束的非凸優化問題。

    ▌下毒無痕，毒性不小

    從實驗資料可以發現，在MNIST、CIFAR-10以及縮減版的IMAGENET這些不同資料集上，使用“未被下毒”的訓練資料集和“中毒”的訓練資料集所訓練的系統模型在分類精度上存在較大的差異，效果非常可觀。

    與此同時，從實驗結果來看，該方法生成的對抗雜訊具有通用性，即便是在隨機森林和支援向量機這些非神經網路上也有較好表現。

    其中，藍色為使用“未被下毒”的訓練資料訓練出的模型在泛化能力上的測試表現，橙色為使用“中毒”訓練資料訓練出的模型的在泛化能力上的測試表現。

    在CIFAR和IMAGENET資料集上的表現也具有相似效果，證明該方法所產生的對抗訓練樣本在不同的網路結構上具有很高的遷移能力。

    此外，論文中提出的方法還能有效擴展至針對特定標籤的情形下，即攻擊者希望通過一些預先指定的規則使模型分類錯誤，例如將“貓”錯誤分類成“狗”，讓模型按照攻擊者計畫，定向發生錯誤。

    例如，下圖為MINIST資料集上，不同場景下測試集上混淆矩陣的表現，分別為乾淨訓練資料集、無特定標籤的訓練資料集、以及有特定標籤的訓練資料集。

    實驗結果有力證明，為有特定標籤的訓練資料集做相應設置的有效性，未來有機會通過修改設置以實現更多特定的任務。

    對資料“下毒”技術的研究並不單單是為了揭示類似的AI入侵或攻擊技術對系統安全的威脅，更重要的是，只有深入研究相關的入侵或攻擊技術，才能有針對性地制定防範“AI駭客”的完善方案。

    隨著AI演算法、AI系統在國計民生相關的領域逐漸得到普及與推廣，科研人員必須透徹地掌握AI安全攻防的前沿技術，並有針對性地為自動駕駛、AI輔助醫療、AI輔助投資等涉及生命安全、財富安全的領域研發最有效的防護手段。

    ▌還關注聯邦學習

    除了安全問題之外，人工智慧應用的資料隱私問題，也是創新工場AI安全實驗室重點關注的議題之一。

    近年來，隨著人工智慧技術的高速發展，社會各界對隱私保護及資料安全的需求加強，聯邦學習技術應運而生，並開始越來越多地受到學術界和工業界的關注。

    具體而言，聯邦學習系統是一個分散式的具有多個參與者的機器學習框架，每一個聯邦學習的參與者不需要與其餘幾方共用自己的訓練資料，但仍然能利用其餘幾方參與者提供的資訊更好的訓練聯合模型。

    換言之，各方可以在在不共用資料的情況下，共用資料產生的知識，達到共贏。

    創新工場AI工程院也十分看好聯邦學習技術的巨大應用潛力。

    今年3月，“Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder”論文的作者、創新工場南京國際人工智慧研究院執行院長馮霽代表創新工場當選為IEEE聯邦學習標準制定委員會副主席，著手推進制定AI協同及大資料安全領域首個國際標準。

    創新工場也將成為聯邦學習這一技術“立法”的直接參與者。

    ▌創新工場AI工程院科研成績單

    創新工場憑藉獨特的VC+AI（風險投資與AI研發相結合）的架構，致力於扮演前沿科研與AI商業化之間的橋樑角色。

    創新工場2019年廣泛開展科研合作，與其他國際科研機構合作的論文，入選多項國際頂級會議，除上述介紹的“資料下毒”論文入選NeurlPS之外，還有8篇收錄至五大學術頂會，涉及影像處理、自動駕駛、自然語言處理、金融AI和區塊鏈等方向。

    ┃兩篇論文入選ICCV

    Disentangling Propagation and Generation for Video Prediction
    https://arxiv.org/abs/1812.00452

    這篇論文的主要工作圍繞一個視頻預測的任務展開，即在一個視頻中，給定前幾幀的圖片預測接下來的一幀或多幀的圖片。

    Joint Monocular 3D Vehicle Detection and Tracking
    https://arxiv.org/abs/1811.10742

    這篇論文提出了一種全新的線上三維車輛檢測與跟蹤的聯合框架，不僅能隨著時間關聯車輛的檢測結果，同時可以利用單目攝像機獲取的二維移動資訊估計三維的車輛資訊。

    ┃一篇論文入選IROS

    Monocular Plan View Networks for Autonomous Driving
    http://arxiv.org/abs/1905.06937

    針對端到端的控制學習問題提出了一個對當前觀察的視角轉換，將其稱之為規劃視角，它把將當前的觀察視角轉化至一個鳥瞰視角。具體的，在自動駕駛的問題下，在第一人稱視角中檢測行人和車輛並將其投影至一個俯瞰視角。

    ┃三篇論文入選EMNLP

    Multiplex Word Embeddings for Selectional Preference Acquisition

    提出了一種multiplex詞向量模型。在該模型中，對於每個詞而言，其向量包含兩部分，主向量和關係向量，其中主向量代表總體語義，關係向量用於表達這個詞在不同關係上的特徵，每個詞的最終向量由這兩種向量融合得到。

    What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues
    https://assert.pub/papers/1909.00421

    提出了一個新模型（VisCoref）及一個配套資料集（VisPro），用以研究如何將代詞指代與視覺資訊進行整合。

    Reading Like HER: Human Reading Inspired Extractive Summarization

    人類通過閱讀進行文本語義的摘要總結大體上可以分為兩個階段：1）通過粗略地閱讀獲取文本的概要資訊，2）進而進行細緻的閱讀選取關鍵句子形成摘要。

    本文提出一種新的抽取式摘要方法來模擬以上兩個階段，該方法將文檔抽取式摘要形式化為一個帶有上下文的多臂老虎機問題，並採用策略梯度方法來求解。

    ┃一篇論文入選IEEE TVCG

    sPortfolio: Stratified Visual Analysis of Stock Portfolios
    https://www.ncbi.nlm.nih.gov/pubmed/31443006

    主要是對於金融市場中的投資組合和多因數模型進行可視分析的研究。通過三個方面的分析任務來幫助投資者進行日常分析並升決策準確性。

    並提出了一個全新的視覺化分析系統sPortfolio，它允許使用者根據持倉，因數和歷史策略來觀察投資組合的市場。sPortfolio提供了四個良好協調的視圖。

    ┃一篇論文入選NSDI

    Monoxide: Scale Out Blockchain with Asynchronized Consensus Zones
    https://www.usenix.org/system/files/nsdi19-wang-jiaping.pdf

    提出了一種名為非同步共識組 Monoxide 的區塊鏈擴容方案，可以在由 4.8 萬個全球節點組成的測試環境中，實現比比特幣網路高出 1000 倍的每秒交易處理量，以及 2000 倍的狀態記憶體容量，有望打破“不可能三角”這個長期困擾區塊鏈性能的瓶頸。

    ▌獨特的“科研助推商業”思路

    國內VC，發表論文都很少見，為什麼創新工場如此做？

    這背後在於其“VC+AI”模式。

    最獨特之處在于，創新工場的AI工程院可以通過廣泛的科研合作以及自身的科研團隊，密切跟蹤前沿科研領域裡最有可能轉變為未來商業價值的科研方向。

    這種“科研助推商業”的思路力圖儘早發現有未來商業價值的學術研究，然後在保護各方智慧財產權和商業利益的前提下積極與相關科研方開展合作。

    同時，由AI工程院的產品研發團隊嘗試該項技術在不同商業場景裡可能的產品方向、研發產品原型，並由商務拓展團隊推動產品在真實商業領域的落地測試，繼而可以為創新工場的風險投資團隊帶來早期識別、投資高價值賽道的寶貴機會。

    “科研助推商業”並不是簡單地尋找有前景的科研專案，而是將技術跟蹤、人才跟蹤、實驗室合作、智慧財產權合作、技術轉化、原型產品快速反覆運算、商務拓展、財務投資等多維度的工作整合在一個統一的資源體系內，用市場價值為導向，有計劃地銜接學術科研與商業實踐。

    以AI為代表的高新技術目前正進入商業落地優先的深入發展期，產業大環境亟需前沿科研技術與實際商業場景的有機結合。

    創新工場憑藉在風險投資領域積累的豐富經驗，以及在創辦AI工程院的過程中積累的技術人才優勢，特別適合扮演科研與商業化之間的橋樑角色。

    於是，創新工場AI工程院也就順勢而生。

    創新工場人工智慧工程院成立於2016年9月，以“科研+工程實驗室”模式，規劃研發方向，組建研發團隊。

    目前已經設有醫療AI、機器人、機器學習理論、計算金融、電腦感知等面向前沿科技與應用方向的研發實驗室，還先後設立了創新工場南京國際人工智慧研究院、創新工場大灣區人工智慧研究院。

    目標是培養人工智慧高端科研與工程人才，研發以機器學習為核心的前沿人工智慧技術，並同各行業領域相結合，為行業場景提供一流的產品和解決方案。

    而且， 創新工場還與國內外著名的科研機構廣泛開展科研合作。

    例如，今年3月20日，香港科技大學和創新工場宣佈成立電腦感知與智慧控制聯合實驗室（Computer Perception and Intelligent Control Lab）。

    此外，創新工場也積極參與了國際相關的技術標準制定工作。例如，今年8月，第28屆國際人工智慧聯合會議（IJCAI）在中國澳門隆重舉辦，期間召開了IEEE P3652.1（聯邦學習基礎架構與應用）標準工作組第三次會議。

    IEEE聯邦學習標準由微眾銀行發起，創新工場等數十家國際和國內科技公司參與，是國際上首個針對人工智慧協同技術框架訂立標準的專案。

    創新工場表示，自身的科研團隊將深度參與到聯邦學習標準的制定過程中，希望為AI技術在真實場景下的安全性、可用性以及保護資料安全、保護使用者隱私貢獻自己的力量。

你可能也想看看

搜尋相關網站