訓練AI模型，要多少數據？拆解企業人工智慧專案為何難落地

2020.12.09 by 若水AI Blog

企業導入AI似乎已成為一種趨勢，但是訓練AI模型，需要多少數據？其背後的商業命題與成本又該如何解決？帶你來一起窺探AI專案背後的秘密！

企業的AI專案在釐清問題本質、找到命題之後，首先會面臨到一個問題：收集數據（Data Collection）和建立AI模型（Model Establishing），該以什麼作為評估基準？

訓練一個AI數據模型，需要多少數據？

訓練AI數據模型時，其實有三個要素，彼此互相影響。分別是： 商業問題的複雜度 、 AI模型複雜度 （Model Complexity），以及 數據複雜度 （Data Complexity）。

因此，如果想知道需要多少訓練數據（Training Data），建議先釐清：這個AI專案到底要處理什麼問題，以及這個問題有多複雜？確定之後，再來判斷應該選用哪種程度的模型來做訓練。根據不同的商業命題複雜度，用不同複雜度的模型和精準數據彼此搭配，找出最佳平衡，才能讓AI專案順利落地。

但光憑想像，很難評估實際的AI數據量和成效，所以開始AI的第一步，需要先透過POC概念驗證（Proof of Concept）實驗來找答案。

簡單來說，就是針對不同複雜程度的商業問題，嘗試選用不同複雜度的模型搭配測試，直到模型跑出來的曲線，符合理想目標。

一般狀態下，假設商業問題本身的複雜度很高，我們會預期要選擇複雜度較高的模型。但是如果數據量不足，那麼選擇複雜度較高的AI模型，反而會比用簡單的AI模型效果還差。（上圖左上、右上，分別代表複雜度10和複雜度50的問題，可以明顯看出複雜的模型曲線比較接近學習數據集（Dataset），但是在測試數據集上的誤差 Eout，反而比簡單模型還差了許多。）

上圖的左下和右下，是以不同複雜度的模型去做POC，跑出來的結果曲線圖。藍色線代表的是學習數據（Training Data）成效，紅色線代表的是測試數據（Testing Data）成效。最理想的POC目標，應該是兩條曲線很貼近彼此，而且位置越低越好。

我們會發現，左下這張圖的兩條曲線雖然彼此貼近，但是就算增加數據，也無法降低誤差。這表示模型偏誤（Bias）高，效果不佳，應該要增加模型複雜度 （Model Complexity）。

增加模型複雜度之後，就會像右下這張圖，藍色曲線（學習數據）雖然數值很低，但在學習數據不足的情況下（灰色區塊），紅色曲線（測試數據）卻「飄」得太高。這表示模型變異誤差（Variance）高，應該要增加學習數據。最後在慢慢增加模型複雜度以及學習數據之後，我們就可以達到理想的結果（兩條曲線很貼近彼此，而且位置越低越好）。

數據哪裡來？發展AI人工智慧之前，先建立數據流

先前我在文章裡提到，很多企業會急著開發AI模型，但AI專案落地經驗的三大關鍵之一，其實是先確認：是否已經準備好數據了？如果沒有這樣的能力，談AI落地其實有點好高騖遠。

AI數據收集（Data Collection）最大的挑戰，在於針對不同型態的命題，會產生不同的AI數據需求，因此需要建立的「數據流」（Data Pipeline），AI數據處理 （Data Processing）和數據標註（Data Annotation）的模式及流程也會有所不同。

發展AI之前，如果能建立起從數據收集（Data Collection）、數據處理（Data Processing）到AI模型學習的數據流（Data Pipeline），並確保可以順暢運行，實際訓練AI模型時才會省力很多。

數據不夠或太多怎麼辦？

Google開設的機器學習（Machine Learning）課程中，第一項原則就開宗明義地指出：「Don’t be afraid to launch a product without machine learning」。

如果你的產品或業務不一定需要用到機器學習（Machine Learning），那就別用，除非你有AI數據。有數據，再來談機器學習（Machine Learning）。但在業界的實際狀況，大家不是沒有數據，而是只有一些些，這時候該怎麼辦？我會建議，先從小地方開始做起，也就是從POC專案著手。

POC專案要有具體成效，除了要注意設計專案、實驗模型的指標（Metrics），企業最重要的是要先定義清楚：AI專案要達到什麼樣的指標，才算是成功？這樣最後做出來的成果，才會真正符合商業目標。

如果今天不是沒有AI數據，而是數據很多，又該從何下手呢？

我建議，嘗試減少訓練AI人工智慧時的「 數據大小 」和「 數據筆數 」。

過去曾經處理過一個AI專案，數據多達2億筆。第一次實驗，把數據全部餵進AI模型，取得結果。第二次，只拿其中有代表性的500萬筆出來訓練人工智慧。

猜猜結果如何？兩次實驗的表現，只差異不到1%。

所以，如果企業對於AI數據的品質和數量有一定程度的自信根據，其實不用把數據全部餵進AI模型訓練（Model Training），只用有代表性的AI數據來訓練就可以了。市面上很多常見的AI工具（Cluster），可以做到這點，幫助省時省力。

AI模型訓練，記得校準商業目標

企業發展AI人工智慧的最終目的，還是希望能 達到商業目標，創造價值 。

所以，訓練AI模型時，團隊如果不知道如何判斷哪個指標，對AI模型學習來說比較重要，建議回歸初心，重新釐清「 這個專案想達到的商業目標是什麼 」。

比方，趨勢科技（Trend Micro）要開發一個能夠判斷電腦病毒的AI，但是勒索病毒（denial-of-access attack）和廣告病毒對客戶的傷害程度大不相同。這時候，工程師就會針對這個命題，餵給AI模型不同病毒種類的數據，讓它學會判斷不同病毒的重要性，分辨出哪些病毒比較嚴重不能有判斷錯誤，而哪些病毒比較無害，不一定要做到一百分。

最常見的訓練方法，是用成本函數（Cost Function）的方式，訓練完再回去調整AI模型的評分（Rating），用加扣分的方式，告訴機器它的學習表現是好是壞，做對就加分，做錯就扣分。

上述評分原則的制定，和企業的商業價值考量息息相關，所以一般在組織分工，會由PM專案團隊負責判斷哪些項目重要，請資料科學家設計在上述Cost Function裡面。

很多人以為，AI人工智慧開發要做到很完美才行，但其實根據我們的經驗，只要AI開發成本符合預算、AI模型表現可接受（大約做到60–70分），而且結果有助於降低成本，就可以算是達到商業目標。反過來，即使AI模型表現非常好（高達90分），但成本卻遠超出預算，就不建議執行。

另外，因為POC階段會做很多的實驗，需要拿兩個穩定且可以互相比較的基準做A/B Test，所以做好基礎建設非常重要。

如果一個團隊裡面有三位工程師，但三個人做出來的結果都無法互相比較，那麼這個實驗就會變得霧裡看花，導致AI專案難以落地。

AI數據小學堂：模型指標（metrics）

在做模型實驗時，通常會用混淆矩陣（Confusion Matrix）的四種指標：TP（True Positive）、TN（True Negative）、FP（False Positive）、FN（False Negative），以及Count、Unique和Accuracy等等函數，來判斷這個模型的表現好不好。

P或TN值，代表模型辨識的答案正確，和預期結果一致。例如：模型正確判斷出「這是一隻貓」、「這不是一隻貓」。而FP或FN值，則代表模型的判斷錯誤，例如「明明是貓，模型卻說不是貓」、「明明不是貓，模型卻說它是貓」。

附圖：AI模型 若水國際
AI模型的POC概念驗證實驗怎麼做？

資料來源：https://www.bnext.com.tw/article/60440/ai-strategy-04?fbclid=IwAR1SOhjjGxypdGgOGfaBIl_a1IsZFJAQZ8J2aeDd98spbUfOdg7hiPQP7UA

📜 [專欄新文章] 隱私、區塊鏈與洋蔥路由
✍️ Juin Chiu
📥 歡迎投稿： https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium

隱私為何重要？區塊鏈是匿名的嗎？洋蔥路由如何改進區塊鏈？

前言

自2008年區塊鏈以比特幣的面貌問世後，它便被視為 Web 3.0，並被期許能夠進一步為人類帶來金融與治理上的大躍進。區塊鏈或許會成為如同全球資訊網一般的基礎建設，如果我們已經開始注重個人於網路上的隱私，那麼我們更應該關心這項全新的技術是否能更好地保護它。

筆者將於本文中闡述隱私的重要性，接著進一步分析區塊鏈是否能夠保護用戶隱私，最後再簡介一個知名的匿名技術 — 洋蔥路由，並列舉幾個其用於改進區塊鏈（特別是以太坊）的相關提案。

特別感謝以太坊研究員 Chih-Cheng Liang 與民間高手敖烏協助校閱並給予回饋。

隱私的重要

網際網路（Internet）無疑是 20 世紀末最偉大的發明，它催生了全新的商業模式，也使得資訊能以位元的形式進行光速傳播，更使人類得以進行前所未有的大規模協作。而自從 1990 年全球資訊網（World Wide Web）的問世以來，網路已和現代文明生活密不可分。經過近 30 年的發展，人類在網路上製造了巨量的資料，這些資料會揭露使用者的隱私。透過一個人的資料，企業或者政府能夠比你自己更了解你。這促使用戶對隱私的愈發重視 — 正如同你不會允許第三者監聽你的電話，你也不希望有第三者監看你的瀏覽器搜尋歷史。

然而，如今的網路是徹底的中心化，中心化也意謂著過大的權力，有種種跡象顯示：網路正在成為政府當局監控人民的工具。例如：中國的淨網衛士[1]、美國的稜鏡計劃[2]等。那麼，政府應該監控人民嗎？其中一派的人認為平日不做虧心事，半夜不怕鬼敲門，這也就是常見的無所隱瞞論[3]：

我不在乎隱私權，因為我沒什麼好隱瞞的。

不過持有這類論點的人通常會被下面的說法反駁：

既然沒什麼好隱瞞的，那請把你的 Email 帳號密碼給我，讓我揭露其中我認為有趣的部分。

大多數正常人應該都不會接受這個提議。

隱私應當與言論自由一樣，是公民的基本權利。事實上，隱私是一個既廣且深的題目，它涉及了心理學、社會學、倫理學、人類學、資訊科學、密碼學等領域，這裡[4]有更多關於關於隱私的討論以及網路隱私工具的整理。

隱私與區塊鏈

有了網際網路後，接下來人類或許可以透過區塊鏈來建構出一個免除人性且完全仰賴自然法則（數學）運行的去中心化系統。在中心化世界中，我們需要免於政府監控的隱私；在去中心化世界中，我們仍然需要隱私以享有真正的平等。

正如同本文的前言所述：區塊鏈也許會成為如同全球資訊網一般的基礎建設，如果我們已經開始注重網路隱私，那麼我們更應該關心區塊鏈是否能更好地保護它。

隱私與匿名

Privacy vs Anonymity [5]

當我們論及隱私時，我們通常是指廣義的隱私：別人不知道你是誰，也不知道你在做什麼。事實上，隱私包含兩個概念：狹義的隱私（Privacy）與匿名（Anonymity）。狹義的隱私就是：別人知道你是誰，但不知道你在做什麼；匿名則是：別人知道你在做什麼，但不知道你是誰。

隱私與匿名對於隱私權來說都很重要，也可以透過不同的方法達成，接下來本文將聚焦於匿名的討論。另外，筆者在接下來的文章中所提及的隱私，指的皆是狹義的隱私。

網路的匿名

以當今的網路架構（TCP/IP 協定組）來說，匿名就是請求端（Requester）向響應端（Responder）請求資源時藏匿其本身的 IP 位址 — 響應端知道請求端在做什麼（索取的資源），但不知道是誰（IP 位置）在做。

IP 位置會揭露個人資訊。在台灣，只需透過 TWNIC 資料庫就可向台灣的網路服務供應商（Internet Service Provider, ISP），例如中華電信，取得某 IP 的註冊者身份及姓名/電話/地址之類的個資。

ISP 是網路基礎建設的部署者與營運者，理論上它能知道關於你在使用網路的所有資訊，只是這些資訊被法律保護起來，並透過公權力保證：政府只在必要時能夠取得這些資訊。萬一政府本身就是資訊的監控者呢？因此，我們需要有在 ISP 能窺知一切的情形下仍能維持匿名的方法。

區塊鏈能保護隱私、維持匿名嗎？

區塊鏈除了其本身運作的上層應用協定之外，還包含了下層網路協定。因此，這個問題可以分為應用層與網路層兩個部分來看 。

應用層

應用層負責實作狀態機複製（State Machine Replication），每個節點收到由共識背書的交易後，便可將交易內容作為轉換函數（Transition Function）於本機執行狀態轉換（State Transition）。

區塊鏈上的交易內容與狀態是應當被保護的隱私，一個保護隱私的直覺是：將所有的交易（Transaction）與狀態（State）加密。然而實際上，幾乎目前所有的主流區塊鏈，包含以太坊，其鏈上的交易及狀態皆為未加密的明文，用戶不僅可以查詢任一地址的交易歷史，還能知道任一地址呼叫某智能合約的次數與參數。也就是說，當今主流區塊鏈並未保護隱私。

雖然區塊鏈上的交易使用假名（Pseudonym），即地址（Address），但由於所有交易及狀態皆為明文，因此任何人都可以對所有假名進行分析並建構出用戶輪廓（User Profile）。更有研究[6]指出有些方法可以解析出假名與 IP 的映射關係（詳見下個段落），一旦 IP 與假名產生關聯，則用戶的每個行為都如同攤在陽光下一般赤裸。

區塊鏈的隱私問題很早便引起研究員的重視，因此目前已有諸多提供隱私保護的區塊鏈被提出，例如運用零知識證明（Zero-knowledge Proof）的 Zcash、運用環簽章（Ring Signature）的 Monero、 運用同態加密（Homomorphic Encryption）的 MimbleWimble 等等。區塊鏈隱私是一個大量涉及密碼學的艱澀主題，本文礙於篇幅不再深入探討，想深入鑽研的讀者不妨造訪台北以太坊社群專欄，其中有若干優質文章討論此一主題。

網路層

節點於應用層產生的共識訊息或交易訊息需透過網路層廣播（Broadcast）到其他節點。由於當今的主流區塊鏈節點皆未採取使網路維持匿名的技術，例如代理（Proxy）、虛擬私人網路（Virtual Private Network, VPN）或下文即將介紹的洋蔥路由（Onion Routing），因此區塊鏈無法使用戶維持匿名 — 因為對收到訊息的節點來說，它既知道廣播節點在做什麼（收到的訊息），也知道廣播節點是誰（訊息的 IP 位置）。

一個常見的問題是：使用假名難道不是匿名嗎？若能找到該假名與特定 IP 的映射關係的話就不是。一般來說，要找到與某假名對應的 IP 相當困難，幾可說是大海撈針，但是至少在下列兩種情況下可以找到對應關係：1. 該假名的用戶自願揭露真實 IP，例如在社群網站公開以太坊地址；2. 區塊鏈網路遭受去匿名化攻擊（Deanonymization Attack）[6]。

洩漏假名與 IP 的關聯會有什麼問題？ 除了該 IP 的真實身份可能被揭露外，該區塊鏈節點亦可能遭受流量分析（Traffic Analysis）、服務阻斷（Denial of Service）或者審查（Censorship），可以說是有百害而無一利。

區塊鏈如何維持匿名？

其實上文已給出了能讓區塊鏈維持匿名的線索：現有匿名技術的應用。我們先來進一步理解區塊鏈網路層與深入探討網際網路協定的運作原理。

區塊鏈網路層的運作原理

P2P Overlay Network [7]

區塊鏈是一個對等網路（Peer-to-peer, P2P），而對等網路是一種覆蓋網路（Overlay Network），需建構於實體網路（Physical Network）之上。

覆蓋網路有兩種常見的通訊模式：一種是基於中繼的（Relay-based）通訊，在此通訊模式下的訊息皆有明確的接收端，因而節點會將不屬於自己的訊息中繼（Relay）給下一個可能是接收端的節點，分散式雜湊表（Distributed Hash Table, DHT）就是一種基於中繼的對等網路；另一種是基於廣播的（Broadcast-based）通訊，在此通訊模式下的訊息會被廣播給所有節點，節點會接收所有訊息，並且再度廣播至其他節點，直到網路中所有節點都收到該訊息，區塊鏈網路層就是一種基於廣播的對等網路。

覆蓋網路旨在將實體網路的通訊模式抽象化並於其上組成另一個拓墣（Topology）與路由機制（Routing Mechanism）。然而實際上，實體網路的通訊仍需遵循 TCP/IP 協定組的規範。那麼，實體網路又是如何運作的呢？

網際網路的運作原理

OSI Model vs TCP/IP Model

實體網路即是網際網路，它的發明可以追朔至 Robert Kahn 和 Vinton Cerf 於1974 年共同發表的原型[12]，該原型經過數年的迭代後演變成我們當今使用的 TCP/IP 協定組[8]。全球資訊網（WWW）的發明更進一步驅使各國的 ISP 建立基於 TCP/IP 協定組的網路基礎建設。網際網路在多個國家經過近 30 年的部署後逐漸發展成今日的規模，成為邏輯上全球最巨大的單一網路。

1984 年，國際標準化組織（ISO）也發表了 OSI 概念模型[9]，雖然較 TCP/IP 協定組晚了 10 年，但是 OSI 模型為日後可能出現的新協定提供了良好的理論框架，並且與 TCP/IP 協定組四層協定之間有映射關係，能夠很好地描述既存的 TCP/IP 協定組。

TCP/IP 協定組的各層各有不同的協定，且各層之間的運作細節是抽象的，究竟這樣一個龐大複雜的系統是如何運作的呢？

Packet Traveling [10][11]

事實上，封包的傳送正如同寄送包裹。例如筆者從台北寄一箱書到舊金山，假設每個包裹只能放若干本書，這箱書將分成多個包裹寄送，每個包裹需註明寄件地址、收件地址、收件者。寄送流程從郵局開始，一路經過台北物流中心 → 北台灣物流中心 → 基隆港 → 洛杉磯港 → 北加州物流中心 → 舊金山物流中心 → 收件者住處，最後由收件者收取。

這如同從 IP 位於台北的設備連上 IP 位於舊金山的網站，資料將被切分成多個固定大小的封包（Packet）之後個別帶上請求端 IP、響應端 IP 及其他必要資訊，接著便從最近的路由器（Router）出發，一路送至位於舊金山的伺服器（Server）。

每個包裹上的收件地址也如同 IP 位置，是全球唯一的位置識別。包裹的收件地址中除了包含收件者的所在城市、街道，還包含了門號，每個門號後都住著不同的收件者。門號正如同封包中後綴於 IP 的連接埠（Port），而住在不同門號的收件者也如同使用不同連接埠的應用程式（Application），分別在等待屬於他們的包裹。實際上，特定的連接埠會被分配給特定的應用程式，例如 Email 使用連接埠 25、HTTPS 使用連接埠 443 等等。

雖然包裹的最終目的地是收件地址，但包裹在運送途中也會有數個短程目的地 — 也就是各地的物流中心。包裹在各個物流中心之間移動，例如從北部物流中心到基隆港，再從基隆港到洛杉磯港，雖然其短程目的地會不斷改變，但其最終目的地會保持不變。

封包的最終目的地稱為端點（End），短程目的地稱為轉跳（Hop） — 也就是路由器（Router）。路由器能將封包從一個網段送至另一個網段，直到封包抵達其端點 IP 所在的網段為止。封包使用兩種定址方法：以 IP 表示端點的位置，而以 MAC 表示路由器的位置。這種從轉跳至轉跳（From Hop to Hop）的通訊是屬於 TCP/IP 協定組第一層：網路存取層（Network Access Layer）的協定。

那麼要如何決定包裹的下一個短程目的地呢？理論上，每個物流中心皆需選擇與最終目的地物理距離最短的物流中心作為下一個短期目的地。例如對寄到舊金山的包裹來說，位於基隆港的包裹下一站應該是洛杉磯港，而不是上海港。

封包則使用路由器中的路由表（Routing Table）來決定下一個轉跳位置，有數種不同的路由協定，例如 RIP / IGRP 等，可以進行路由表的更新。從端點到端點（From End to End）的通訊正是屬於 TCP/IP 協定組第二層：網際層（Internet Layer）的協定。

若一箱書需要分多次寄送，則可以採取不同的寄送策略。至於選擇何種寄送策略，則端看包裹內容物的屬性：

求穩定的策略：每個包裹都會有個序號，寄包裹前要先寫一封信通知收件者，收件者於收到信後需回信確認，寄件者收到確認信後“再”寫一次信告訴收件者「我收到了你的確認」，然後才能寄出包裹。收件者收到包裹後也需回確認信給寄件者，如果寄件者沒收到某序號包裹的回信，則會重寄該包裹。

求效率的策略：連續寄出所有的包裹，收件者不需回信確認。

橫跨多個封包的通訊是屬於 TCP/IP 協定組第三層：傳輸層（Transport Layer）的協定。這兩種策略也對應著傳輸層的兩個主要協定：TCP 與 UDP。TCP 注重穩定，它要求端點於傳送封包前必須先進行三向交握（Three-way Handshake），也就是確認彼此的確認，以建立穩固的連線，且端點在接收封包後也會回傳確認訊息，以確保沒有任何一個封包被遺失；反之，UDP 注重效率，它不要求端點在通訊前進行繁瑣的確認，而是直接傳送封包。

包裹本身亦可以裝載任何內容：這箱書可以是一套金庸全集，也可以是一年份的交換日記；同理，封包內的資料也可以是來自任何上層協定的內容，例如 HTTPS / SMTP / SSH / FTP 等等。這些上層協定都被歸類為 TCP/IP 協定組第四層：應用層（Application Layer）的協定。

維持匿名的技術

區塊鏈仰賴於實體網路傳送訊息，欲使區塊鏈網路層維持匿名，則需使實體網路維持匿名。那麼實體網路如何匿名呢？ 若以寄包裹的例子來看，維持匿名，也就是不要讓收件者知道寄件地址。

一個直覺的思路是：先將包裹寄給某個中介（Intermediary），再由中介寄給收件者。如此收件者看到的寄件地址將會是中介的地址，而非原寄件者的地址 — 這也就是代理（Proxy）以及 VPN 等匿名技術所採取的作法。

不過這個作法的風險在於：寄件者必須選擇一個守口如瓶、值得信賴的中介。由於中介同時知道寄件地址與收件地址，倘若中介將寄件地址告知收件人，則寄件者的匿名性蕩然無存。

有沒有辦法可以避免使單一中介毀壞匿名性呢？一個中介不夠，那用兩個、三個、甚至多個呢？這便是洋蔥路由的基本思路。由於沒有任何一個中介同時知道寄件地址與收件地址，因此想破壞寄件者匿名性將變得更困難。

洋蔥路由與 Tor

洋蔥路由（Onion Routing）最初是為了保護美國政府情報通訊而開發的協定，後來卻因為其能幫助平民抵抗政府監控而變得世界聞名。

1997 年，Michael G. Reed、Paul F. Syverson 和 David M. Goldschlag 於美國海軍研究實驗室首先發明了洋蔥路由[13]，而 Roger Dingledine 和 Nick Mathewson 於美國國防高等研究計劃署（DARPA）緊接著開始著手開發 Tor，第一版 Tor 於 2003 年釋出[14]。2004 年，美國海軍研究實驗室以自由軟體授權條款開放了 Tor 原始碼。此後，Tor 開始接受電子前哨基金會（Electronic Frontier Foundation）的資助；2006年，非營利組織「Tor 專案小組」（The Tor Project）成立，負責維護 Tor 直至今日。

Tor [15]是洋蔥路由的實作，它除了改進原始設計中的缺陷，例如線路（Circuit）的建立機制，也加入若干原始設計中沒有的部分，例如目錄伺服器（Directory Server）與洋蔥服務（Onion Service），使系統更強健且具有更高的匿名性。

Tor 自 2004 年上線至今已有超過 7000 個由志願者部署的節點，已然是一個強大的匿名工具。然而這也使其成為雙面刃：一方面它可以幫助吹哨者揭露不法、對抗監控；另一方面它也助長了販毒、走私等犯罪活動。但不論如何，其技術本身的精巧，才是本文所關注的重點。

Tor 的運作原理

Tor Overview [16]

Tor 是基於中繼的（Relay-based）覆蓋網路。Tor 的基本思路是：利用多個節點轉送封包，並且透過密碼學保證每個節點僅有局部資訊，沒有全局資訊，例如：每個節點皆無法同時得知請求端與響應端的 IP，也無法解析線路的完整組成。

Tor 節點也稱為洋蔥路由器（Onion Router），封包皆需透過由節點組成的線路（Circuit）傳送。要注意的是，Tor 線路僅是覆蓋網路中的路徑，並非實體網路的線路。每條線路皆由 3 個節點組成，請求端首先會與 3 個節點建立線路並分別與每個節點交換線路密鑰（Circuit Key）。

請求端會使用其擁有的 3 組線路密鑰對每個送出的封包進行 3 層加密，且最內層密文需用出口節點的密鑰、最外層密文需用入口節點的密鑰，如此才能確保線路上的節點都只能解開封包中屬於該節點的密文。被加密後的封包被稱為洋蔥，因其如洋蔥般可以被一層一層剝開，這就是洋蔥路由這個名稱的由來。

封包經過線路抵達出口節點後，便會由出口節點送往真正的響應端。同樣的線路也會被用於由響應端回傳的封包，只是這一次節點會將每個送來的封包加密後再回傳給上一個節點，如此請求端收到的封包就會仍是一顆多層加密的洋蔥。

那麼，請求端該選擇哪些節點來組成線路呢？Tor 引入了目錄伺服器（Directory Server）此一設計。目錄伺服器會列出 Tor 網路中所有可用的節點[17]，請求端可以透過目錄伺服器選擇可用的洋蔥路由器以建立線路。目前 Tor 網路中有 9 個分別由不同組織維護的目錄，中心化的程度相當高，這也成為 Tor 安全上的隱憂。

Tor 線路的建立機制

Tor Circuit Construction [18]

Tor 是如何建立線路的呢？如上圖所示，Tor 運用伸縮（Telescoping）的策略來建立線路，從第一個節點開始，逐次推進到第三個節點。首先，請求端與第一個節點進行交握（Handshake）並使用橢圓曲線迪菲 — 赫爾曼密鑰交換（Elliptic Curve Diffie–Hellman key Exchange, ECDH）協定來進行線路密鑰的交換。

為了維持匿名，請求端接著再透過第一個節點向第二個節點交握。與第二個節點交換密鑰後，請求端再透過第一、二個節點向第三個節點交握與交換密鑰，如此慢慢地延伸線路直至其完全建立。線路建立後，請求端便能透過線路與響應端進行 TCP 連線，若順利連接，便可以開始透過線路傳送封包。

洋蔥服務

Clearnet, Deepweb and Darknet [21]

洋蔥服務（Onion Service）/ 隱藏服務（Hidden Service）是暗網（Darknet）的一部分，是一種必須使用特殊軟體，例如 Tor，才能造訪的服務；與暗網相對的是明網（Clearnet），表示可以被搜尋引擎索引的各種服務；深網（Deep Web）則是指未被索引的服務，這些服務不需要特殊軟體也能造訪，與暗網不同。

當透過 Tor 使用洋蔥服務時，請求端與響應端都將不會知道彼此的 IP，只有被響應端選定的節點：介紹點（Introduction Point）會引領請求端至另一個節點：會面點（Rendezvous Point），兩端再分別與會面點建立線路以進行通訊。也就是說，請求端的封包必須經過 6 個節點的轉送才能送往響應端，而所有的資料也會採取端對端加密（End-to-end Encryption），安全強度非常高。

洋蔥服務及暗網是一個令人興奮的主題，礙於篇幅，筆者將另撰文闡述。

混合網路、大蒜路由與洋蔥路由

這裡再接著介紹兩個與洋蔥路由系出同源的匿名技術：混合網路與大蒜路由。

Mix Network Overview [22]

混合網路（Mix Network）早在 1981 年就由 David Chaum 發明出來了[23]，可以說是匿名技術的始祖。

洋蔥路由的安全性奠基於「攻擊者無法獲得全局資訊」的假設[24]，然而一旦有攻擊者具有監控多個 ISP 流量的能力，則攻擊者仍然可以獲知線路的組成，並對其進行流量分析；混合網路則不僅會混合線路節點，還會混合來自不同節點的訊息，就算攻擊者可以監控全球 ISP 的流量，混合網路也能保證維持匿名性。

然而高安全性的代價就是高延遲（Latency），這導致混合網路無法被大規模應用，或許洋蔥路由的設計是一種為了實現低延遲的妥協。

Garlic Routing Overview [25]

混合網路啟發了洋蔥路由，洋蔥路由也啟發了大蒜路由。2003年上線的 I2P（Invisible Internet Project）便是基於大蒜路由（Garlic Routing）的開源軟體，可以視為是去中心化版的 Tor。幾乎所有大蒜路由中的組件，在洋蔥路由中都有對應的概念：例如大蒜路由的隧道（Tunnel）即是洋蔥路由的線路；I2P 的網路資料庫（NetDB）即是 Tor 的目錄；I2P中的匿名服務（Eepsite）即是 Tor 的洋蔥服務。

不過，大蒜路由也有其創新之處：它允許多個封包共用隧道以節省建立隧道的成本，且其使用的網路資料庫實際上是一個分散式雜湊表（DHT），這使 I2P 的運作徹底去中心化。若想進一步理解 DHT 的運作原理，可以參考筆者之前所撰寫的文章：

連Ethereum都在用！用一個例子徹底理解DHT

I2P 最大的詬病就是連線速度太慢，一個缺乏激勵的去中心化網路恐怕很難吸引足夠的節點願意持續貢獻頻寬與電費。

區塊鏈與洋蔥路由

那麼，基於實體網路的區塊鏈能不能使用洋蔥路由或大蒜路由/混合網路/其他技術，以維持節點的匿名？答案是肯定的。事實上，目前已經出現數個專案與提案：

全新的專案

Dusk：實作大蒜路由的區塊鏈[32]，不過官方已宣布因其影響網路效能而暫停開發此功能。

cMix：透過預先計算（Precomputation）以實現低延遲的混合網路[33]，是混合網路發明者 David Chaum 近期的研究，值得期待。

Loki：結合 Monero 與 Tor/I2P 的區塊鏈 [34]，並使用代幣激勵節點貢獻頻寬與電力，由其白皮書可以看出發明者對於匿名技術的熱愛與信仰。

於主流區塊鏈的提案

比特幣：全世界第一條區塊鏈，將於其網路使用一個不同於洋蔥路由的匿名技術：Dandelion++[30][31]，該匿名技術因其訊息傳播路徑的形狀類似浦公英而得其名。

閃電網路（Lightning Network）：知名的比特幣第二層方案，將於其網路內實作洋蔥路由[27]。

Monero：使用環簽章保護用戶隱私的區塊鏈，將於其網路內實作大蒜路由，已開發出 Kovri[28] 並成為 I2P 官方認可的客戶端之一[29]。

於以太坊的提案

2018 年 12 月，Mustafa Al-Bassam 於以太坊官方研究論壇提議利用洋蔥路由改進輕節點之資料可得性（Light Client Data Availability）[36]。若讀者想了解更多關於以太坊輕節點的研究，可以參考台北以太坊社群專欄的這篇文章。資料可得性是輕節點實現的關鍵，而這之中更關鍵的是：如何向第三方證明全節點的資料可得性？由於這個提案巧妙地運用了洋蔥路由的特性，因此在今年 7 月在另一則討論中，Vitalik 亦強烈建議應儘速使洋蔥路由成為以太坊的標準[35]。

在這個提案中，輕節點需建立洋蔥路由線路，然而線路節點並非由目錄中挑選，而是由前一個節點的可驗證隨機函數（Verifiable Random Function, VRF）決定。例如線路中的第二個節點需由第一個節點的 VRF 決定。線路建立後，出口節點便可以接著向全節點請求特定的可驗證資料。由於輕節點在過程中維持匿名，因此可以防止全節點對輕節點的審查（Censoring）。取得可驗證資料後，其便與 VRF 證明沿著原線路傳回輕節點，輕節點再將可驗證資料與 VRF 證明提交至合約由第三方驗證。若第三方驗證正確，則資料可得性得證。

結語

隱私與匿名是自由的最後一道防線，我們應該盡可能地捍衛它，不論是透過本文介紹的匿名技術或者其他方式。然而，一個能保護隱私與維持匿名的區塊鏈是否能實現真正的去中心化？這是一個值得深思的問題。

本文也是筆者研究區塊鏈至今跨度最廣的一篇文章，希望讀者能如我一樣享受這段令人驚奇又興奮的探索旅程。

參考資料

[1] Jingwang Weishi, Wikipedia

[2] PRISM, Wikipedia

[3] privacytools.io

[4] Nothing-to-hide Argument, Wikipedia

[5] Anonymity vs Privacy vs Security

[6] Deanonymisation of Clients in Bitcoin P2P Network, Alex Biryukov, Dmitry Khovratovich, Ivan Pustogarov, 2014

[7] Example: P2P system topology

[8] Internet protocol suite, Wikipedia

[9] OSI model, Wikipedia

[10] Packet Traveling: OSI Model

[11] Packet Traveling — How Packets Move Through a Network

[12] A Protocol for Packet Network Intercommunication, VINTON G. CERF, ROBERT E. KAHN, 1974

[13] Anonymous Connections and Onion Routing, Michael G. Reed, Paul F. Syverson, and David M. Goldschlag, 1998

[14] Tor: The Second-Generation Onion Router, Roger Dingledine, Nick Mathewson, Paul Syverson, 2004

[15] Tor, Wikipedia

[16] What actually is the Darknet?

[17] Tor Network Status

[18] Inside Job: Applying Traffic Analysis to Measure Tor from Within, Rob Jansen, Marc Juarez, Rafa Galvez, Tariq Elahi, Claudia Diaz, 2018

[19] How Does Tor Really Work? The Definitive Visual Guide (2019)

[20] Tor Circuit Construction via Telescoping

[21] The DarkNet and its role in online piracy

[22] Mix network, Wikipedia

[23] Untraceable Electronic Mail, Return Addresses, and Digital Pseudonyms, David Chaum, 1981

[24] The differences between onion routing and mix networks

[25] Monitoring the I2P network, Juan Pablo Timpanaro, Isabelle Chrisment, Olivier Festor, 2011

[26] I2P Data Communication System, Bassam Zantout, Ramzi A. Haraty, 2002

[27] BOLT #4: Onion Routing Protocol

[28] Kovri

[29] Alternative I2P clients

[30] Bitcoin BIP-0156

[31] Dandelion++: Lightweight Cryptocurrency Networking with Formal Anonymity Guarantees, Giulia Fanti, Shaileshh Bojja Venkatakrishnan, Surya Bakshi, Bradley Denby, Shruti Bhargava, Andrew Miller, Pramod Viswanath, 2018

[32] The Dusk Network Whitepaper, Toghrul Maharramov, Dmitry Khovratovich, Emanuele Francioni, Fulvio Venturelli, 2019

[33] cMix: Mixing with Minimal Real-Time Asymmetric Cryptographic Operations, David Chaum, Debajyoti Das, Farid Javani, Aniket Kate, Anna Krasnova, Joeri De Ruiter, Alan T. Sherman, 2017

[34] Loki: Private transactions, decentralised communication, Kee Jefferys, Simon Harman, Johnathan Ross, Paul McLean, 2018

[35] Open Research Questions For Phases 0 to 2

[36] Towards on-chain non-interactive data availability proofs

隱私、區塊鏈與洋蔥路由 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.

👏 歡迎轉載分享鼓掌

VBA處理大數據政府開放與快速做出查詢系統

完整連結：
http://terry55wu.blogspot.tw/2016/05/vba.html

這是在東吳大學進修推廣部的VBA進階課上課的範例，
分享如何用簡單的VBA知識，就可以輕易地做出查詢系統來，
讓您快速輸入查詢關鍵字，就可以輕易地將查詢結果輸出到新的工作表中，
只需要有些VBA的基本知識，再多認識工作表物件(sheets)就足夠了。
建議先學會以下分享課程：
用EXCEL批次查詢實價登錄開放資料(大數據處理實例) [連結]
用EXCEL設計按清單批次查詢資料(自動新增工作表) [連結]
公訓處Big Data加值應用課程分享 [連結]
用EXCEL快速建立資料查詢系統(錄製巨集與修改) [連結]
如何建立EXCEL版的成語查詢系統 [連結]
如何快速在EXCEL中建立查詢系統(免資料庫)之1 [連結]
如何快速在EXCEL中建立查詢系統(免資料庫)之2 [連結]
如何將單次查詢改為批次查詢 [連結]
資料庫批次篩選新增與更名工作表 [連結]
大數時代來臨如果不懂得裡用自動化方式處理資料，
處理資料將非常沒有效率，
至於處理大數據的方案很多，
但最通行也沒有額外費用的大概只剩VBA了。
而且開啟EXCEL就包含VBA，除了在Windows外，
MAC蘋果電腦一樣也有EXCEL，
VBA也可以沿用以前VB的資源，這樣看來VBA處理大數據應該沒有什麼對手了。

本範例主要是利用EXCEL的篩選功能時做成VBA，
可以一鍵就可以批次查出政府開放的實價登錄的查詢結果，
自動依據清單，可以自動將清單項目，逐一自動新增工作表，
並將查詢結果匯入，也可以隨時更改查詢需求，
除了便利外，也非常有彈性，
並可結合從網路下載資料到EXCEL中，隨時更新最新的資訊。
當然未來也可以結合雲端資料庫，與APP連動了。

內政部不動產實價登錄網站 [連結]
範例檔 [下載]

上課內容：
01_下載內政部實價登錄開放資料

02_下載EXCEL檔案

03_只下載新北市開放資料

04_留下不動產買賣資料

05_貼上查詢VBA程式做修改

06_產生輸入地址關鍵字介面

07_自動新增工作表並輸出結果


程式碼：


教學影音(完整版在論壇)：
http://terry55wu.blogspot.tw/2016/05/vba.html

教學影音完整版在論壇：
https://groups.google.com/forum/#!forum/scu_excel_vba2_86

課程特色：
1.如何將函數轉成VBA2.VBA與資料庫快速結合

EXCEL函數、 VBA程式設計與資料庫是分別屬於三個領域的知識，
但卻是目前大家都需要的一項專業技能，要把三者融合的很好實在非常不容易，
剛好我有近20年的VB程式設計與資料庫設計的經驗，
教EXCEL函數與相關課程也有多年，因此清楚如何把最重要的知識教給大家，
ADO資料庫設計的知識非常多，但根據我多年的設計實務經驗，
覺得最重要的是掌握SQL語言，就可以輕易的完成查詢、新增、修改與刪除等功能，
就可以輕易的完成自己想處理的大量資料，大大提高工作效率了!

上課用書是：
Excel函數&VBA其實很簡單(http://www.books.com.tw/exep/prod/booksfile.php…)
Excel VBA 與資料庫整合大活用(http://www.books.com.tw/exep/prod/booksfile.php…)

完整教學影音DVD申請:http://goo.gl/ZlBZE
論壇：http://groups.google.com/group/labor_excel_vba?hl=zh-TW

相關教學連結:
如何設計VBA表單與EXCEL當資料庫用(85期)
提高效率VBA入門班第1次上課心得分享
EXCEL VBA處理股票分析自動最佳化範例
如何在EXCEL VBA中快速刪除空白列
定存範例轉VBA與只能輸入數字的InputBox
如何學會EXCEL VBA資料庫系列之一
EXCEL VBA入門：如何撰寫自動格式化的VBA程式
EXCEL VBA入門之一：如何函數轉VBA
VB.NET設計(九九乘法表&小狗動畫&撲克牌&字幕)
回覆Excel VBA入門與進階課的差異？
如何批次下載股市資料到EXCEL中之2
如何用VBA快速取得期貨交易資料(開收高低量)
如何在EXCEL VBA隱藏與顯示工作表
如何移動工作表與排序之1
如何批次下載股市資料到EXCEL中之1
如何批次下載股市資料到EXCEL中
如何建立表單與將EXCEL當成資料庫
如何讓用ACCESS將EXCEL的資料
如何排序工作表
如何將單次查詢改為批次查詢(EXCEL VBA自動化)
如何在EXCEL VBA的工作表隨機上顏色
如何快速在EXCEL中建立查詢系統(免資料庫)之2
如何精簡VBA程式與傳遞引數
如何快速在EXCEL中建立查詢系統(免資料庫)之1
如何將大量工作表整合在一個工作表
如何在EXCEL VBA新增沒有重複名稱工作表
如何自動下載YAHOO股市資料到EXCEL中
如何建立表單與將EXCEL當成資料庫使用
如何在EXCE VBA中複製工作表
如何在EXCEL VBA如何保護工作表
如何在EXCEL VBA新增沒有重複名稱工作表
如何在EXCEL工作表中移動
EXCEL VBA辦公自動化_如何建立查詢系統
如何當下拉清單改變時自動抓取資料之一
如何將數學函數轉EXCEL VBA設計之二
如何增加EXCEL VBA按鈕
如何設定EXCEL VBA開發環境設定說明
如何將EXCEL函數轉成VBA
如何再VBA中建立EXCEL的自訂函數讓公式變簡單
1.EXCEL VBA設計(自強基金會2012)第4次上課
http://terry55wu.blogspot.tw/2012/03/excel-vba20124.html

2.如何把EXCEL"函數"變為 "VBA"？自強基金會2012第5次上課
http://terry55wu.blogspot.tw/2012/04/excel-vba.html

3.自強基金會2012第8次上課
http://terry55wu.blogspot.tw/2012/05/excel-vba20128.html

4.自強基金會2012第9次上課
http://terry55wu.blogspot.tw/2012/05/excel-vba20129.html

5.EXCEL_VBA與資料庫--自強基金會2012(Ending)
http://terry55wu.blogspot.tw/2012/…/excelvba-2012ending.html

EXCEL,VBA,函數東吳進修推廣部,EXCEL VBA 函數 程式設計 線上教學 excel vba 教學 excel vba指令教學 vba範例教學excel excel vba教學視頻 excel函數教學 excel函數

全球人壽_EXCEL高階函數運用班

上課內容：
01_課程介紹與電信業會員手機號碼
02_樞紐分析產生電信業會員各年級生統計表與圖
03_增加年級欄位與分析
04_範例北市公有零售市場行情報表與視覺圖
05_增加分析欄位與自訂函數
06_自訂VBA函數切割資料
07_住宅竊盜點位資訊統計與繪圖
08_刪除資料與重新整理與通訊產品正規化
09_定義名稱與樞紐分析表
10_繪製樞紐分析圖
11_定義名稱與INDIRECT函數
12_產生樞紐分析圖與VBA自動化
13_產生PC硬體零件銷貨資料
14_問題1到6解說
15_問題7到12解說
16_匯入ACCESS資料到EXCEL
17_用MSQUERY查詢ACCESS資料庫
18_從文字檔案會入資料與篩選資料

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/pccu_excel_vba05

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

學習目標
一、文字和資料函數：
FIND、MID、IFERROR（擷取括弧內字串與擷取長寬高)
二、邏輯函數：IF、OR、AND綜合應用
三、日期和時間函數：
年曆綜合範例(IF、MONTH、IFFERROR與WEEKDAY函數)
四、數學和三角函數：
SUMIF時數統計表、COUNTIF樂透彩中獎機率統計
五、檢視和參照函數：
VLOOKUP進階、INDEX、OFFSET、INDIRECT
其他綜合範例：股票配股稅率統計表、人事考評管理系統

上課用書：
Excel職場函數468招：超完整！新人工作就要用到的計算函數+公式範例集
作者： 羅剛君
出版社：PCuSER電腦人文化
出版日期：2016/01/30

吳老師 109/11/9

函數,東吳大學推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

全球人壽_EXCEL高階函數運用班

上課內容：
01_課程介紹與電信業會員手機號碼
02_樞紐分析產生電信業會員各年級生統計表與圖
03_增加年級欄位與分析
04_範例北市公有零售市場行情報表與視覺圖
05_增加分析欄位與自訂函數
06_自訂VBA函數切割資料
07_住宅竊盜點位資訊統計與繪圖
08_刪除資料與重新整理與通訊產品正規化
09_定義名稱與樞紐分析表
10_繪製樞紐分析圖
11_定義名稱與INDIRECT函數
12_產生樞紐分析圖與VBA自動化
13_產生PC硬體零件銷貨資料
14_問題1到6解說
15_問題7到12解說
16_匯入ACCESS資料到EXCEL
17_用MSQUERY查詢ACCESS資料庫
18_從文字檔案會入資料與篩選資料

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/pccu_excel_vba05

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

學習目標
一、文字和資料函數：
FIND、MID、IFERROR（擷取括弧內字串與擷取長寬高)
二、邏輯函數：IF、OR、AND綜合應用
三、日期和時間函數：
年曆綜合範例(IF、MONTH、IFFERROR與WEEKDAY函數)
四、數學和三角函數：
SUMIF時數統計表、COUNTIF樂透彩中獎機率統計
五、檢視和參照函數：
VLOOKUP進階、INDEX、OFFSET、INDIRECT
其他綜合範例：股票配股稅率統計表、人事考評管理系統

上課用書：
Excel職場函數468招：超完整！新人工作就要用到的計算函數+公式範例集
作者： 羅剛君
出版社：PCuSER電腦人文化
出版日期：2016/01/30

吳老師 109/11/9

函數,東吳大學推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻

全球人壽_EXCEL高階函數運用班

上課內容：
01_課程介紹與電信業會員手機號碼
02_樞紐分析產生電信業會員各年級生統計表與圖
03_增加年級欄位與分析
04_範例北市公有零售市場行情報表與視覺圖
05_增加分析欄位與自訂函數
06_自訂VBA函數切割資料
07_住宅竊盜點位資訊統計與繪圖
08_刪除資料與重新整理與通訊產品正規化
09_定義名稱與樞紐分析表
10_繪製樞紐分析圖
11_定義名稱與INDIRECT函數
12_產生樞紐分析圖與VBA自動化
13_產生PC硬體零件銷貨資料
14_問題1到6解說
15_問題7到12解說
16_匯入ACCESS資料到EXCEL
17_用MSQUERY查詢ACCESS資料庫
18_從文字檔案會入資料與篩選資料

完整影音
http://goo.gl/aQTMFS

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/pccu_excel_vba05

懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524

學習目標
一、文字和資料函數：
FIND、MID、IFERROR（擷取括弧內字串與擷取長寬高)
二、邏輯函數：IF、OR、AND綜合應用
三、日期和時間函數：
年曆綜合範例(IF、MONTH、IFFERROR與WEEKDAY函數)
四、數學和三角函數：
SUMIF時數統計表、COUNTIF樂透彩中獎機率統計
五、檢視和參照函數：
VLOOKUP進階、INDEX、OFFSET、INDIRECT
其他綜合範例：股票配股稅率統計表、人事考評管理系統

上課用書：
Excel職場函數468招：超完整！新人工作就要用到的計算函數+公式範例集
作者： 羅剛君
出版社：PCuSER電腦人文化
出版日期：2016/01/30

吳老師 109/11/9

函數,東吳大學推廣部,自強基金會,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻