📜 [專欄新文章] 區塊鏈管線化的效能增進與瓶頸

✍️ Ping Chen

📥 歡迎投稿： https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium

使用管線化（Pipeline）技術可以提升區塊鏈的處理效能，但也可能會產生相應的代價。

Photo by tian kuan on Unsplash

區塊鏈的擴容方案

說到區塊鏈的效能問題，目前討論度最高的應該是分片（sharding）技術，藉由將驗證者分成多組的方式，可以同時分別處理鏈上的交易需求，即使單分片效能不變，總交易量可以隨著分片/驗證者集的數量線性增加。

除了分片，另一個常用來提升程式效能的方案是將計算步驟拆解，以流水線的方式將複雜的運算攤平，降低系統的閒置時間，並大幅提升工作效率。為了達到管線化預期的目的，會需要先知道系統的瓶頸在哪。

區塊鏈的效能瓶頸

熟悉工作量證明設計哲學的人應該會知道，區塊鏈之所以需要挖礦，並不是為了驗證交易的正確性，而是要決定交易的先後順序，從而避免雙花和帳本分裂的發生。可以說，區塊鏈使用低效率的單線程設計，並付給礦工高額的成本，都只為了一件事，就是對交易的全局排序產生共識。

在這樣的基礎之上，區塊鏈在一段時間內可以處理的交易數量是有限的，這之中包含許多方面的限制，包括 CPU 效能、硬碟空間、網路速度等。其中，關於 TPS(每秒交易數) 提升和對硬體的要求大致上是線性增加的，但在設計共識演算法時，通訊複雜度常是平方甚至三次方的關係。

以現在的目標 TPS 來說，處理交易和生成一個合法的區塊並不困難，只是因為區塊鏈的特性，新區塊需要透過洪水法的方式擴散到全網路，每個節點在收到更新請求的時候都要先執行/驗證過區塊內的交易，等於整個廣播的延時會是「驗證區塊時間×經過的 hop 數量」這麼多。似乎網路越分散、節點越多，我們反而會需要降低計算量，以免讓共識不穩定。

管線化的共識機制

使用權益證明取代工作量證明算是行業發展的趨勢，除了環保或安全這些比較顯然的好處之外，權益證明對產生共識的穩定性也很有幫助。首先，權益證明在同一時間參與共識的節點數是已知的，比較容易控制數量級的邊界；其次，權益證明的出塊時間相較工作量證明固定很多，可以降低計算資源不足或閒置的機率。

相較於工作量證明是單一節點出塊，其餘節點驗證，權益證明的出塊本身就需要很多節點共同參與，瓶頸很像是從驗證轉移到通訊上。

以 PBFT 為例，每次產新區塊都需要經過 pre-prepare, prepare, commit 三個階段，你要對同意驗證的區塊簽名，還要對「你有收到某人的簽名」這件事簽名，再對「你有收到 A 說他有收到 B 的簽名」這件事簽名，過程中會有很多簽名飛來飛去，最後才能把一個區塊敲定。

為了降低每兩個區塊間都需要三輪簽名造成的延遲，後來的共識演算法包括 HotStuff 和 Casper FFG 採用了管線化的區塊驗證過程。也就是對區塊 T 的 pre-prepare 同時是對 T-1 的 prepare 和對 T-2 的 commit。再加上簽名聚合技術，出塊的開銷在複雜度等級和係數等級都降低許多。

然而，要保持管線化的區塊生產順利，需要驗證者集合固定不變，且網路通訊狀況良好。如果會經常更動驗證者集合或變換出塊的領導者，前後區塊間的相依性會是個大問題，也就是 T 的驗證者集合取決於 T-1 裡有沒有會導致刪除或新增驗證者的交易，T-1 的合法性又相依於 T-2，以此類推。

當激烈的分叉出現的時候，出塊跟共識的流水線式耦合就從優雅變成災難了。為了避免這種災難，更新的共識演算法會限制驗證者變更的時機，有些叫 epoch 有些叫 checkpoint，每隔一段時間會把前面的區塊徹底敲定，才統一讓驗證者加入或退出。到這些檢查點的時候，出塊的作業流程就會退化成原本的三階段驗證，但在大部分時候還是有加速的效果。

管線化的狀態更新

另一個可以用管線化加速的是區塊鏈的狀態更新。如前所述，現在公鏈的瓶頸在於提高 TPS 會讓區塊廣播變慢，進而導致共識不穩定，這點在區塊時間短的以太坊上尤其明顯。可是如果單看執行一個區塊內的交易所花的時間的話，實際上是遠遠低於區塊間隔的。

只有在收到新區塊的時候，節點才會執行狀態轉移函數，並根據執行結果是否合法來決定要不要把區塊資訊再廣播出去。不過其實只要給定了交易集合，新的狀態 s’ = STF(s, tx) 應該是確定性的。

於是我們有了一個大膽的想法：何不乾脆將交易執行結果移出共識外呢？反正只要大家有對這個區塊要打包哪些交易有共識，計算的結果完全可以當作業留給大家自己算吧。如果真的不放心，我們也可以晚點再一起對個答案，也就是把這個區塊執行後的新狀態根包在下個區塊頭裡面。

這就是對狀態更新的管線化，在區塊 T 中敲定交易順序但暫不執行，區塊 T+1 的時候才更新狀態（以及下一批交易）。這麼做的好處十分顯而易見，就是將原本最緊繃的狀態計算時間攤平了，從原本毫秒必爭的廣播期移出來，變成只要在下個塊出來之前算完就好，有好幾秒的時間可以慢慢來。新區塊在廣播的每個 hop 之間只要驗證交易格式合法（簽名正確，有足夠的錢付手續費）就可以放行了，甚至有些更激進的方案連驗簽名都省略了，如果真的有不合法交易混進去就在下個區塊處罰礦工/提案者便是。

把負擔最重的交易執行移出共識，光用想的就覺得效能要飛天，那代價呢？代價是區塊的使用程度會變得不穩定。因為我們省略了執行，所以對於一筆交易實際用掉多少 gas 是未知的。本來礦工會完整的執行所有交易，並盡可能的塞滿區塊空間，然而在沒有執行的情況下，只能以使用者設定的 gas limit 當作它的用量，能打包的交易會比實際的上限少。

緊接著，下一個問題是退費困難。如果我們仍然將沒用完的手續費退還給使用者，惡意的攻擊者可以透過發送 gas limit 超大，實際用量很小的交易，以接近零的成本「霸佔」區塊空間。所以像已故區塊鏈 DEXON 就直接取消 gas refund，杜絕濫用的可能。但顯然這在使用者體驗和區塊空間效率上都是次優的。

而最近推出的 smartBCH 嘗試擬了一套複雜的退款規則：交易執行後剩餘的 gas 如果小於 gas limit 的一半（代表不是故意的）就退款；如果剩餘量介於 50%-75% 可以退一半；超過 75% 推斷為惡意，不退款。乍看是個合理的方案，仔細一想會發現製造的問題似乎比解決的還多。無論如何，沒用掉的空間終究是浪費了，而根據殘氣比例決定是否退款也不會是個好政策，對於有條件判斷的程式，可能要實際執行才知道走哪條路，gas limit 一定是以高的情況去設定，萬一進到 gas 用量少的分支，反而會噴更多錢，怎麼想都不太合理。

安全考量，退費大概是沒希望了。不過呢，最近以太坊剛上線的 EIP1559 似乎給了一點方向，如果區塊的使用程度能以某種回授控制的方式調節，即使偶爾挖出比較空的區塊似乎也無傷大雅，也許能研究看怎麼把兩者融合吧。

管線化方案的發展性

考慮到以太坊已經堅定地選擇了分片的路線，比較激進的單鏈高 TPS 管線化改造方案應該不太有機會出線，不過管線化畢竟是種歷史悠久的軟體最佳化技巧，還是很有機會被使用在其他地方的，也許是 VDF 之於信標鏈，也許是 rollup 的狀態轉換證明，可以坐等開發者們表演。

倒是那些比較中心化的 EVM fork/sidechain，尤其是專門只 for DeFi 的鏈，管線化加速可以在不破壞交易原子性的前提下擴容，確實是有一些比分片優秀的地方可以說嘴，值得研究研究，但這就要看那些機房鏈們有沒有上進心，願不願意在分叉之餘也投資發展自己的新技術了。

給我錢

ping.eth

區塊鏈管線化的效能增進與瓶頸 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.

👏 歡迎轉載分享鼓掌

為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

是的，指考。

不意外的，又有一波擔憂國家數理發展，以及另一波擔心語言發展，還有其他波的擔心XX發展，加上奧運舉辦，體育發展的憂慮也刷一波

依照各方大德的憂慮，想要達成全部目標，我們現在的國民教育應該會從小一開始改成全住宿制，每天課程排到晚上9，一路上到大學還得要義務化。

簡稱，不可能的任務。

看不懂？嗯，因為這算月經文..........年經文才對。

我的意思很簡單啦，每次大考考完，除了那些每年都要靠邀幾句的校長，總會多出一批新人，憂心教育內容每況愈下，學子未來值得擔憂，國家競爭力缺乏等等。從教改啟動前就開始罵，罵到今天還是沒停。

坦白說，我對罵沒意見，但總要有具體點的建議出來。具體的建議可不是什麼提高數學教學強度，增加閱讀測驗等等，這叫做毫不具體。

具體的事項，要很明確的講出：
「必須從國一開始上三角函數，國二要會球座標」
「當前作文與閱讀課不敷需求，每周要加到5堂課」

用產業界的說法，就是你得提出目標-需求-資源，不然誰曉得你想幹嘛。那種高喊今年業績要提高的老闆很多，拍桌說業務要更積極搶單的經理更多，但具體計畫寫下來，恐怕是沒幾個能動的。

說不出個所以然，只是單純地看到數理教學內容變少，然後看則新聞說半導體落後，就膝蓋反射認定是教改失敗，學生程度太差，這連結相關度說有多高嘛...........

唉

我是希望，每個老師或是教授，真想對教育內容有建設性意見，不要只是碎念，請從現場時數去反推課程合理性，自己做不到也沒關係，試著想一次就曉得多麻煩，沒教過學校會很難這種「分配力學」。

做不到的人可以反過來，從希望達成的目標去反推該做什麼，這個業界也常做。那就是，你覺得我們哪些產業，或是未來需要哪些能力，必需在教育上立刻改變？

例如「半導體業是國家未來重點項目，所以要增加基層作業員素質，故全國技職體系都該開設鍍膜工藝、真空技術、現場操作技巧，所以今年就該鼓勵現場工程師轉職，進修教育學分後，分發到高職開始進行高強度的基層訓練。」(從爆肝工程師變成爆肝技工的概念)

或如「綠能產業是未來重點，所以國中理化課程應該大幅增加相關內容，電磁學要放到國二，基礎理化放到國一，生物課程另開，增加時數從文科挪走。並在國三大幅增加實驗課程，除高中以外，高職開設新的電力與製造工程師課程。」(人社科去死的概念)

不然喔，永遠只是在那邊憂國憂民，因為憂的範圍超級大，所以基本上台灣所有的問題都可以被囊括進去，可以給抱怨者宇宙無敵大的憂國情懷，卻沒有半個人可以提出具體解決辦法。

但不去討論實際運作的狀態，多數人都只是看著小孩課本，抱怨怎麼內容變那麼簡單，然後看了新聞說XX國很強，就反射認為都是課本教壞，這種想法沒有意義啦。

沒篇幅了，所以我這邊就提一個問題，看有沒人會想討論，之後再來講：
我們教育究竟是要傾向全民篩選制，還是積極放長線釣大魚的概念。這兩者雖然可以並行，但若全力推動一種，另一種就會被當成不公平喔。

您、我每天都在創造大數據，可惜我們沒有收集大數據，或還停留在不知怎麼收集的階段。少部份人手上都有大數據，卻不知如何分析這些資料。當世界都在談大數據變黃金時，從馬雲到釋昭慧都侃侃而談，您還能不懂什麼是大數據嗎？您也許已經聽過無數的大數據神話，但對於大數據仍停留在一知半解階段嗎？美國歐巴馬政府將大數據視為「21 世紀的新石油」，是「挖不完的金礦」，您、我也該開始學習大數據分析了。
本課程以Excel Power BI做大數據分析為題，先知道大數據是什麼、大數據分析方法、視覺化呈現結果，是一種最容易上手、簡單易學的方法。首先以提升管理品質為目標，期進一步能做到服務層級，並達到提升工作效率。期待結合更多的開放數據，讓大家都具備大數據分析能力，提升國家的軟實力。

用Excel Power BI做大數據分析(II)
您、我每天都在創造大數據，可惜我們沒有收集大數據，或還停留在不知怎麼收集的階段。少部份人手上都有大數據，卻不知如何分析這些資料。當世界都在談大數據變黃金時，從馬雲到釋昭慧都侃侃而談，您還能不懂什麼是大數據嗎？您也許已經聽過無數的大數據神話，但對於大數據仍停留在一知半解階段嗎？美國歐巴馬政府將大數據視為「21 世紀的新石油」，是「挖不完的金礦」，您、我也該開始學習大數據分析了。
本課程以Excel Power BI做大數據分析為題，用 Excel Power BI 做大數據分析，先知道大數據是什麼、大數據分析方法、視覺化呈現結果，是一種最容易上手、簡單易學的方法。首先以提升管理品質為目標，期進一步能做到服務層級，並達到提升工作效率。
。期待結合更多的開放數據，讓大家都具備大數據分析能力，提升國家的軟實力。

用 Excel Power BI 做大數據分析
從Excel到Power BI，怎麼做大數據分析?
認識大數據、大數據分析、視覺化呈現結果，提升管理品質，有效提升工作效率。易學、易懂，讓數字說話。