為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

▍工業製程居然能用 Python 做優化？

Python 語言易學又強大，近年不但頻頻挑戰常居第二名的 Java 語言，還成為 AIoT 智慧製造的關鍵技能？想快速掌握 #智慧製造 #機器學習 應用實務，現在正是進修好時機！

立即報名 https://supr.link/sPDp9

工研院《Python工業連續製程分析：參數指標、預測建模一把罩》
用 · 線上+實體 · 兩階段精實課程，教會你如何用 Python 從基礎應用到案例演練！

【數位先修】 學習時程彈性的線上數位課程，完整奠定基礎

🔹工業參數資料轉換
🔹資料處理與清理
🔹視覺化呈現數據結果

【線下實戰】活用案例與模型操作，並應用至實際的工業製程優化

🔹六大機器學習模型學習與操作（使用Linear Regression、Random Forest、XGBoost、GAM等）
🔹以敏感性分析找出影響品質與成本的重要參數
🔹藉模型損失函數完成模型最佳化調整

完成兩階段課程，你將能學會：
■ 品質及成本控管參數選擇
■ 重要製程參數篩選
■ 製程品質與節能的最佳化
■ 預測節流矩陣評估方案最佳的效益
．．．
課程已在工研院產業學習網上開設，現在即可報名，隨時觀看體驗新技能！
更多課程介紹：https://supr.link/sPDp9

【台北 | 07/15 #創變夜Live】感受到創造的巨大魔力嗎？
▶️區塊鏈與數位資產的跨域碰撞
🎤區塊科技 執行長 黃敬博 Po Huang

今晚的 #WorkFace 主題例會中，我們邀請 區塊科技 的 黃敬博 執行長，跟大家分享如何藉由「創造」不同以往的創新心態，在區塊鏈與數位資產領域，相互創造出的全新碰撞？

🌟讓我們一起回顧今晚的精彩時刻！

想想看你早上睡過頭的照片被偷拍，並且散佈到各處時，就算你即時要修圖美化一下，在區塊鏈上這張留存的圖片也無法被更改，這就是區塊鏈存證的簡單比喻！

「而在了解區塊鏈技術前有兩個基礎概念要先認識。」Po 說到，那就是數位指紋與智能合約。

所謂數位指紋，指的是把一堆資料使用數學函數計算之後的結果。資料中只要有一個byte不同算出來的「結果」就會不一樣，該「結果」就可以視為是那「一堆資料」的「數位指紋」，是用來確認檔案的身份的實際應用方案。

而智能合約則是在區塊鏈中的執行程式碼，只要滿足特定條件就能觸法智能合約的自動執行，提供驗證及執行合約內所訂立的條件；利用區塊鏈的特性可以維持他不易串改的特性，讓程式碼保持公正透明公開。

✅如何「創造」區塊鏈與數位資產領域跨域應用？

數位證據常見的疑慮，是容易被串改或不小心被刪除，要怎麼確保數位資料原始性，就仰賴數位指紋與區塊鏈的應用，以共有鏈提供的金鑰，與私有鏈人臉指紋辨識等技術，讓區塊鏈數位證據存證的系統可以做到保證數位檔案原始性、提升數位證據有效性與拓展數位資料蒐集型態的應用！

而區塊科技主要專業領域，是提供檢警調單位現場蒐證應用，包含手機存證與電腦存證針對執發現場與資安蒐證的工具支援；在toC的層面則是應用發展在企業級的存證與簽約服務、智慧財產權的驗證、數位存證信函等貼近民生的日常數位存證需要。

❓在疫情中，區塊鏈數位存證能為生活帶來什麼改變？

拿存證信函為例子，現在不能出門的時刻，如果需要這樣的服務該怎麼處理呢？

區塊科技以區塊鏈數位存證技術，提供24小時無需實體的第三方公正存證系統，就可以化解疫情間不便出門的窘迫情境，同樣出發扁的還有公司端的數位合約簽名存證，過程中甚至會紀錄收雙方通知的時間，與同步提供合約電子檔案、合約歷程紀錄與以太坊交易頁面，方便法律上舉證有效進行！

🗯連續創業者的領悟和心得

「我想任何的創業都是要找到志同道合的團隊，並不是說需要多優秀，更多的是整體團隊合作的協調性！」po分享到，找到對人選，絕對是創業成功的必要條件！

在創業項目上，則是需要關注在解決問題的可能性，像是數位存證就是關注在未來的趨勢預備跑道中，不過雖然解決議題具有前瞻性觀點，但當下的公司存留其實更加仰賴推廣宣傳的力道，因此區塊科技在這方面積極的與政府單位合作，推動數位資產的留存與培養其使用習慣。

在創業後，更要不厭其煩的符合法規與政府要求，同時規劃短中長期的規劃，力求貫徹執行才不會使計畫落為空談；因應局勢調整，則是這個時代不論大小公司都要面對的議題，當中能夠使你的團隊脫穎而出的即是有效的溝通模式，最後建立該領域中的指標性地位，更是後期能否快速發展的重要里程碑！

#創造 #週四主題例會 #WorkFaceTaipei #創變者社群

VBA到Python程式開發202101第10次上課

01_重點回顧與JSON資料勞退收益率
02_國內主要經濟指標與解析XML
03_下載與儲存XML檔與解析並存為CSV檔
04_將GOOGLE雲端當CSV來源
05_安裝b44套件與下載TQC網站
06_TQC網頁資料擷取基礎

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2021_1

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 110/4/27

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

VBA到Python程式開發202101第10次上課

01_重點回顧與JSON資料勞退收益率
02_國內主要經濟指標與解析XML
03_下載與儲存XML檔與解析並存為CSV檔
04_將GOOGLE雲端當CSV來源
05_安裝b44套件與下載TQC網站
06_TQC網頁資料擷取基礎

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2021_1

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 110/4/27

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

VBA到Python程式開發202101第10次上課

01_重點回顧與JSON資料勞退收益率
02_國內主要經濟指標與解析XML
03_下載與儲存XML檔與解析並存為CSV檔
04_將GOOGLE雲端當CSV來源
05_安裝b44套件與下載TQC網站
06_TQC網頁資料擷取基礎

完整教學
http://goo.gl/aQTMFS

吳老師教學論壇
http://www.tqc.idv.tw/

教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2021_1

課程簡介：入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介：進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰：PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠

上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著?
出版社：碁峰? 出版日期：2016/11/29

Python程式設計入門
作者：葉難
ISBN：9789864340057
出版社：博碩文化
出版日期：2015/04/02

吳老師 110/4/27

EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境