為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

【贈書：掌握市場週期】

Howard Marks出新書了，以下是書中第一段的部分內容，我覺得每個有志投資的人都應該好好記住：

「我不認為絕大多數投資人可以因為預測總體經濟而成功投資，而且我肯定我是這樣。如果是這樣，那剩下哪些因素會產生成功的投資？雖然有很多細節與細微的差別，不過我認為把時間花在三大領域會最有成效：

1. 試著比其他人更知道所謂「可知的東西」，也就是產業、公司和證券的基本面
2. 根據這些基本面要素，有紀律的付出適當的價格
3. 了解我們所處的環境，而且策略性配置投資組合

前兩個主題已經有很多文獻資料，組合在一起就成為「證券分析」和「價值投資」的關鍵要素：判斷一項資產未來可以創造出什麼東西，通常是獲利或現金流，以及這些前景在當下賦予這個資產多少價值。

價值投資人在做些什麼？他們致力利用「價格」與「價值」間的差異。為了成功做到這點，他們必須（1）量化一項資產的實質價值（intrinsic value），及其可能如何隨時間改變，以及（2）拿目前的市場價格與資產的實質價值、資產的歷史價格、其他資產的價格，以及資產一般而言「理論上的公允」價格進行評估。

一般情況與長期來看，這也許是對的，但是我認為在這個流程納入另一個要素
會有益處，那就是為未來幾年內市場可能發生的事適當配置一個投資組合。

關鍵是如何「調整」（calibrate），你應該對投資的金額、在各種投資機會中的資產配置，以及所承擔的投資風險都進行規劃，不斷在積極型與防禦型投資間進行調整。當價值被低估時，我們應該更加積極，當價值被高估時，我們應該放慢腳步。」

書中很多地方都隱含著「在別人恐懼時貪婪，在別人貪婪時恐懼」這個觀點，市場樂觀時謹慎前行，市場悲觀時大膽進場。但Howard Marks並不是想教讀者如何擇時，因為「你無法預測，你只能做好準備」。個人可以藉由研究歷史週期，推測市場大概處在週期的何處，並做出對應的資產配置，提高長期的報酬率。

最後，好康的又來啦！商業周刊提供3本贈書，給大家抽獎喔，想要抽獎的請留言並分享此篇，一周後選出得主喔。

面對未知未來最好的武器—《掌握市場週期》

「掌握市場時機，提高投資勝算。」

大家好，我是威爾遜。關於投資，我們時常會聽到兩種爭論：一派人說，市場時機無法掌握，我們只能靠專業知識 + 好運氣來致富；另一派人說：市場時機能掌握，而且投資人必須試著掌握市場周期。誰對誰錯？

或許今天我要介紹的書可以告訴你答案~~〈掌握市場週期〉。

本書作者：霍華．馬克思說：如果你能對週期更了解一些，那怕只是一些洞察，你都可以提高成功機率，得到收益。💰

那，霍華‧馬克思是誰？他的話有這麼重要嗎？

首先，霍華‧馬克思橡樹資本的創辦人，底下資產有1200億美元。他經濟本科畢業，卻不流俗套，提出價值投資的洞見！還記得我之前分享的書：〈窮查理的普通常識〉裡的查理．蒙格。絕頂天才的蒙格，對本書推大力推薦。👍

投資重要的是對未來的金融做好準備：我們今天配置投資組合，希望能從未來幾年發生的事件中收益。

↠↠↠

接下來我會分四個部分，為你介紹本書的精華：

1.霍華‧馬克思的洞見

霍華‧馬克思的投資理念是：我們不知道未來的總體趨勢，像是經濟、市場、地緣政治等。只有我們知道的比別人更多的時候：擁有更好的數據、對數據擁有更好的解釋、知道採取什麼行動等，我們的預測才會帶來優異的績效。📈

他認為花時間在下面三大領域最有效：

A. 試著比其他人更知道所謂「可知的東西」，產業、公司、證券的基本面。

B. 根據基本面要素，有紀律的付出適當價格。

C. 瞭解我們所處的環境，並且策略性配置投資組合。

三大領域，正是談到「證券分析」跟「價值投資」的關鍵要素！✅

判斷一項資產未來可以創造出什麼？獲利或現金流(巴菲特非常看重現金流)，以及這些前景在當下賦予這個資產多少價值。

巴菲特說過他想要的訊息要符合兩個標準：必須是重要的，而且必須是可以理解的。

多數投資人無法分別訊息什麼是重要的，用一樣的資訊，用同樣的方法分析，得到相同的結論，那自然不會得到好的績效。🤷

而一流的價值投資人，他們會分辨「價格」與價值的差異。

A. 量化資產的實際價值(內在價值)，如何隨時間發展改變。

B. 拿目前的市場價格與資產的實質價值、資產的歷史價格、其他資產的價格進行評估。

霍華‧馬克思認為，配置投資組合除了納入最高價值的資產，還要為未來幾年市場可能的變化適當配置另一個投資組合。隨著投資環境的變化，積極性與防禦型的投資平衡要隨時調整。💡

↠↠↠

2.如何應對未來？

我先出道題目，讓你思考一下：假如一個罐子裡有100顆球，有些是黑色的，有些是白色的，那你要賭哪個顏色球會出現？🤔

假如你對這個罐子一無所知，那你只好猜，就是無知的投機！但是，如果你對罐子特別有洞見，知道裡面有70顆黑球、30顆白球，假設對方給你一樣的賠率(都是1賠1)，那你就猜黑球，長期來看你贏多輸少，有利可圖阿。

優秀投資人擁有知識上的優勢，所以他們更能掌握對未來的趨勢，即使他不能肯定下一顆球是什麼顏色，但是知道這個賭局，我可以投入。

霍華‧馬克思認為，對未來事件的預測，要知道這個看法被證實為正確的可能性。不是每個看法的正確可能性都是相同的。🙅

舉例而言：美國政府公債，你很有把握可以拿回利息；亞馬遜公司未來十年還是零售業龍頭？很有可能，但機率會比前者低一些；股票下個月會漲還是會跌？太難預測了，這基本上無法確定。

請你運用你豐富的知識、邏輯，建構一個系統的分析，做出正確的決策。👁

↠↠↠

3.週期的變化

馬克‧吐溫說：「歷史不會重演，但總有相同的地方。」

每隔一段時間，當上升趨勢或下降趨勢持續很長的時間，就會有人說：「這次不一樣」。他們會引用各式數據，認為舊規則失效，然而，週期是不可避免的。週期只是因為投資人無法記住過去的事，所以忽略。😯

2007-2008年全球金融風暴，不就是當時過度樂觀、缺乏風險趨避，每個人聽到有錢人靠房地產賺錢，就不顧一切忽略自己的承擔能力，用極低的價格瘋狂買房，作者稱為「恐慌性買進」。那為什麼沒有人有先見之警告危機呢？第一個是市場的警告訊號不明顯，二是忘記歷史教訓：1999年科技股泡沫)。

週期圍繞中點擺盪，但不太會停留在中點。一個周期的中點通常會被認為是趨勢、基準，平均值。但可惜的是，長期趨勢很難及時預測！比方說我們看道瓊工業指數從2009-2018年，2013年成長最多26.5%，2017年次好，25.08%；2018年最糟-5.63%，2015年-2.23%。只有2011、2012、2014成長比較符合長期趨勢，是5~7%。

所以，我們要跟時間做朋友，任何人都要依靠累積的經驗來獲取進步，要有耐心。⏳

↠↠↠

4.投資的關鍵

每個人都知道每天發生什麼事：媒體報導的事、財經部落客專文、甚至youtuber影片。但關鍵是，你有多努力去了解這些事件，說明了怎樣的市場參與者心理和投資氛圍，並釐清如何應對。💬

多數人聽了就相信，直接採用，而身為聰明人的你，請你…「推理」。

我們要了解周遭事情的寓意。當其他人義無反顧積極買進，我們要保持高度謹慎的態度；當別人驚慌失措恐慌賣出，我們要轉趨積極。

還記得〈股票作手回憶錄〉，我們介紹過的投機天才利弗莫爾的悲劇嗎？心理因素容易讓投資人自圓其說。腦科學可以解釋這一切：「人正常狀態不可能理性。」我們容易用過去的歷史，感性的做出一個若a則b的推斷，但現實往往跟「科學」推斷的結果迥異。

我們不用預測未來會怎樣，但請你留意各個事情，推理這些事情要你採取什麼行動，一旦偵測出極端狀態將發生，那就是我們夢寐以求的賺錢機會！💸

引用查理．蒙格的話：「無時無刻學習，讀超過投資領域的書籍：像是歷史。」訓練你的推理能力，打造你的多元模型，耐心等待時機，再全力一擊，你就可以獲得美好的回報。

↠↠↠

最後來說說我的評論：

價值投資的哲學的經典名言：「當價值被低估時，我們應該更加積極；當價值被高估時，我們應該放慢腳步。」

我認為這正可以應用在我們的人生。🔍

第一是、人生中難免起起伏伏。

當我們今天處在低谷、不得志的時候，我們應該積極以對，爭取有難度且適合自己的任務，發揮長才，來證明自己擁有這個價值，獲得上司的肯定，或到更好的舞台；當我們今天被吹捧到一個超出我們實力的高度時，我們必須了解自己的不足，謙卑以對，花時間努力把實力提升到符合的位置上，才有能力領導其他人，名符其實！

第二是、一般人有不節制的傾向。

比方說懶惰。有的人離開學校以後就會無止盡的發胖，因為不運動，他知道自己這樣不好，但不願意改變行為，累積久了，身體會做出修正(生病)，體重是下降了，卻讓身體付出慘痛的代價。

很多人要運動，一開始就立個高標：跑操場10圈，科學統計，第二天就放棄的人超過一半！我們要如何克服人的惰性呢？請透過培養「微習慣」來調整。

跑步好累好痛苦，也許先從快走開始，走個20分鐘簡單多了，或者，你可以刻意搭公車回家，在家前幾站下車，用探索未知美食的心情，逼自己走點路。👣

如果一個月後瘦了，請自己去未知美食店吃一餐犒賞自己吧！讓自己開心，人才有動力持之以恆堅持下去啊。

今天我的分享就到這邊。

感謝你的閱讀，我是威爾遜。「願學習成長的道路上，你我一起前行。」

我們下次見。