為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

亞洲週刊：
【華為宣佈：5G時代到來！蘋果終結和美國霸權的消亡！】

當所有人都沉浸在iPhone 8 的消息中時，一條德國電信發佈的消息，席捲並震驚了整個歐洲——中國華為，正式推出5G網路！

據報導，德國電信已經正式宣佈聯合華為公司推出全球首個5G商用網路。這是全球第一個推出完整5G網路技術的政府和企業。

什麼是5G？

世界通訊技術先後經歷了2G、3G、4G幾個重要時代：
第一代是模擬技術；
第二代是2G，實現了語音的數位化；
第三代是3G，以多媒體通信為特徵；
第四代是4G，通信進入無線寬頻時代，速率大大提高。
第五代就是5G，最大特點就是實現了高頻傳播！

5G究竟有多快？

4G和5G相比，簡直就如同龜兔賽跑！
5G的網路傳輸速率將是4G峰值的100倍！

這意味著，在5G時代一部超高清畫質的電影1秒內就可以下載完成。

現在華為打破了歐美國家長達20年的國際通訊技術大封鎖，也告訴世界，核心技術不再是西方的專利，核心標準也不再是西方企業大肆斂財的手段！

提到5G，不得不提華為稍早前誕生的“神器”——麒麟970晶片。
該晶片就配置了世界上首款准5G網路基帶，最高支援到LTE Cat.18，移動網路的傳送速率至少是高通晶片的兩倍！

麒麟970還包含了55億電晶體，差不多只有一個指甲蓋的大小。更高的集成度往往意味著更高的性能和更低的發熱量，足以跟世界上的頂尖晶片叫板。

由於5G的功耗將低於4G，從而帶來一系列新的無線產品，所以更多智慧家居設備和可穿戴計算設備，因此它還是世界首個AI晶片，是全球首款內置神經元網路單元（NPU）的人工智慧處理器。

比規模類似的CPU快25倍，同時功耗效率降低50倍。例如在NPU的加成下，拍攝1000張照片僅僅消耗手機0.19%的電量。

中國5G，正在制定世界標準！

按照業界預計，2020年5G將開始全球範圍內商用。

而現在中國通信核心技術終於第一次佔領至高點，終於完成了彎道超車！並且正在制定5G的世界標準！

5G——WIFI將“消亡”？
如果我們用上了5G手機，那麼快的網路，就不會再每到一個地方就去尋找WIFI了，用戶可以無縫、平滑的在任意空間過渡，省去了切換網路、輸入密碼等繁瑣步驟，WiFi很可能“消亡”。

在5G時代華為很可能一統天下。因為在3G、4G時代，有美國、歐盟、中國等不同的網路制式，因此出現了各種不同制式的手機，給消費者造成一些困擾。為到了5G時代，消費者只需要一種制式的手機就可以包打天下了，這也就意味著華為很有可能獲得極高的國際地位！

這項核心技術的超越，將使中國互聯網的發展如虎添翼！

5G時代——萬物互聯，互聯網將消失？

5G的真正意義在於：為萬物互聯打下基礎！
水木然認為：如果說3G和4G使人與人相聯，那麼5G將使萬物互聯。5G能將萬事萬物以最優的方式連接起來，這種統一的連接架構將會把移動技術的優勢擴展到全新行業，並創造全新商業模式。

未來的世界裡，每一件物體都有感測器，利用5G實現資料交互，人、花草、機器、手機、交通工具、家居用品等等都有獨立的IP，一切物體都可控、交流、定位，彼此協同工作。世界上幾乎所有東西都會被連接在一起，超越了空間和時間的限制。

屆時將形成一個更包容的“大生態系統”，也就是萬物互聯。這個系統的規則會更加清晰明瞭，“主觀”情況干擾會越來越少。我們知道跟“人”打交道是一件最複雜的事情，因為人的七情六欲會時刻影響一個人的行為，“人性”在很多時候往往是一種阻礙。

但是在未來，人和物、物和物之間的主要溝通將依靠資料，這是一種很客觀的東西，它將會遵守我們已經制定好的規則，這也會幫人類省去不少煩惱，人們會感覺越來越輕便、輕鬆。這也就是一種大網無網的狀態！

中國正在彎道超車！正如水木然一直所言：

互聯網，使中國在第四次工業革命中有了彎道超車的機會！百度追求的是連接“人和資訊”；阿里巴巴追求的是連接“人和商品”；騰訊追求的是連接“人和人”BAT聯合起來的追求就是：將“人”、“資訊”、“商品”三者互相連結起來！

Illustrator的曲線工具可簡化路徑的建立，並且讓繪圖變得簡單又直覺化。這項新工具讓您使用單一工具，即可建立、切換、編輯、新增或移除平滑點或是圓角點。您不需要切換使用不同的工具，就能快速又準確處理路徑。

吉他範例檔- https://goo.gl/mfYqWC （Adobe提供公開下載）
錄影版本：Illustrator CC 2017 Mac繁體中文版

~~~
| 訂閱頻道 |
https://goo.gl/NZzSgM 只要有新影片上架，你就會收到通知，立刻可以觀賞內容。

| FB | https://www.facebook.com/jimmyh519/

| 好學校 |【Photoshop最重要的基本課】 https://hahow.in/cr/jhsiapscc