為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

停課期間能開⭐西班牙JoanMiro美術用品團真是太天降甘霖了!
➡表單: https://p4.groupbuyforms.tw/f6pig
➡時間: 2021/06/03(四)~2021/06/09(三)
覺得自己用電繪太久很少接觸實體畫具，沒想到現在畫具日新月異超多新奇的東西(也可能有很久了我都沒發現)，能夠跟小孩一起體驗不同的畫畫方式來表現創意，也增加更多觀察力跟注意力真的是很有趣。

🟡絲滑蠟筆&可水洗彩色筆
最推薦的也是最基本的著色用具，最熱賣的 #美樂絲滑蠟筆，蠟筆採購天然無毒顏料，成分溫和，外型也經過特殊設計，兒童好握好拿，連筆蓋也為避免被誤吞而設計了透氣孔防止窒息，也太細心了吧!(但希望不會有發生的一天)，重點是塗起來真的超順超滑，連沒在畫畫的彎尪都說超好畫好療癒喔，之前圓仔用別的畫筆塗色後還會甩手說手好痠喔，用這個絲滑蠟筆完全不費力、超顯色，讓畫畫變得超有成就感!

而 #可水洗彩色筆 也是好著色，可以畫更細膩的圖案，筆頭跟筆尾都有顯示顏色，讓你放在筆筒中也好找顏色，都是畫畫的好工具!重點是跟絲滑蠟筆一樣都好清洗!!!不會讓你畫一次圖就毀一次衣服或家具!

🟠液體粉筆
而 #液體粉筆 我也覺得很神奇，明明超顯色的但卻一擦就掉了，根本可以畫在各種地方，也避免了使用真的粉筆而滿手粉塵的麻煩!(但畫地板的話我還是會用真的粉筆啦XD不然太傷了)

🔵手工恐龍模型DIY
還有我個人也覺得超好玩的 #手工恐龍模型DIY ，讓小孩體驗模擬挖掘化石的過程(重點是挖超久讓大人可以清閒好久好划算)(喂)，我之前在某博物館就買過類似的玩具，但可能買到品質不好的還是怎樣，敲起來超難敲，而且裡面是一整隻的恐龍敲完就沒了，而這款是從挖掘、清洗、拼裝組合後還可以擺玩模型，跟真的挖恐龍化石一樣(但我也沒真的去挖過就是)根本是一個玩具有四種玩法是出奇蛋的概念。

🖌其他還有更多品項可以看相片解說，或是到表單內作更多的挑選!
各位爸媽快來補充彈藥!一起努力度過這段停課時間吧!
#滿2000免運
#各種組合優惠

((開團)) Mideer拼圖/桌遊2021新品團來啦!!
🔺下單網址→ https://bit.ly/3f5YjPm

這次Mideer拼圖&桌遊團，品項多達近200項! 尤其拼圖類非常多，大家真的閉著眼睛都能買到一堆好貨! 主要就差在圖案、大小、和片數而已，但Mideer拼圖真的沒有雷，真的隨便挑都是好貨的概念!

新品也有不少好玩的桌遊，除了上次 #32合1桌遊 之外，這次也推出精簡版的 #16合1桌遊，一盒就可以玩到很多款遊戲，是必需要備著的一盒，無聊沒事的時候，隨時拿出來就可以玩!

繼年初的50款爆量新品之後 Mideer太狂再一波，這波數量也不容小覷，這次除了有LEVEL1~7的拼圖新品，還有全新LEVEL8的500片up拼圖、甚至出現了千片拼圖!!

不過拼圖年初那批真的已經推出超多款式了，這次的新品很大量是以桌遊類為主，而且款款都有多種玩法，完全很符合Mideer高CP值的品牌定位!

/

🔥拼圖簡單分齡參考
#2y以上
六合一拼圖(內含6組3~8pcs拼圖)
幾何認知拼圖 (內含7組4~5pcs拼圖)
數字啟蒙拼圖 (數字1~5、各1～5片拼圖組成)
階段拼圖LEVEL1

#3y以上
藝術拼圖 24pcs
數字時鐘拼圖 25pcs
大地板拼圖 28pcs
異形拼圖(動物巴士) 28pcs
四合一拼圖(12/16/24/32pcs)
童話故事拼圖 36pcs
環形軌道拼圖 38pcs
字母地板拼圖 52pcs
探索拼圖系列 35~42pcs
動物藝術拼圖 48pcs
階段拼圖LEVEL2~3

#4y以上
手提盒拼圖 104pcs / 100pcs
藝術創意拼圖 100pcs
桶裝拼圖 150pcs (世界動物+森林的一天+穿越太空)
手提行李箱拼圖 180pcs
大象藝術拼圖 280pcs
恐龍藝術拼圖 280pcs
階段拼圖LEVEL4~5

#6y以上
動物變裝派對 500pcs
森林中的盛宴 528pcs
天馬行空 530pcs
傲游天空的鯨魚 530pcs
魔法相簿 530pcs
夢幻地平線 1000pcs
階段拼圖LEVEL6~7

/

#桌遊系列推薦

🔥32合1的桌遊(3y+)→ 一盒裡面就高達32款桌遊可以玩，年齡大小通吃，是一款在任何聚會拿出來都會大受歡迎的桌遊、而且可以讓好幾組人同時玩哦! 我想不出有任何不推薦它的理由，因為它實在是太超值了!!!
(新品還有16合1的精簡版哦!)

🔥 五合一叢林冒險方塊拼圖(5y+) #這盒必買 → 這盒是我近來玩到最好玩的一盒, 適合大班以後~中低年級, 有一個人的挑戰題、也有兩個人的對戰題，使用指定的積木，像魔術方塊一樣把空間填滿，越高階的就要用越多塊的積木去拼，對戰玩法更是刺激好玩! 可以大人小孩、或是兩個小孩一起玩哦!

🔥 怪獸冒險趣(5y+) → 有一點像七巧板或是形狀積木的概念，題目有從LEVEL1 ~4 四種等級的難度 題目高達6、70題 很好玩! 必需拿手邊的磁鐵來試，擺上去要完全符合題目的顏色和形狀，LEVEL1很簡單，只會用到兩塊磁鐵，再來第二階段就會用到3塊磁鐵…一直到第四階段則會用到5塊磁鐵

🔥 動物叢林迷宮遊戲(5y+) → 難度完全不輸前面那款 而且到後面真的很燒腦，一樣有分成LEVEL1~4的等級，每一張小磁鐵上面 都是一條道路 有直走、轉彎、十字路口…等等，遊戲的任務是像在走迷宮一樣，一開始只要做出一條路讓A去找到B就可以，後面的級別會開始出現 要讓A能去找到B、 還要讓B能去找到C…

🔥 動物配對樂(4y+) → 先各自抽出一張卡牌，然後擺在自己前面、不要讓對方看見，接著就開始輪流提問，看誰能最快猜出對方手上的那張卡，提問的內容只能是 有沒有、是不是、對不對 比如說 : 他有戴眼鏡嗎? 他身上有斑紋嗎? 不能是 : 他是什麼顏色? 他耳朵是什麼形狀? 利用自己問的問題刪除不符合條件的人，最後找到正確的那個人!

🔥 購物模擬遊戲(3y+) → 這盒除了可以玩商店物品的分類、還可以玩買東西遊戲、記憶遊戲和算錢找錢的遊戲哦!

🔥 記憶棋秘密花園(3y+) →這款有6個活動底圖可以更換 還是質感超好的木製，是6合一的記憶遊戲棋盤哦

🔥動物猜謎卡(5y+) → 這款可以訓練口語能力、問題邏輯、敘述及表達能力的超好玩桌遊，每一個年齡層有不同的玩法，沒有一定的遊戲規則，只要符合孩子當下的語言及認知能力即可~~

🔥絕對推薦的瑜珈遊戲→ 陪孩子一起玩瑜珈，骰到什麼動作就做什麼，除了2款需要8歲以上才能進行的動作之外，其他都是3歲以上的孩子就可以一起挑戰的哦!!

/

#遊戲與DIY系列推薦
🔥數字海報貼貼樂-世界地圖 ，概念有點像我們玩的數字油畫，只是變成小貼紙，小朋友可以依照地圖上的數字 貼上貼紙，每個區域都會有不同的特色安排，像是高山、下雪、綠樹、熱帶植物或是足球運動…等等，孩子可以邊貼邊認識世界哦

🔥DIY系列的3D立體動物DIY、派對面具DIY、活動人偶DIY、紙飛機DIY、 膠帶貼貼圖畫書等，是中大童喜歡的系列唷

🔥幾款馬賽克貼畫是3~5歲的小童打發時間的好工具，貼上正確顏色形狀的貼紙，完成一幅美麗的藝術創作!

/

Mideer一直是高CP值、高質感、豐富多變的代名詞，在拼圖界更是首屈一指的領導品牌，每一幅拼圖都是美麗的藝術品，從幼幼2歲的入門拼圖，拼數字、拼形狀認知、拼動物車車…等，到小童的地板拼圖、10幾片~30幾片的入門拼圖，一直到中大童的百片拼圖，這次2021年新品更是多了高pcs數的拼圖(280pcs和530、1000pcs)

更別說拼圖裡還有分長拼圖、圓拼圖、地板拼圖、有放大鏡的探索拼圖、有形狀的造型拼圖、或是藏著基礎認知的概念拼圖，品項的豐富程度讓人大開眼界，如果你想買拼圖，絕對不能錯過這一團，我每次開團 幾乎大家的訂單都是5盒以上在下單的，因為CP值真的很高、而且種類好多好好買!!

除了拼圖類之外，Mideer更有繪畫系列、桌遊戲列、工具台、故事投影儀 等等，種類多到數不完，大家可以依照分類前往圖文分享看詳細內容唷!

/

#本團客服
*[廠商Line客服] :搜尋「@pearbear」(須包含＠)
或手機直接點→ https://line.me/R/ti/p/%40pearbear

#本團出貨時間
本團現貨產品預計於[收團後5/31]陸續安排出貨
預購商品大約6月底陸續出貨
⚠現貨會先拆單寄出
⚠預購等到齊後另外寄

#本團運費
滿2000元免運費，未滿額運費100元(本島以外請LINE客服)

/

5/24~5/30 Mideer拼圖/桌遊2021新品團來啦!!
🔺下單網址→ https://bit.ly/3f5YjPm

✅圖文分享(最新)→ https://reurl.cc/e90KMK
✅圖文分享(2021新品 part1)→ https://reurl.cc/o9NEA3
✅圖文分享(拼圖類)→ https://reurl.cc/9zE6dY
✅圖文分享(非拼圖類)→ https://reurl.cc/GkV5zy
✅圖文分享(大師聯名款)→ https://reurl.cc/d0pMa6