為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」

作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |

DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。

DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。

但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。

多任務宇宙

DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。

每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。

複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。

比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。

再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。

這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。

基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。

來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。

終生學習

數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。

具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。

邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。

DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？

DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。

訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。

怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。

新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。

當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。

DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」

智慧初現

最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。

來看具體例子。首先智慧體學會臨機應變。目標有三個：

黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板

AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。

第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。

因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。

經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。

DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。

往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。

資料來源：https://technews.tw/2021/07/30/deepmind_xland/

新竹州圖書館將要有無障礙坡道囉！
親子、長輩和身障朋友入館參觀更easy
　
新竹州圖書館開幕的第二天，我接到一位媽媽的陳情，說要進入州圖參觀時才發現沒有無障礙坡道，所以只好扛嬰兒車上階梯，她發現有好幾位家長也不得不這麼做，在階梯前大包小包人仰馬翻。
　
我也在隔天到現場了解狀況，現場其實是有無障礙設施指示，引導到旁邊的小巷入口，入口是常態關閉的，需要有專人來開啟鐵門。
　
現勘時很幸運地遇到文化局長，局長表示避免古蹟立面的破壞，故採用目前由工作人員協助引導的方式。
　
子齊身為文史愛好者，當然瞭解文資保存上要避免多餘的破壞，但也認為親近文化資產是每個人的權利，不管是孩童、長者和身障者都有推車的需求。
　
其實在國外已經有非常多的例子證明 #無障礙化也可以兼顧歷史建築的美觀與實用。
　
我尋找日本相關研究報告和國內報告，其實有許多種無障礙化方式，我們研讀後 #推薦市府在立面的側門設置「#移動式斜坡板」：無需破壞現有建築結構，不佔空間、組裝容易、操作簡單，可尋找合適廠商或設計不破壞建築美觀的斜坡板。
　
今天文化局長主動和我說 #正在請廠商設計一個不會影響立面美觀的「#固定型無障礙坡道」，設立於立面的側門處。除了感謝局長積極採納我的意見外，我也再次反映 #未來古蹟修復、#開放民眾參觀都需要考慮到無障礙化的設施以及動線設計。
　
期待美觀又實用的坡道，完工後再和大家分享喔！讓新竹市成為一個真正對所有人都友善的城市，子齊會繼續導入更多通用設計思維，我們一起努力。
　
　
————
延伸閱讀
定期會質詢：公園周遭人行道設施，應比照營建署107年最新的設計規範做通用設計
https://reurl.cc/A8ba0Y
　
————
資料參考
(1)日本文化廳文化財部製作「古蹟和歷史建築無障礙化範例（文化財の活用のためのバリアフリー化事例集）」https://www.bunka.go.jp/seisaku/bunkazai/hogofukyu/pdf/barrierfree_jireishu.pdf

(2)2012年10月臺灣建築協會會刊雜誌「古蹟歷史建築 無障礙設施改善」http://www.architw.org.tw/ftp/magazine/mag68/68th32.pdf

一步一腳印走在 #北投 #天母 地區，高高低低坡道讓婉鈺不解，政府推動無障礙空間多年，為何到處仍可見「不友善」空間?

［🤓通用設計篇］

婉鈺擔任議員期間，發揮土木建築背景，打造板橋三大亮點！如今婉鈺想再一次利用所學所長進入立院推動無障礙空間政策，讓大家的生活更顯便利、舒適兼具美感，處處都是宜居的城市。
為了實踐無障礙空間，婉鈺前往 #自由空間教育基金會 拜訪 #唐峰正 董事長，並將請益內容與朋友分享，讓大家可以更認識小唐多年推動的「#通用設計 」。

👉🏻Part1：無障礙空間≠身障者
自由空間教育基金會董事長唐峰正-小唐，8個月大時因一場高燒罹患小兒麻痺，只看得到約100公分高的世界，但卻有個遠遠超越這個高度的夢想，長期關注並改善國內無障礙空間設置，為台灣通用設計的重要推手。充滿正義感的小唐，身為小兒麻痺的重症患者，全身只剩1隻手能出力，不論行到哪裡都需要靠輪椅代步，每當發現公共環境或是住辦大樓少了無障礙空間，就忍不住想「伸張正義」，還笑稱自己是身障界的柯賜海😂。

小唐：「#無障礙空間 ，不只限於少數族群，連老人、孕婦或臨時受傷的人都會需要用到。」
以往我們提到「無障礙空間」時，多半會讓人聯想到的便是斜坡道、身障專用廁所等畫面，總習以為常的將「無障礙空間」與身障者畫上等號。但事實上，除了身障族群之外，社會上仍有其他的群體有機會使用到這些設施，例如年長者、孕婦、幼兒、暫時性意外受傷等行動不便者等。無障礙空間是使健全者更加方便，老弱婦孺、暫時性受傷者得到輔助回歸人群。所以說，無障礙生活環境是為社會上你我每個人準備的， 當一個城市充滿「#無障礙設計 」則意味著方便所有人的生活，提升整個城市的生活品質。

台灣已經邁入 #高齡化 的社會，婉鈺深感無障礙生活環境對於政府的老人安養政策，生活品質的保障，以及社會保險負擔的舒解，都息息相關，落實無障礙生活環境刻不容緩。然而綜觀台灣無障礙空間的推動太消息，完全跟不上社會大眾的期待，應該列入優先政策推動，好讓台灣趕上歐美、日本的水準。

👉🏻Part2：走在時代的尖端--通用住宅：以人為本，從心出發-機能、美感兼備幸福宅
小唐：「讓房子從0歲到99歲都好住，是我推動住宅空間通用設計的最大目標，不是要縮短人與人之間的差距，而是提升每個人的生活品質」。
台灣推廣無障礙空間多年，許多人將「無障礙空間」與「通用設計」混為一談，分不清楚其中差別，其實通用住宅確保住民於三、五十年多能安定在同個住居空間，安心無虞因年齡或生理條件改變等等選擇狀態，不再面臨遷徙或者付出龐大的修饍成本，讓住居空間成為安全圓滿家園。

推動通用住宅房屋變貴？
其實若是建案裝設無障礙設計成本的確太高，等於得「3戶變2戶、2戶變1戶」，可銷售面積變少、不符合經濟效益，對開發商來說窒礙難行，但通用設計不用額外增加興建成本，仍能達到全齡化適用的效果，只要秉持「空間、容錯、直覺、公平、彈性、簡單、省力」等7大原則，盡量符合而不相牴觸，例如室內通道淨寬90cm以上、衛浴門淨寬75cm(預留照護者站立位置)、出入口無高低差。

小唐難過失望地說：「台北市真落漆，身為台灣第一大城市，通用住宅認證卻有四個，還不及新北市一半。」
台北市老屋比例最高、人口最稠密，柯市府任內推動的公共住宅迄今也僅有南港東明公宅1案取得認證，數量不及新北市府。
婉鈺認為民眾在乎的建築物美感，對於建築住居空間總是總是默不關心，然而政府卻不能不用心，需求更高的台北市不該喊假的，應帶頭以幫助社會經濟弱勢為主軸的公宅先行推動通用設計。

👉🏻Part3：處處人性化的通用設計商品。
在會後小唐開心地介紹通用設計商品，一個鋪墊可立即改善門檻高低，以利輪椅、推車等通行；一張小椅子隨著使用者坐姿不同，藉由本身設計減輕使用者出力；一枝筆藉由設計，讓人可以藉由以口、手、腳來 寫字….。
通用設計商品處處流露人性化的創意，它讓婉鈺驚奇，原來「通用設計」是指在最大限度範圍內，不侷限性別、年齡與能力，適合所有人使用方便的環境或產品設計，小從文具、日常用品大到交通工具等，例如：低底盤公車、可減輕購物手提重量的把手；便於殘障者或肌肉無力者、小朋友使用的安全剪刀；有凹槽、可集中殘湯的盤子等。婉鈺實在太感謝社會上有一群人默默的開發設計通用商品，讓我們的社會更美好。

這一次的拜會讓婉鈺受益良多，婉鈺跟小唐約定未來進入立院一定盡全力推廣通用設計，讓每一個人都能享有更友善、更自由的行動空間。
@唐峰正 小唐，也要記得您答應我要先來北投為我加油喔!

#3號李婉鈺
#婉鈺用心立委換新
#專業建設立委換新
#分享支持婉鈺 👍🏻
#堅持做對的事情 #讓這個城市更美好
#不為政黨不為派系只為人民
#歡迎加入並且分享婉鈺的Line給朋友
➡ http://nav.cx/4gKgUYf