這篇文章，騰訊工程師介紹了深度學習在遊戲中的應用。

AI這個議題，雖然很早以前就已經提出，但真正火的是在圍棋大殺四方之後。最近雖然有些沉澱，產業界對於AI的用法與探索一直沒停下腳步。

這篇文章的第一章：「什麼是深度強化學習」。對有些人來說可能有點不太理解，我簡單說明一下概念。

假設我想要訓練AI自動玩一個簡單的對戰PK遊戲。

1)確認要玩好一個遊戲的目標：譬如三星過關。
2)確認過關所需要的參數有哪些，給予不同參數權重：譬如移動、攻擊、防禦時機等等。
3)匯入大量的過關卡的數據。
4)有些數據不會過關，有些數據會過關，在這個過程中AI會調整參數的權重，影響過關的權重就會調高，不影響的就會調低。
5)最終AI慢慢試錯學習不同的權重組合，達到100%過關。

而在這篇文章中，作者提到了騰訊正使用AI來完善以下幾個方向，甚至已經放到QQ飛車(極速領域)等遊戲測試：

●BOT AI。譬如《極速領域》賽車的對手NPC。
●Procedural Content Generation (PCG) 自動化的生成遊戲內容。
●角色動畫。
●遊戲內推薦購買商品。
●最適合的廣告推薦組合。
●智能客服。

--

就營運角度來說，這些都是很重要的發展。

以BOT AI來說，傳統的做法是幫NPC寫腳本。但開發者不太可能寫出幾千種的腳本，因此玩家在遊戲過程中很容易摸索出NPC的行為而感到疲乏。

譬如射擊遊戲，AI對手常常被玩家詬病太過僵硬與呆版，但很多新手玩家卻又打不贏老手而流失。如果AI對手能仿造正常玩家的動作，又能針對每個玩家的能力提供適度的"挑戰"(譬如每場KD值目標為70%)，那營運商就不用一直導入大量的真人玩家，以維持健康的競爭環境。

PCG則能協助開發商擺脫持續產出內容的惡夢。最近流行的Roguelike玩法，也是藉由變化的遊戲內容，降低開發商對於後續版本開發的壓力。

角色動畫這點的發展則挺讓我驚艷的。所有的AI訓練都要想辦法找到"誤差值"，也就是「行為結果與正確結果的差異」。如果光從Youtube的影片中，就能協助AI動畫進行學習，那就能減少使用動態捕捉獲得數據的高門檻，加快AI的訓練發展進程。

遊戲內推薦購買商品這個就不用說了，簡直是營運的夢想。玩家隨著遊戲進程往往有不同需求，但活動只能提供一套一直是最困擾的問題之一。都已經LV100口袋滿滿還看到商城的小體力丹只能讓玩家吐血，AI推薦也許能真正做到遊戲電子商務化。

至於文中所說的最適合廣告訊息推薦組合嘛....容我吐槽一下，只有在中國家大業大等於你家的騰訊才能做到吧XD，微信、QQ、WeGame、包含支付這種遊戲生態鏈共屬一家的狀況實在太獨特。不過現在的確很多休閒小遊戲廠商的線上廣告導入，都號稱有使用AI來找出最佳組合。不可否認也是未來的方向。

--

如果觀察AI對於營運或研發的發展走向，我認為是「極度客製化」。亦即作到每個玩家的遊戲關卡、對戰對手、商品清單，都完全符合並且客製化其難度。

不過這些方向都比較偏向單一玩家的需求。當把玩家與玩家之間的關係，團體與團體之間的關係考量進去，「客製化」與「公平規則」之間的權衡，應該是人類需要代替AI去思考的課題。

希望我們未來都能好好使用這些AI，而不是被它們所取代。

#AI
#遊戲AI
#No51

使用正弦化的強處就是它配置了較長的時間幅度，天生就具有過濾雜訊的特徵 ( 時間本身就是一種高效的濾鏡 )，因而結構簡單。簡單的系統才有良好的多商品穿透性，因為過度的走勢型態濾網及多參數最佳化達到的往往只是表面上的回測績效，這類策略多是建構在看圖說故事，獲利是虛構出來的。

《策略三個層次：架構、進出場點、濾網》

「是否值得買進？」
「什麼時候買進？」

這是兩個完全不同層次的問題。但大多時候被當成同一件事情在處理。

舉個簡單的例子：
「周KD>80」「日KD<30」
是買進時機?

但這兩者並非同一件事情。
事實上，
周KD(長期強勢)判斷是否值得買進，
日KD(短期回檔)判斷才是判斷買進的確切時機。

好像還少了些什麼。

因為在這之前隱藏了一個假設，
「假設價格序列存在某種規律性。」

在這個例子中，是"假設強者恆強"的價格規律性。

這個假設的重要性在於，它是判斷這個策略未來是否有效的重要依據。若未來的價格序列因為某些原因，失去強者恆強的特質時，使用的資料或指標必須足以辨識這種現象...凡事都要從最壞的開始打算起。

當周KD是作為市場價格序列規律的假說時，它就是一種「架構」

【架構】　setups
用作判斷是否進出場與方向的準則，但通常無法辨識進出場點。這準則通常包含：
1.極端現象
2.市場規則
3.市場基本價值
當然，這都不是100%掛保證，因為資料多是落後且不保證正確的，它對未來當然有一定的預測能力，只是沒你我想像的那麼高。儘管如此，也足夠我們取得在市場中的優勢了。

再舉另一個反差的例子：

「5年平均現金股利>2元」「月營收連3月成長」
...然後就買進?

顯然，你不會把公布股利或公佈營收的那天當作進出場點。

並不是因為時間架構太長不適合當作進出場點(如果你的交易是以年為單位或許可以考慮)，
這些基本面資訊，只是用來判斷「是否適合進場買進?」的架構，但卻不包含「是否是買進時機?」，也許是一天後、十天後、一個月後，顯然，它可能需要另一種方法來判斷進出場點。

【進出場點】
進出場點的意義有二，
一是時效性，架構只根據價格或其他資料，提供了適當的進出場判斷，但大多時候並沒有包含時效性。許多架構使用一年一次或一季一次的資料，顯然不適合拿來做為進出場時機的判斷。
這也是有些時候進出場點被認為不重要的原因，有些人甚至主張隨機進場，因為如果架構時間週期太長，那顯然進出場點就幾乎難以對績效有所影響。反之而越短的時間週期下進出場點的意義就越重要。

二是與市場行為相互印證，你的架構並非隨時都是非常準確有效，但當它有效時，市場同時也會做出相應的走勢。許多順逆勢策略就是建立在這類假設上，舉例來說，想漲到500日高點的個股，必須得先經過100日新高。當然，這初步走勢也可能只是假象，不必過分樂觀。

【濾網】
是用來避免進出場訊號過於頻繁(實際上架構也有這功能，但用架構當濾網是倒果為因的想法)，或者篩選過多雜訊的進出場點。
架構跟濾網很像，差別在於，濾網通常使用與進出場點同樣的資料(因為要過濾進出場點)，而架構則可能包含各種各樣的資料(例如基本面資料、籌碼資料、價格波動資料等等)。

-\-\-

實際上，架構、進出場點、濾網都只是整個交易系統的一小部分，尤其是進出場點和濾網某些架構下甚至用不著，它對績效的影響程度並沒有一般人想像的那麼高。

架構是個很容易判斷，容易建立，也常常在書上看到的東西，但一般來說它會被誤當成進出場點用，以至於讓人忽略進出場點的存在。
它的內容對整體績效影響不大，但它的有無以及完整性則有巨大的影響，而且是一般大多數人欠缺考量的。

也有些人容易本末倒置，認為進出場點決定了一切，因此重複嘗試著不同的濾網和進出場點的條件與參數，許多過度最佳化的鬼故事就是這樣來的，其實一個已經存在架構了進出場點參數，是不大需要做調整的。
將架構當成進出場點或三者混再一起當成同一件事，只會造成系統的不客觀以及難以實際運行。它無法判斷是否有效或評估退場機制、沒辦法適應市場改變，只因為沒有區別出架構。

下次將分別細說架構與進出場點的內容。

延伸閱讀：
《風險管理和資金管理的差異》http://ppt.cc/Z4Ir
《如何發展策略?》 http://ppt.cc/l-7z
《談回測-退場機制》http://ppt.cc/M-dL