【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

重新玩 fallout 3 心得 - 計畫 perfect character

之前玩是玩到一半才有可以到level 30 的DLC, so i didn’t get a perfect all max stats character 。
現在玩就可以從頭計畫有SPECIAL 都 10與 skills 都到一百的character。
已經 start over 幾次了，試不同的build
我現在試的starting build （這些數值是最低可以得到遊戲裡最好的perks)
S 4 （可以用intense training +1， 變成5，perk需要S到5)
P 6 （後來任務可以得到 S或 P + 1, 其實只需要P到6，所以Intense Training 的一點放哪裡都可以)
E 6
C 3
I 9 (離開vault 馬上跑去 Rivet City 拿 Intelligence bobble head 變成 10，所以每個level up有20點skillpoints）
A 7
L 5 （後來得到的特別item 可以 +1 Luck, 可以符合需要 Luck 6 requirement)

然後選Comprehension 的 perk，可以讓閱讀的技能書再額外多給玩家一點數

到了level 30，玩家可以選一個perk叫做Almost Perfect, 讓你的SPECIAL都到9，（但是10 Intelligence 會保持在10？這是我網路上看到的但還沒有自己經歷）然後再去拿所有的SPECIAL +1 Bobblehead, 變成10

既然所有的 skillpoints bobbleheads 都是 +10
所有的書 （有了comprehension perk，遊戲裡有325本書）可以給你各個技能 大概50點
（遊戲裡有兩個地方有bug，可以每三天重複拿science與big guns的書，所以level up點數可以不用花在這裡）
所以level up的skillpoints 可以都花在science 與 big guns 以外的技能，大概到40-50 （理論上是只需要40，但可能太懶找不到所有的書）

以上是這幾天做功課的心得，希望玩到最後沒有後悔哪裡忘了什麼，我玩這個遊戲常常有這種很可怕的感覺。where i... FUCK!!!! missed something.

還有重玩真的看到好多我之前沒有看到的細節，對談也真的很幽默，世界也很大很美很落魄。戰鬥也很好玩。升級系統也真的好完美。我真的好愛 fallout 3. my favorite game!!

之前同大家介紹過iOS14嘅Widgets隨處放新功能，就快就有得用喇。不過係呢個時候，原來iOS13一樣有實用嘅第三方Widgets，今日就同大家介紹吓！

Alfred Mak 麥卓華
#iOSWidgets #iOS13 #iphonewidgets #z世代達人 #AlfredMak

由於麥克風出了點問題導致底噪有點大聲，請大家見諒!
史哥非常推薦大家抽出來，必竟這遊戲大部分的時間都在刷討伐!
史哥只要把S3吃滿，就能適應幾乎所有討伐的速刷隊，非常值得入手!

《第七史詩》每日下午2點到晚上10點以RTA為主
實況網址: https://www.twitch.tv/witness1129​​​​

由於麥克風出了點問題導致底噪有點大聲，請大家見諒!
史哥非常推薦大家抽出來，必竟這遊戲大部分的時間都在刷討伐!
史哥只要把S3吃滿，就能適應幾乎所有討伐的速刷隊，非常值得入手!

《第七史詩》每日下午2點到晚上10點以RTA為主
實況網址: https://www.twitch.tv/witness1129​​​​

#SkyBlockHK #skyblock攻略 #skyblock賺錢方法 #skyblock香港

Hypixel SkyBlock-極龍遊戲頻道xDraGon Gaming
記得點讚和訂閲,感謝大家收看~

➤遊戲/比賽紀錄
傳說對決：香港第1堇,特爾(全服最強)?
傳說對決：香港公會交流賽Omega-冠軍(ENT)?
https://www.facebook.com/GamefinityCr...
傳說對決：青協2020青少年電競盃-亞軍(點數獵人)?
https://www.facebook.com/223142684367...
傳說對決：傳「濟」巔峰對決-亞軍(GCA)?
傳說對決：STEM@元朗青少年比賽-4強(禮卷獵人)?
傳說對決：Unobuy中路單挑賽-4強(個人賽)?
傳說對決：CGA2020香港公開賽-8強(黎明來到)?
https://www.youtube.com/watch?v=QccWi...
傳說對決：CSL香港電競超級聯賽-12強(合埋眼打)?
https://www.youtube.com/watch?v=Fqpfe...

➤最佳戰績
傳說對決：S19-SS永恆傳說(台服第12名)?
Hypixel SkyWar：S17-鑽石2015分(全球第174名)?
Hypixel SkyBlock Spooky：20th-3014分(全球14名)?

➤相關連結
觀眾DC群(158人) : https://discord.gg/hU5Wdc8 (休閒聊天)
香港SkyBlock DC群(115人)：https://discord.gg/WHQgjVw (香港SkyBlock玩家專用)
IG(求追蹤) : https://www.instagram.com/chris_m.c.h/

➤電腦配置
處理器 : Intel Core™ I7-7700 3.60GHz
顯示卡 : GeForce GTX 1060 3GB Fury OC
主機版 : Gigabyte GA-B250M Gaming
RAM : KingSton DDR4 2133MHz 8GB x2(16GB)

➤遊戲帳戶資料
SkyBlock : https://sky.shiiyu.moe/stats/HKS_xDraGon
MC Hypixel : https://sk1er.club/stats/HKS_xDraGon
PUBG : https://pubg.op.gg/user/HKLEGEND_xDR4G0N
Rainbow 6 : https://reurl.cc/qEG3y
CR : https://royaleapi.com/player/J8RL20J2

➤BGM

➤使用程式
拍片程式 : OBS
剪片程式 : 威力導演
繪圖程式 : Paint.net + FotoJet