#ㄏㄧㄠ掰某ㄌㄡㄆㄧㄟㄝ故🥴

分享于： #封塵男子
《無知正在侵蝕我們的未來》

有一次，在一個學術論文發表會上，有一個人舉手發問，質疑我數據中的P值太小，會產生太大的誤差。

我客氣地問他，是否知道P值為何。他回說：「It stands for statistical power！」

我幽默回他：「Oh, what you meant is type II error which is reflective of sample power. It’s true that sample size is like man, the bigger the better. But P value is like ignorance, the smaller the better！」

言畢全場哄堂大笑，也化解了尷尬的場面。

在統計上，當P值越小，表示越有充分的證據可以否定原始假設，因此越小越好。而影響標準差的，是樣本數的大小。樣本數越大，標準差越小，因此越大越好。

當然樣本數越大，成本越高，因此任何一個研究都是要在一個合理的統計檢定力底下，找出一個最佳的樣本數。

很顯然，這位舉手發問的學者是把兩個概念搞混了。會後他特別跑過來，謝謝我的幽默，也幫他釐清了以前錯誤的理解。

所以無知可怕嗎？當然不，最重要的是態度。

滿招損，謙受益，這是不變的真理。一個人面對無知，如果謙卑，就能擴大知識的容量。反之，如果一味自大，就只會讓目光越來越短淺，眼界越來越狹隘。

台X現在好比一個池塘，裡面住著許多青蛙，這些青蛙或許為數不多，可是叫起來卻特別大聲。這個池塘裡面還住著其他的活物，可是這些活物習慣了冷眼旁觀，逆來順受，自求多福。

所以很快這些青蛙就佔據了池塘的話語權，每天鼓著肚子，叫的特別神勇。

這樣叫著叫著，這池塘裡面的青蛙就慢慢覺得自己是天下無敵，世界無雙了！時間久了大家都要跟著一起叫，不叫的，就會被霸凌，被說不愛台。

在仲夏夜的晚上，當這群青蛙一起發出宏亮呱鳴的時候，他們覺得這是何等光榮，何等自由民主的一刻！

殊不知出了這個池塘，處處是江河大海，除了青蛙，還有數不清爭妍鬥艷的貝類魚蝦，當然，還有看不盡的奇岩美石！

台X現在最大的問題，就是無知與自大。特別是年輕的一代，目中無人，冷血兇殘，不尊重異議者，動輒霸凌出征，毫無人性可言。

這些台派信眾與教徒對戰爭的危險毫無察覺，他們對台X的驕傲感與光榮感，完全是建立在對國際局勢和自身狀況的不了解之上，而這種致命的自負，其根源就在於無知。

歷史告訴我們，一旦年輕，無知，再加上自大，這種致命的組合，無疑會帶來巨大的災難。正所謂選擇性的正義最噁心，無知的傲慢最可憐。很不幸的是，台X現在兩者都俱備了。

但這是民X黨自己養出來的獸，如果最後被反噬也是剛剛好而已。

民主就是自作自受，怨不得別人。當然，若是作弊、專制的民主，那又另當別論了。但你玩不贏它，卻又不願起來付代價做出改變，又能奈它如何呢？正是人生沒有後悔路，最終，也只能讓無知與冷漠把自己跟下一代的未來侵蝕殆盡了！

#內文OOXX實為不得不的修改請封塵男子見諒😘原文請見連結

【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ