【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

#妳的委屈成就妳的獨特
很久很久以前，我也拍過婚紗樣本呦...
那年我未滿20，婚紗穿在我身上，
就像偷穿媽媽的衣服～
照片呢？921的時候全部泡水了（真是萬幸）

當時我是個婚紗店的攝影小助理，
某天上班突然就被抓去樓下化了妝，
渾身不自在的抓著裙子進入昏暗的攝影棚，
作為攝影助理同事們的試拍對象...

後來我躲在廁所偷哭，
不是因為被同事開玩笑說腿是龍柱，
也不是說我眼神呆滯還是肢障，
因為，我也好想要練拍，
我也想期待自己拍的毛片作品洗回來，
可以拿給攝影師求指導討討罵...

回過頭來看，很清楚，不委屈了，
當年我真的太年輕，
不是老闆眼下要提拔的對象，
老闆把對的資源，對的角色，安排得很恰當！

有時候，我們不懂的事，受傷的點，
只是因為所處的位置與經驗的累積不一樣，
也許有一天，看到類似的情況，突然就懂了。

努力的事情，暫時看不到成果，
也不需要灰心，
根，是需要慢慢紮的，
會長成什麼樣子，也許我們並不曉得，
但是根紮得夠結實，日後遇到的所有阻礙，
會幫助我們，長得更獨特！

後來我沒有成為攝影師，也沒有成為模特兒，
當年的我，一方面覺得自己沒有條件，
也覺得，比起成為一個模特兒，
當那個在旁邊幫她搧風的助理還比較輕鬆！

！模特兒真的是非常辛苦的工作！！

而攝影師，因為缺乏該有的應對能力！
我也放棄那個夢想了...
我的根，最終紮成了一個“女子”助理，
靜靜的待在我先森身邊”好好“生長，
我可以偶爾當設計師，設計先生的演講海報，
我可以經常當助理，摸摸模特的小手遊山水，
我也可以扮演模特兒，
感受一下完全“不符合人體工學”的“自然美”...

生命就是這麼有趣，
把我們都變成了一綁一紮的盆景藝術，
說自己是藝術實在有夠不要臉的！！
好啦！我是異數！妳們才是藝術！

”請愛自己的生活“ “愛自己的根“

攝影 周琨瑾
傑克與碗豆也是由一顆豆子開始衝天的，
我就種種看！在這裡扎根！
請幫我澆個水！甜白酒就可以！

傳統投資組合理論主要的是以變異數來衡量風險，而其中又以 Markowitz（1952）提出的「平均數-變異數投資組合模型」最為著名。

在此模型中，由於共變異數矩陣的計算上較為困難且複雜，因此，Konno 及 Yamazaki（1991）另外提出了平均數-平均絕對離差模型，這個模型不但節省了計算時間，並且在求解最適投資組合時，也不需要共變異數矩陣，所以降低了計算上的困難度。

除此之外，亦有許多學者分別提出不同的風險測量方式，如Markowitz（1959）又提出了半變異數（semivariance）的觀念，而 Estrada（2008）即以此半變異數為損失風險的觀念發展出一種較簡易的平均數-半變異數模型；

其次，Bawa及Lindenberg（1977）以左偏動差（lower partial moment）做為損失風險的觀念而發展出平均數-左偏動差模型；

另外，Rockafellar 及 Uryasev（2000）則以條件風險值（conditional value-atrisk）為損失風險的觀念發展出平均數-條件風險值模型。

綜觀上述不同風險測量之投資組合模型，《不同風險衡量下效率投資組合之比較分析》這篇研究以半變異數、左偏動差、平均絕對離差、條件風險值來衡量投資組合的風險，與利用變異數來衡量風險作比較，分析其所求解出的最適投資組合之差異與進行相似度分析。

《不同風險衡量下效率投資組合之比較分析》文中發現在樣本內資料分析部分，MLPM 與 MSV 之間的相似度指數位居第一，而 MV 與 MMAD 之間的相似度指數較高。

https://pgfinnote.com/comparative-analysis-of-efficient-portfolios-under-different-risk-measurements/

Tableau大數據分析-校務資料分析 3.ELT, Cross Join, 外部資料更新, 儀表板
統計中，最直觀取得的數據，就是平均數與標準差；標準差的平方，就是變異數。平均數與變異數，可以幫助我們進行二個樣本間，是否存在很大的差異。虛無解設H0，預設為二樣本是相同；若p值小於0.05，拒絕虛無假設。

AI-ready是什麼?大數據結合統計方法，得到真實證據，解決問題，精準管理。然而現在遭遇到最大的瓶頸，就是沒有標準，數據合併須要不斷重做。
以函數為起點，使用哪些函數、提升效率的寫法是什麼、變數函數應用。


00:00:00 開場
00:03:00 認識F檢定，獨立樣本T檢定
00:10:00 ETL與ELT的差別
00:20:00 F檢定：變異數差檢定
00:25:00 T檢定：平均數差檢定
00:30:00 F檢定：變異數差檢定
00:35:00 T檢定：平均數差檢定