【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

【國產疫苗的重要性】
莫德納疫苗已經抵台，同時國產疫苗也傳出新進展。目前高端、聯亞進展順利，預計很可能在夏天時能成為生力軍。

從昨天陳部長血淋淋的BNT故事可知，我們買個疫苗也會被阻擋。 唯一會阻擋我們的是誰？ 我想大家都很清楚。

同樣以日本、韓國的例子而言，日韓都已經手握足夠讓全國人民打疫苗的合約，背後也有美國支持，為何日韓都還在開發疫苗？甚至有許多進度都還在一期、二期臨床試驗，比我們的國產疫苗還慢 ？

原因很簡單，全世界都知道，很可能中國開始的病毒大流行，牽動著地緣政治的變動，而疫苗正是此時的戰略物資。就算台灣買到了足夠大家打的疫苗，我們還是得繼續投資疫苗國產的能力，因為沒有人知道疫苗的合約會被什麼因素干涉，沒有人知道病毒會不會季節化，需不需要第三劑甚至不斷改良開發的新疫苗。如果有自主研發的能力，應對疫情的能力，自然會比單純進口、或是代工廠的彈性來得強。

去年美國將加速開發疫苗過程視為重要戰略任務，因而推出所謂 「疫苗曲速行動（Operation Warp Speed）」，投入至少100億美元，同時分別贊助楊森製藥、阿斯利康製藥-牛津大學、莫德納、默克藥廠、Novavax、賽諾菲和GSK，並和這些藥廠事先簽訂購買合約，透過多線挹注的方式，讓藥廠互相產生競爭，同時也有一定保障，就算如默克藥廠至今都還沒做出可用疫苗，但多家藥廠的成功，結果就是做出了充足的疫苗。甚至手上還有多的疫苗可以送給其他友邦。

我們看到過去幾個月，有不肖政客質疑發展國產疫苗圖利廠商、有留言抹黑執政團隊挺國產疫苗是為了炒股票，也有人不斷釋放國產疫苗不可信的消息，要來打擊台灣疫苗自主的腳步。

那些可笑的傳言不說，我這邊要說明，目前高端與聯亞的疫苗都完成第二期臨床試驗收案，他們的樣本數，都超過傳統二期臨床試驗的規模。但最終在解盲後，必須先要拿出有效的二期試驗結果，加上理想的有效中和抗體效價試驗報告，才能取得EUA（緊急使用授權）。

今年5月17日，一篇發表在nature medicine，實際比較7支疫苗中和抗體效價和保護效果的論文[1]也顯示，一二期臨床實驗取得之中和抗體效價和疫苗實際效果高度相關，可用來預測疫苗效果，以及追蹤疫苗的保護能力。例如Moderna和輝瑞等mRNA疫苗，就能產生相當高的中和抗體，而中國科興疫苗產生的有效中和抗體就相當低，和臨床結果完全一致。

因此，如果國產疫苗可在同一實驗室、用一致的方法，和打過其他疫苗以及武漢肺炎康復感染者血中抗體濃度比對，達充足濃度，就能達成所謂「#免疫橋接」。這過去除了武漢肺炎疫苗，也運用在肺炎鏈球菌疫苗研發過程上。

然而，我們要特別注意的是，美國FDA在EUA核發前，要求疫苗生產商對半數受試者在接受最後一劑疫苗之後，要進行至少兩個月的追蹤，確保是否有不良反應。我們要求，國產疫苗就算通過擴大二期臨床試驗認證有效性，「安全性追蹤」的時程絕不能縮短，且在仍須繼續擴大三期收案、追蹤不良反應，並追蹤中和抗體效價在血中濃度變化，以提供充分的數據以供分析，取得正式許可，在此之前主管單位是有權隨時收回EUA的，也須善盡監督之責。

國產疫苗的持續開發，不只是拼七月、八月開始施打，而是建立起台灣的安全堡壘，未來在應對變種病毒等其他事態下，都能增加我們的戰略彈性。我們必須把步伐紮穩，確保疫苗安全有效，接著需持續投資研發與擴增產量，除了可守護台灣人的健康，更具有戰略性的意義，是台灣不被他國威脅的保障！

參考資料
1. Khoury, D. S., Cromer, D., Reynaldi, A., Schlub, T. E., Wheatley, A. K., Juno, J. A., ... & Davenport, M. P. (2021). Neutralizing antibody levels are highly predictive of immune protection from symptomatic SARS-CoV-2 infection. Nature Medicine, 1-7.

《為什麼實驗都是使用小白老鼠？》
最近一期3HFIT關於HIIT的影片， 研究人員透過小白老鼠的實驗分析了MCIT與HIIT型態對於皮下以及內臟脂肪的影響
在彈幕中， 有同學就提出了： 為什麼使用小白老鼠的實驗結果？ 跟人類有可比性嗎？ 我就幫大家科普一下， 為什麼絕大多數的醫學/藥品/運動實驗都選擇一小白老鼠最實驗？
1. 小白老鼠的基因排序與人類非常接近， 身體的代謝功能也與人類相當類似， 因此可以拿來當作一個非常理想的參考標準
2. 小白老鼠的每一隻的個體差異極小. 由於很多實驗需要眾多樣本數取樣來做比較. 在這個前提之下， 就必須讓影響結果的客觀因素降到最低. 而小白老鼠之間的差異很少， 所以比較可以得到一個中立的數值
3. 小白老鼠養殖成本低. 這應該就是另一個最重要的因素了. 人類不斷的進行諸多的實驗， 絕大多數無法在人類上直接執行（除了安全性之外也會有道德性的問題）， 所以必需要先取得大量的動物實驗數據. 而首選的當然就是便宜又易於飼養的小白老鼠（當然也有大鼠）
所以這解釋了為什麼很多實驗都跟小白老鼠有關係的原因. 在此， 我要向促進人類進步的小白老鼠們一鞠躬， 因為了你們， 人類才得以窺視科學發展世界的冰山一角（鞠躬）