【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

次群分析
#posthoc #subgroup #teaching
許多人都相信西洋的占星術，認為她能預測自己的運勢。依據出生日期決定的占星術黃道十二宮是白羊宮、金牛宮、雙子宮、巨蟹宮、獅子宮、室女宮、天秤宮、天蠍宮、人馬宮、摩羯宮、寶瓶宮、雙魚宮。

1988 年發表的 ISIS-2 (Second International Study of Infarct Survival) 臨床試驗顯示在病人發生疑似急性心肌梗塞之後，併用阿斯匹靈及 streptokinase 可以明顯降低再梗塞、中風及死亡的危險，但是許多人都對阿斯匹靈是否只有在某些病人（例如：年紀、性別、種族等）有效很感興趣，於是他們做了一個很有趣的分析，亦即他們把 17187 人依據占星術的星座分成 12 個次群，結果發現阿斯匹靈對天秤座、雙子座的人是無效的，但是阿斯匹靈卻能神奇地降低摩羯座的人的再梗塞、中風及死亡的危險至ㄧ半以下。可見事後分析中的次群分析是不可靠的，因為事後分析就像是「先射箭再畫靶」一樣。

-次群與暴露（治療）的交互作用（moderation）
• 這是一種觀察性研究，而不是 RCT 的主要/次要終點。
• 主要效果必須是有統計意義的。
• 如果是與連續變項有交互作用，那麼連續變項不能被變成類別/二元變項。
• 次群：必須要事先（不能事後）設定，數目不能太多，必須是基礎（治療前）的資料，各次群的樣本數愈多、愈接近愈好，各次群的共變數愈接近愈好，次群的定義沒有測量誤差，不要看太多的次群、有其他的研究支持。
• 校正干擾因子之後仍然存在。
• 必須要做多重比較的校正。
• 要看交互作用，不要分別看各次群：A 次群有意義、B 次群無意義是沒有任何判斷價值的。
• 需要的樣本數是主要效果的 16 倍：RCT 的樣本數是依據主要效果的統計檢定力 0.8 去計算的，因此交互作用的統計檢定力一定是 << 0.8 的。低統計檢定力會造成假陽性（高估效果量）和假陰性（第二型錯誤）。
• 要估計模式預測的校準與鑑別力、各次群預測的結果/治療的傷害。
• 要估計絕對與相對危險性（絕對危險性比較重要）。
• P： 0.01-0.05（不確定）、0.005-0.01（有意義）、< 0.005 （很有意義）。但是不要純粹用 P 值或用逐步複回歸選擇有意義的交互作用；要用收縮 shrinkage（懲罰 penalized、正規化 regularized、整體 ensemble）回歸選擇有意義的交互作用。

#teaching #af #hd
洗腎病人的心房顫動與口服抗凝血劑

在治療病人時，醫生應該要睜開眼睛，看清楚病人的病情、權衡治療的好處/壞處比例。但是有時候醫生卻被迫要閉上眼睛治療病人，例如：在選擇是否要用口服抗凝血劑（OAC）治療洗腎病人的心房顫動（af）時，醫生是閉上眼睛的，就像古希臘神話中的正義女神一樣：她矇著眼睛，一手持天平，一手握劍。當 OAC 放在正義女神的天平上時，天平的一邊是預防缺血性中風，另外一邊是主要出血。

因為腎臟科是內科中擁有最少隨機分配對照臨床試驗（RCT）的科別（心臟科最多），而且幾乎所有的 OAC 臨床試驗都排除了CCr < 30 mL/min 以及洗腎病人。偏偏這一些病人比較容易流血（因為血小板功能異常），只有 apixaban 可能可以減量用在嚴重慢性腎臟病（CKD）或是洗腎的病人。偏偏只有 RCT 能證明因果關係（OAC 的效果），觀察性研究則不能，因為它無法排除與暴露（使用 OAC）及結局都有相關的因素。

要注意的是用腎功能調整藥物的劑量時，請用 Cockcroft-Gault 公式計算的 CCr，而不是 MDRD 或是 CKD-EPI 公式計算的 eGFR，因為幾乎所有的藥物試驗都是用 CCr 的。

臨床指引建議 af 的病人可以用 CHA2DS2VASc 分數（心衰竭、高血壓、年紀 ≥ 75 歲、糖尿病、中風/暫時性腦缺血/血管栓塞、心血管疾病《AMI, PAD, 主動脈硬化》、年紀 65-74 歲、女性）≥ 2 來選擇需要用 OAC 來預防缺血性中風者。

OAC 最大的副作用是主要出血：顱內出血、各部位出血（腹膜後、消化道、泌尿道、呼吸道）致血比容下降 ≥ 12％。維生素 K 抑制劑（VKA）可以用 INR 來評估劑量是否適當，NOAC不需要（也無法）評估劑量是否適當（這是好處，也是壞處）。Coumadin 過量能用維生素 K 來逆轉，（除了 dabigatron 以外）NOAC 過量卻無任何拮抗劑。OAC 造成主要出血的風險可以用 HAS-BLED （高血壓、肝/腎功能異常、中風、流血、INR 不穩定、年紀 > 65 歲、藥物/喝酒）分數來評估，一般說來 NOAC 造成主要出血的機率比 VKA 更低。

CKD 的病人比較容易有心血管疾病和 af，反之，有心血管疾病和 af的病人也比較容易併發 CKD。CKD 病人比較容易有缺血性中風，也比較容易有出血性中風。因此有 af 的 CKD 病人就像戰場上的英雄一樣，隨時都要面對生命的威脅。

那麽為了換取最美好的事（預防中風），最深沈的創痛（主要出血）是否值得呢？「有一種鳥，一生都在尋找一棵長滿尖刺的樹，找到後便將牠的胸膛撞去，在臨死前會唱出連雲雀與夜鶯都黯然失色的天籟。牠以生命作為代價，只換得一首動聽的歌。整個世界都在悄然聆聽，連神也在天國裡微笑。因為唯有最深沈的創痛，才能換取最美好的事」（「刺鳥」）。

2020 年發表的 16 個觀察性研究文獻回顧（N = 71877）發現洗腎病人使用 OAC 不能降低缺血性中風，雖然 apixaban 與coumadin/不使用 OAC 者比較能降低死亡率。Warfarin, dabigatran, rivaroxaban 則比 apixaban 更會造成出血。2020 年的觀察性研究則發現洗腎病人使用左心耳封堵手術（N = 92）在 2 年後的出血率比使用 OAC 者（N = 114）更低，死亡率也更低。

2020 年發表的 RCT（RENAL-AF，N = 132）發現在有 af 的洗腎病人中，apixaban 與 coumadin 的病人在 1 年後有相同的主要終點（出血）和次要終點（中風、主要出血、心血管疾病死亡率），雖然在使用 coumadin 者中，只有 44% 的時間是在治療範圍（INR 2-3）內。可惜本試驗本來預計收納 760 個病人，卻由於缺乏資助而中途停止。亦即本試驗缺乏統計檢定力，比較容易有假陽性和假陰性的結果。

2020 年發表的 RCT（Valkyries，女武神，N = 154）發現在有 af 的洗腎病人中，apixaban 比 coumadin 更不會造成危急生命的出血，雖然兩組病人在心血管疾病、出血、死亡率上沒有差別。可惜本研究並沒有安慰劑當成對照組，因此我們並不知道 apixaban、coumadin 是否能改善 af 洗腎病人的預後（心血管疾病、缺血性中風、死亡率）。

「女武神的騎行」是華格納歌劇「女武神」中的歌曲，美國的越戰電影「現代啟示錄」曾以此曲作為片中直升機飛行中的配樂。女武神是眾神之王沃坦所生的九個女兒，她們騎著飛馬將在戰場上死去的英雄抬到盾牌上帶回天宮復活。

在正在進行中的 RCT 中，DANWARD（N = 718）要研究 coumadin 對中風的效果，AXADIA-AFNET 8（N = 222）要研究 apixaban 對出血、中風、死亡率的效果。

且讓我們閉上眼睛，期待這些新的女武神能拯救戰場上的英雄吧！