【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

俐媽看到這個圖(IG: freeformeshop)的想法是：
看個錶怎麼會這麼累😂😂😂😂
——————————————
感謝模B的宜婷，她是已經退休的科研數學教學，她也針對自己有興趣的主題，投稿了數學餐！
👩🏻‍🏫 宜婷+俐媽英文教室：
👉數論
1️⃣ 數系：
①ℕ natural number 自然數
②ℤ integer 整數
→ decimal小數(循環 recurring+，無限infinite+)
③ℚ rational number 有理數
→ irrational number 無理數
④ℝ real number 實數
→imaginary number虛數
⑤ℂ complex number 複數
2️⃣ sentence 語句
3️⃣ proposition 命題：有真假可言的直述(indicative)語句
4️⃣ axiom 公理：不證自明的命題
5️⃣ set 集合
6️⃣ assume (vt.) 假設(-sum: take)
→assumption (n. C) 假設
→make assumption about
7️⃣ denote (vt.) 表示
→denotation (n.C) 意義，本意
8️⃣ exist (vi.) 存在(-sist: stand)
→existence (n.U) 存在
9️⃣ satisfy (vt.) 滿足
🔟 commutative laws 交換律【x+y=y+x、x×y=y×x】
1️⃣1️⃣ associative laws 結合律【x+(y+z)=(x+y)+z、x(yz)=(xy)z】
1️⃣2️⃣ distributive law 分配【x(y+z)=xy+ xz】
1️⃣3️⃣ law of trichotomy 三一律
1️⃣4️⃣ axioms of equality 等量公理
1️⃣5️⃣ reciprocal (n.) 倒數；(adj.) 相互的，互惠的
1️⃣6️⃣ factor因數
→ common factor 公因數
1️⃣7️⃣ multiple 倍數
→ common multiple 公倍數
1️⃣8️⃣ Euclidean algorithm 輾轉相除法(歐幾里得算法)
👉集合論
1️⃣ subset 子集(sub-: under)
2️⃣ empty set 空集合
3️⃣ universal set 宇集(uni-: one/ -vers: turn)
4️⃣ intersection 交集(-sect: cut)
5️⃣ union 聯集
6️⃣ difference set 差集
7️⃣ complement set 補集
8️⃣ Venn diagram 文氏圖
9️⃣ power set 冪集合
🔟 element 元素
1️⃣1️⃣ sufficient condition 充分條件
1️⃣2️⃣ necessary condition 必要條件
1️⃣3️⃣ if and only if 若且唯若(充分且必要)(⇔)
👉機率統計
1️⃣ Random Variable隨機變數【variable (n.C) 變數；(adj.) 多變的，反覆無常的】
2️⃣ discrete (adj.) 離散的，單獨的
3️⃣ Probability Distribution 機率分布
4️⃣ expectation 期望值
5️⃣ Linearity of Expectation 期望值的線性
6️⃣ variance 變異數
7️⃣ independent event 獨立事件 (cf. mutually exclusive event 互斥事件)
8️⃣ repeated experiment 重複試驗
9️⃣ Binomial theorem 二項式定理
🔟 Binomial distribution 二項式分布
1️⃣1️⃣ sampling抽樣
→population母體，sample樣本
①簡單隨機抽樣 sample random sampling：每一樣本抽到機率相同
②系統性抽樣 systematic sampling：將母體元素編號後，每隔一定間隔抽取一個樣本
③分層隨機抽樣 stratified random sampling：將母體按某些特性分成數個不重疊的層，再依各層佔母體比例抽取樣本
④叢集抽樣 cluster sampling：將母體中相鄰近的個體排為一集體，而以集體為抽樣單位
1️⃣2️⃣ normal distribution 常態分布(Gaussian distribution 高斯分布)
1️⃣3️⃣ standard score (standardized score) 標準分數(標準化分數)
——————————————
謝謝宜婷🙏🏼
附圖2, 3是常見的數學表示法哦！
#俐媽英文教室 #辣媽英文天后林俐carol #俐媽英文教室徵稿中 #mathematics #themewords

【國外火紅的HRV，我該如何用手邊的裝置測得？】

接續前一篇文章，剛好這幾天有人提問：若我沒有專業的運動錶，該如何量測自己的HRV呢？以及它是如何計算出來的？整理之後分享如下。

目前有多款手機APP可以直接利用智慧型手機來量測自己的HRV，有些要搭配藍牙心跳帶(會比較準)，有些則直接用攝影鏡頭的感光元件來搜集數據。以APPLE Store上來說就有十二款APP：

◉HRV + (免費)
◉Elite HRV (免費)
◉HRV Tracker (免費)
◉BioForce HRV (免費)
◉EC-HRV test (免費)
◉SweatBeat HRV (免費)
◉SelfLoops HRV (免費)
◉Igtimi HRV (免費)
◉Magenceutical Health - HaloBeat HRV (NT$ 750)
◉HRV with Alice (NT$ 60)
◉HeartsRing HRV-Breath-Biofeedback (NT$ 590)
◉Primal Blueprint - PrimalBeat HRV (NT$ 300)。

其中有大約八款的APP是免費的，但另外四款需付費，付費的紀錄、統計與分析功能比較完整，最貴的那款(第9款)甚至還有特殊設計的療程(運動處方)來幫你提升HRV。

目前Garmin 920和Fenis 3可以下載HRV的APP套件，直接在手錶上進行量測，但和APP比較起來的缺點是無法紀錄和分析。

==
【HRV是如何被計算出來的】

要取得HRV這項數據，有很多種方法，主要分兩種：「時域分析」和「頻域分析」。穿戴裝置都是用時域分析，它是用「間距的標準差」來計算，也就是各個「間隔」距離平均值的偏差程度。

一般來說，「間隔」的取法是心電圖中最高峰R波之間的距離(R-R Intervals)，見附圖。

如果用光學式，只有一個偵測點時，只能用手腕上的血流脈動來推測心臟律動時的R-R波間距。這種量測方式只是推估，並非實際掌握每兩個R波的間距。雖然不精確，當然還是可以得到一組間距數據來計算標準差(Standart Diviation) = 心率變異度。

心跳帶得到的R波間距當然不比醫院裡顯示的心電圖，在醫院裡，最少要用三個電極才能把其他P波、T波、U波都標示出來，畫出心電圖。使用心跳帶的限制是，當心臟跳一下時，你會不確定取在「剛開始跳」還「是快跳完」，無法像心電圖的數據明確地抓到每一次跳動的R波所在位置。當然，我們無法每天都去醫院在胸口貼上電極測HRV，雖然略微不準，但心跳帶已是最便利的選項。

當R波精準量測出來後，就能得到R-R波之間的間距。例如某次測量時每個間距的變化的間距大小從0.6秒到1秒，平均是0.8秒。接著把這些間距的標準差計算出來即是心率變異度。

標準差的意義是：各項數據的離散程度，標準差愈大表示各數據互相差異愈大。在計算HRV時是使用「母體標準差」(σ，唸sigma)，它的計算方式是：
◉先從母體(固定時間中的R-R間隔)中抽取N個數據，假設其值分別為X1、X2、X3、X4……
◉求母體平均數(μ)，也就是(X1+X2+X3+X4……)÷N
◉σ = (Xi-μ)的平方÷N，之後再開平方根號

(註：臺北市立和平高中黃俊瑋教師在「科學Onling」網站上利用變異數的幾何意義來解釋標準差，非常精彩：http://highscope.ch.ntu.edu.tw/wordpress/?p=55320)

就目前網路上可以查閱的資料，手機APP與穿戴式裝置都是用「母體標準差」的方式計算出來HRV的。