【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

#資料科學家必學的機器學習先修課
#早鳥8折倒數2週

❓ 除了會寫程式，演算法背後的數學基礎你理解了嗎？
就像蓋一棟房子，地基要扎實房子才會穩，在資料科學領域中，學習數學與統計就像打地基，當地基不穩時，房子就會容易垮，唯有掌握數學與統計基礎觀念，你的機器學習才會穩。

🏆 一次打好統計數學6基礎
課程內容包含54個單元(33個課程影片+21個自我測驗)，共5.8小時課程，內容深入淺出搭配經典案例與圖表說明，從高中數學基礎開始複習，並帶你延伸到機器學習中的實際運用與實作，讓初學者補上斷層，輕鬆理解機器學習的應用與概念。

📌 強化機器學習基本功
✔ 向量、矩陣和張量實作
✔ 範數與特徵分解實作
✔ 梯度視覺化實作
✔ 機率分佈視覺化實作
✔ 協方差矩陣計算實作
✔ 假設檢定實作（A/B Test）
✔ 運用數學基礎進行機器學習實作
✔ 運用數學基礎進行深度學習實作

❤️ 免費試閱專區：
🔑 課程規劃與範疇：https://www.tibame.com/course/1972/mission/31433

🔑 基礎幾何
https://www.tibame.com/course/1972/mission/30699

🔑 梯度視覺化實作
https://www.tibame.com/course/1972/mission/30711

📢 早鳥課程連結：
👉 https://bit.ly/3gLrEjh

次群分析
#posthoc #subgroup #teaching
許多人都相信西洋的占星術，認為她能預測自己的運勢。依據出生日期決定的占星術黃道十二宮是白羊宮、金牛宮、雙子宮、巨蟹宮、獅子宮、室女宮、天秤宮、天蠍宮、人馬宮、摩羯宮、寶瓶宮、雙魚宮。

1988 年發表的 ISIS-2 (Second International Study of Infarct Survival) 臨床試驗顯示在病人發生疑似急性心肌梗塞之後，併用阿斯匹靈及 streptokinase 可以明顯降低再梗塞、中風及死亡的危險，但是許多人都對阿斯匹靈是否只有在某些病人（例如：年紀、性別、種族等）有效很感興趣，於是他們做了一個很有趣的分析，亦即他們把 17187 人依據占星術的星座分成 12 個次群，結果發現阿斯匹靈對天秤座、雙子座的人是無效的，但是阿斯匹靈卻能神奇地降低摩羯座的人的再梗塞、中風及死亡的危險至ㄧ半以下。可見事後分析中的次群分析是不可靠的，因為事後分析就像是「先射箭再畫靶」一樣。

-次群與暴露（治療）的交互作用（moderation）
• 這是一種觀察性研究，而不是 RCT 的主要/次要終點。
• 主要效果必須是有統計意義的。
• 如果是與連續變項有交互作用，那麼連續變項不能被變成類別/二元變項。
• 次群：必須要事先（不能事後）設定，數目不能太多，必須是基礎（治療前）的資料，各次群的樣本數愈多、愈接近愈好，各次群的共變數愈接近愈好，次群的定義沒有測量誤差，不要看太多的次群、有其他的研究支持。
• 校正干擾因子之後仍然存在。
• 必須要做多重比較的校正。
• 要看交互作用，不要分別看各次群：A 次群有意義、B 次群無意義是沒有任何判斷價值的。
• 需要的樣本數是主要效果的 16 倍：RCT 的樣本數是依據主要效果的統計檢定力 0.8 去計算的，因此交互作用的統計檢定力一定是 << 0.8 的。低統計檢定力會造成假陽性（高估效果量）和假陰性（第二型錯誤）。
• 要估計模式預測的校準與鑑別力、各次群預測的結果/治療的傷害。
• 要估計絕對與相對危險性（絕對危險性比較重要）。
• P： 0.01-0.05（不確定）、0.005-0.01（有意義）、< 0.005 （很有意義）。但是不要純粹用 P 值或用逐步複回歸選擇有意義的交互作用；要用收縮 shrinkage（懲罰 penalized、正規化 regularized、整體 ensemble）回歸選擇有意義的交互作用。

用Power BI做大數分析進階-10.DataPrep.卡方檢定
大數據分析其實早就存在，只是因為數據越來越大，需要更好的計算方法、更快的設備、更強的呈現結果方式，形成另一種視覺化分析。

南亞資工講丙級軟體設計證照

其實最近邀約還不算少，但之前接到資工系邀請講軟體設計，
一時間還有點不太敢相信，畢竟軟體設計算是資工系的本行，
到資工系講軟體設計，就跟到中文系講文學創作一般，但還是一口答應邀約。
上網查查GOOGLE，搜尋"軟體設計 丙級"關鍵字，沒想到我就排在第二名，
原來大家都這樣在找資訊的，之前想說把上課影音放在網路上的這樣舉動，
沒想到有這樣大的效益，也是始料未及的，既然答應了，也就順便整理舊的教學資料。

依約時間提早半小時就到了南亞，就看到熱情的賴老師與羅主任，
主任熱情的請我到主任辦公室聊聊，相談甚歡，天南地北的閒聊，
感覺的出主任對學生的用心，並對學生盡量採取柔性的鼓勵方式，
說真的課業不好的學生，不表示就沒有前途，能盡量讓他們適性方展最重要。

之後上課，發現學生的反應還不錯，雖說很多都是被動原來的，
但還好這樣的場面已經很習慣，馬上就能和學生打成一片。
在賴老師的開場說到，今天請到"非常有名"的吳老師來幫大家講軟體設計丙級；
"非常有名"不敢當，只好順水推舟，我是吳老師，你們很容易找的到我，
GOOGLE只要查吳老師，就可以找到我。
學生都狐疑的眼神看著我，天底下就吳老師的少說也幾百萬人，
網路上查哪能查的到你，於是我查GOOGLE，排在第二名。
大家似乎有點傻住，查YAHOO第三名，"非常有名"可能指的是這個吧！
於是就叫大家到我的部落格先下載資料。
之後就把上課當闖關遊戲，而我簡報只是先說明遊戲規則，
課程時間不夠，但開個頭，之後應該就可以靠自修通過，
希望能對他們有些幫助，畢竟資工系不會寫程式有些說不過去啦!!
最後感謝羅主任與賴老師的邀約，真的是一趟充實之旅。

這次上課分享了不少多年的壓箱寶，希望能對他們有幫助：
119003術科.rar(術科考題)
119003學科.rar(學科考題)
dopdf.rar (虛擬印表機輸出成PDF檔)
FoxitReader23_setup.rar (PDF的讀檔程式)
Gavotte_RAMDisk_1.0.4096.rar (虛擬A磁碟程式)
npp.5.8.5.Installer.rar (取代記事本程式)
VB.rar (VB簡易說明檔)
VB6 精簡可攜版.zip (無法輸出EXE程式)
丙設磁片.rar (考試題目檔)
電腦軟體設計丙級檢定術科.rar (上課講義請自行列印)

吳老師 99/12/09

教學影音分享：

丙級軟體設計
http://terry55wu.blogspot.com/2009/03/blog-post_6665.html

VB.NET實務與資料庫設計總整理
http://terry55wu.blogspot.com/p/vbnet.html

VB.NET程式設計入門總整理
http://terry55wu.blogspot.com/2011/10/vbnet2008.html

吳老師教學部落格：
http://terry55wu.blogspot.com/
論壇：
http://groups.google.com/group/vbnet2008?hl=zh-TW

南亞技術學院,資工系,吳老師,丙級,軟體設計,演講,電腦證照,升學,就業,產學合作,業界教師

南亞資工講丙級軟體設計證照

其實最近邀約還不算少，但之前接到資工系邀請講軟體設計，
一時間還有點不太敢相信，畢竟軟體設計算是資工系的本行，
到資工系講軟體設計，就跟到中文系講文學創作一般，但還是一口答應邀約。
上網查查GOOGLE，搜尋"軟體設計 丙級"關鍵字，沒想到我就排在第二名，
原來大家都這樣在找資訊的，之前想說把上課影音放在網路上的這樣舉動，
沒想到有這樣大的效益，也是始料未及的，既然答應了，也就順便整理舊的教學資料。

依約時間提早半小時就到了南亞，就看到熱情的賴老師與羅主任，
主任熱情的請我到主任辦公室聊聊，相談甚歡，天南地北的閒聊，
感覺的出主任對學生的用心，並對學生盡量採取柔性的鼓勵方式，
說真的課業不好的學生，不表示就沒有前途，能盡量讓他們適性方展最重要。

之後上課，發現學生的反應還不錯，雖說很多都是被動原來的，
但還好這樣的場面已經很習慣，馬上就能和學生打成一片。
在賴老師的開場說到，今天請到"非常有名"的吳老師來幫大家講軟體設計丙級；
"非常有名"不敢當，只好順水推舟，我是吳老師，你們很容易找的到我，
GOOGLE只要查吳老師，就可以找到我。
學生都狐疑的眼神看著我，天底下就吳老師的少說也幾百萬人，
網路上查哪能查的到你，於是我查GOOGLE，排在第二名。
大家似乎有點傻住，查YAHOO第三名，"非常有名"可能指的是這個吧！
於是就叫大家到我的部落格先下載資料。
之後就把上課當闖關遊戲，而我簡報只是先說明遊戲規則，
課程時間不夠，但開個頭，之後應該就可以靠自修通過，
希望能對他們有些幫助，畢竟資工系不會寫程式有些說不過去啦!!
最後感謝羅主任與賴老師的邀約，真的是一趟充實之旅。

這次上課分享了不少多年的壓箱寶，希望能對他們有幫助：
119003術科.rar(術科考題)
119003學科.rar(學科考題)
dopdf.rar (虛擬印表機輸出成PDF檔)
FoxitReader23_setup.rar (PDF的讀檔程式)
Gavotte_RAMDisk_1.0.4096.rar (虛擬A磁碟程式)
npp.5.8.5.Installer.rar (取代記事本程式)
VB.rar (VB簡易說明檔)
VB6 精簡可攜版.zip (無法輸出EXE程式)
丙設磁片.rar (考試題目檔)
電腦軟體設計丙級檢定術科.rar (上課講義請自行列印)

吳老師 99/12/09

教學影音分享：

丙級軟體設計
http://terry55wu.blogspot.com/2009/03/blog-post_6665.html

VB.NET實務與資料庫設計總整理
http://terry55wu.blogspot.com/p/vbnet.html

VB.NET程式設計入門總整理
http://terry55wu.blogspot.com/2011/10/vbnet2008.html

吳老師教學部落格：
http://terry55wu.blogspot.com/
論壇：
http://groups.google.com/group/vbnet2008?hl=zh-TW

南亞技術學院,資工系,吳老師,丙級,軟體設計,演講,電腦證照,升學,就業,產學合作,業界教師