【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ

みなさん、こんばんは！
我之前在群組中跟大家分享了教學一年多之後，發現初中級的學生沒辦法突破瓶頸的原因，今天分享到粉絲專頁跟大家討論一下😊

今天來跟大家分享一下去年在線上教學以來，我從學生們身上學到了什麼。
剛開始我會想要印證自己的學習方法是否有效，所以設計了很多不同的課程內容，或者是試著推學生突破自己所設的框架，但是我發現，每個人初期所需要的學習方法真的都很不同！有些人一開始適合不停地接觸新的內容去刺激他，不然很快會失去熱忱；有些人則是需要每個字句都搞懂才能再往前進，不然很容易感到挫折。
我會強調「初期適合的學習法」的原因是，這兩種方法都很重要，因為我自己在學習的時候，基本上是兩種方法並行，最典型的例子就是我在訓練聽力的那個影片裡所說的，掌握需要仔細聽的內容的練習「專注聽」，跟練習習慣那個語言存在但不一定真的要懂的「背景聽」。一開始可以只從一方面來著手，慢慢學習，但是學習到了中級階段時，若不能開始跨出自己學習的舒適圈，就會卡住！
例如經常接觸動畫、漫畫或日劇的朋友，已經具備習慣日文的能力，可是因為覺得自己有程度，所以不願意把基礎打好的人很多，覺得學習基礎是浪費時間，但是在口語上就會經常出現邏輯矛盾語句，那就是基礎沒打好的象徵。這類型的學生個性通常比較願意挑戰，但是不太願意回顧，假設真的開始和日本人溝通了，容易發生誤會但自己卻在狀況之外的情形，變成另一種溝通無效，日本人碰到這類型的非母語者也會選擇放棄溝通，假設是想要認真學好日文進而去拓展事業的人，千萬要避免進入這個學習困境中。
再來是堅持每個句子都要能夠「翻譯成中文」的朋友，這類型的學生基礎都很扎實，但是就是不習慣「只能用日文」的思考模式，所以就會卡住，很難讓自己的日文說得很自然，或是一碰到新的字就會很挫折，可是實際上這類型的學生基礎真的都很好！表達也很明確，就只差在需要「暫時拋棄中文思考」還有建立自信而已了。這類型的學生通常大量接觸日文的機會比較少，所以建議可以挑一兩部喜歡的日劇、動畫練習不要看字幕，或者是去參加檢定考試來跨出自己的學習舒適圈，喜歡旅遊的人則可以挑全日文的旅遊書或雜誌來閱讀等等，發展屬於自己的學習模式！
這兩種類型的學生終有一天要跨出自己的學習舒適圈，才能有進展，但有的時候因為太習慣原本的學習方式，所以假設現在提供一種新的認識和學習日文的方法給這類型的學生，他會相對地很排斥，甚至覺得在浪費時間，覺得「跟之前的老師教得不一樣！」
也就是說，大家現在就可以先評估一下自己是哪一類型，如果是初學者，先利用你覺得舒服的方式學習，已經累積一些學習經驗的朋友，就需要開始尋找到自己的盲點，改變學習模式，才能有所進展喔！

YT頻道 https://goo.gl/q6iUfT
PP每月自學課程 http://bit.ly/2QKsi25

【司法精神醫學體系改革2：司法鑑定的漏洞比想像還多！】

首先，感謝各方專家前輩紛紛賜教，讓我深深覺得用功還不夠，且這個領域要改革的項目實在太多，我們團隊會盡快將這些精闢意見整理，以作為我們推動修法與監督行政單位的依據。事實上，精神醫療的最大洞，是在社區預防與復健項目，這涉及錢在哪裡？資源如何分配？跨領域如何整合？等問題，我們會繼續來推動這條漫長改革的路。


今天的系列二，我們會稍微聚焦到法律問題上，先來探討在昨天「系統化攔截模型」中「攔截點3」從法庭與監獄的問題，這也是民眾最關心的，可不可以讓精神犯罪者得到適切的處遇。在勇警李承翰殉職事件一審判決後，許多民眾對精神醫學鑑定，以及法官判決感到失望，我這邊還是要來快速帶大家看一下精神犯罪者的鑑定重點為何，而哪邊應以專家意見為主，哪邊法官又需做定奪？


首先，幾乎世界所有國家，都需要有責任能力才能受刑罰，舉一個很極端的例子，上個月美國有個五歲男童開休旅車想「去買藍寶堅尼」。假設此男童在路上失控撞死路人，那他要負過失殺人罪刑入獄嗎？ 而若是他朝向路人衝撞，那要判死刑嗎？想當然，在此狀況下，監護人須負起民事賠償責任或可能的兒福法令刑責，然而，我們卻無法將五歲兒定罪。


因此，各國的法律制度經過兩個世紀的演變，大多把犯人（以下以精神障礙犯罪者為例）分為「完全責任能力」（依法判刑），「部分責任能力」（酌減其刑+保護治療），「無責任能力」（只需保護治療）三類，而判別準則經過演變，大陸法系與英美法系在20世紀下半後，不論是美國的模範刑法典或1975年德國刑法，都走向「犯罪時要有精神疾病」+「因此辨識能力&控制能力有問題」的雙重檢定法則。


但問題來了，司法鑑定，不是只有「責任能力鑑定」，在犯罪者被司法體系攔截時，為了與醫療體系互相配合，我們需要的是「三重能力鑑定」：


1. #受審能力鑑定：所謂受審能力，是指「幫助審判進行」以及「幫自己做重大決定」的能力。犯罪者必須知道自己是被告、知道被告什麼罪、知道刑事法庭是「檢察官起訴被告，律師辯護，再由法官判決」這個過程，最後要能有幫自己做決定（例如要不要上訴、認罪協商等等）的能力。


你可能覺得，管他受審能力，人抓來審就對了。然而，沒有受審能力的混亂病人，最大問題可能是無法釐清犯罪真相，導致判決不準確，譬如其實是別人殺的但堅持相信是自己殺的等等怪異思考。當然，為了個人的尊嚴與其權益，也需要他神智清楚的就審。舉個非精神疾病的例子比較好瞭解，日本「京阿尼縱火案」的犯人，由於縱火燒到自己難以言語，因而是把他醫到一定程度後再正式抓上法庭審判的。


而精神病患很多發病時，充滿幻覺、妄想，言談缺乏連結與邏輯，在法庭上根本不知道在幹嘛。因此這時就要先強制治療一段時間，評估穩定後再去審判。這也能減少「裝病脫罪」的機會，因為抓到以後先送進精神科病房治療，失去自由以外，24小時接受三班護理觀察，每天會談，還要做各種檢查，藥物治療，如果再裝就關久一點，一般人根本不可能維持24小時戒備好幾週到能騙過專業團隊的。


2.#責任能力鑑定：《刑法》19條在2005年修法時，修法理由中提到，關於責任能力多「認以生理學及心理學之混合立法體例為優」，「生理原因」指的是「有無精神障礙或其他心智缺陷為準」，「實務即可依醫學專家之鑑定結果為據」，而「心理原因」則是「行為人之辨識其行為違法，或依其辨識而行為之能力，是否屬不能、欠缺或顯著減低。」這部分「由法官就心理結果部分判斷」。


也就是，犯罪時有精神疾病並不能「脫罪」，而是要看他是否處於「無法辨識行為違法」，或「無法依其辨識控制行為」，要達到如此混亂的程度，其實是不多見的。就算符合刑法19-1，我們應視為「有罪但有心智疾病」(guilty but mentally ill, GBMI)，亦即「無刑事責任」（Not criminally responsible, NCR），仍須根據刑法87條監護處分。


3. #再犯風險鑑定：判斷病人的責任能力後，對於責任能力下降或失去，需要監護處分的病人，其實還需要判斷其「危險性」與「再犯風險」，來覺得後續處遇的位置，例如，「高暴力、高再犯風險」，就需要到戒備森嚴的「司法精神病院」去，若治療效果不佳，可能要長期拘留於此。而「中度風險」，則一般送到精神專科醫院的「司法精神醫學病房」。一些犯下輕罪，同時「低度風險」的患者，則是在一般精神科住院甚至社區服務治療，譬如我就聽過我們團隊的醫學顧問講過，有一個失智症的阿婆偷拿一塊豬肉被監護處分六個月；或是從小智障+聾啞人士，被拐騙去搬漂流木，結果違反森林法監護處分一年，同夥都放出來了他還在住院，這類的患者或許接受有強制力的社區治療還對他們比較有幫助。


至於風險鑑定的工具，大致分為非結構臨床分析，精算風險分析(ARA)和結構性專家判斷(SPJ)。其中，非結構分析較為主觀的，預測能力較差；而精算風險分析則是納入一系列的風險因子，根據統計提供一個數據化的預後估計值，來預測未來暴力的可能性；結構性專家判斷則納入部分專家專家彈性調整整體的風險程度。大體上，ARA和SPJ有相同的預測準確性。但某些證據累積較多的領域，ARA的預測力比SPJ好，但SPJ對於治療後的追蹤預測效果較好。


我們來看看實務層面的例子，以我國為例：


1. #受審能力：

我們的法律其實有受審能力的概念，這是來自《刑事訴訟法》第 294 條：「被告心神喪失者，應於其回復以前停止審判。被告因疾病不能到庭者，應於其能到庭以前停止審判。」


問題在於，刑法已在2005年修正時拋棄「心神喪失」的傳統責任能力概念，但刑事訴訟法第294條卻未一併進行修正、仍保留半世紀前「心神喪失」的文字，因此，大概只有「對外界全然缺乏知覺理會及判斷作用」的患者（如昏迷、嚴重譫妄、嚴重失智症）才符合。對於精神病極度發作，認為自已是有八隻腳和100個眼睛的外星使者的患者，並不能符合這條，使得刑訴294很難運用。


因此，實務層面我們會發現很多沒有受審能力的個案仍然被審判、被判刑，例如北投殺童案主嫌，在法院上堅持自己沒病，辯護律師主張精神異常抗辯，是國家機器派來迫害他，誣賴他有病的壞蛋，這種混亂狀態，除了讓法庭增加喜感，並不利釐清真相，追究責任。把他醫到穩定再來審，並非讓他脫罪，而是讓他能神智清楚的知道，自己必須誠懇的面對受害者與司法，無法逃避！


2. #責任能力：

我們上面講過，根據修法意旨，生理原因由醫師鑑定，而心裡原因則有法官充分根據各方證據判斷後判定，然而，實務上法官也常把後者丟給醫師，導致完全由醫師決定審判的過程，和立法精神明顯不符。


再者，許多輿論認為鑑定過程過於草率，其實一部分是沒有足夠鑑定時間與資源，或是在病患急性發作期，就趕著要求做出結論。給予鑑定團隊充分的時間，足夠的法律授權，提升刑事案例之鑑定費用，都是實務上需要的措施。反倒在同一審中找不同團隊多鑑定幾次，並不是最急迫的需求。


最後，對於「有罪但有心智疾病」的個案，目前修法方向朝向打開《刑法》87條的監護處分時間天花板，這點我也贊成。但須注意，過去立法時會設監護處分五年，是根據一些證據顯示（白話的說）「五年醫不好大概也很難好了」，問題是，延長監護處分後，對於高再犯風險個案，或是部分合併人格疾患，在精神症狀改善後，犯罪風險仍難以降低個案的長期拘禁場所如何規劃？ 在長期監護處份期間，是否能隨著病情調整治療模式？ 監護處份結束後，如何在社區追蹤（目前沒有具有約束力的機制）？這些配套措施，是延長年限以外，需要規劃的！


3.#再犯風險：

我們上面講了很多專業的風險評估方式，但是台灣實務上的鑑定報告會不會寫呢？答案一般來說是：沒有！


唯一和再犯風險評估較有關的法條是《保安處分執行法》第46條：「因有刑法第十九條第一項、第二項或第二十條之情形，而受監護處分者，檢察官應按其情形，指定精神病院、醫院、慈善團體及其最近親屬或其他適當處所。 」也就是說，決定風險高低的，竟然不是專家而是檢察官自己決定！ 各位可曾看過法官判監護處分，而檢查官送去慈善團體執行的？ 答案當然沒有，因此每個人都是送到地檢署簽約的醫院去，那就沒有所謂風險分級了。


這個目前或許還不是問題，但未來建立「司法精神病院」，或是監護處分年限可無限延長，病人病情改善，但仍有部分風險時，是否都仍需要昂貴的特殊單位住院治療？ 或是可以移轉到低強度的病房或社區治療？這就需要建立風險分級的制度！


所以大家就知道了，要改善我們的精神疾病犯罪鑑定過程，並讓病犯得到該有的刑罰，同時接受治療，這需要很完整的配套，除了《刑法》外，還要修《刑事訴訟法》、《保安處分執行法》以及其他配套法令，這也是我們要在國會繼續追蹤的！


明天，我們團隊會再跟大家報告英國、日本的風險分級方式，以及世界各國的司法精神病院狀況，還有台灣成立司法精神病院會面臨的實務層面問題，請大家繼續指教～