前言：

測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。

他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。

我覺得很值得多看看，所以做了筆記跟大家分享。

這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~

..........

《硅谷增長黑客實戰筆記》曲卉



#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"

# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"


# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"


#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"


#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"


#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"

#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"

#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"

---九篇專訪的摘要全文---

#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters

-北極星指標是會變動的


-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。


-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶


-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。


-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響


-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。


-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求

#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell

-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。

-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。

-以每週的循環討論測試設計、結果與去留。

-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。

-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的

#9-3 GloStation / Postmates（送餐）, 陳思齊


-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。

-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。


-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。

-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。

-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等

-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。

-用少於10%的流量，可以做任何測試。

#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree

-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。

-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。

-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情

-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法

#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan

-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。

-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）

-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。

-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。

-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。

#9-6 Camera360(Photo Editor), 陳思多

-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）


-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本

-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。

-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。

#9-7Square(支付服務）, 羅揚 James Luo

-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。

-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。

-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。

-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』

-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。

-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』

#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白

-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。

-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。

-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。

-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。

-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)

-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。


#9-9 Keep(運動）/豆瓣(社群), 張弦

-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。

-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。

-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。

-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。

---以下是關於團隊的摘要---

#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"

# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"


#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"


#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"


# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”


#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”

# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”

# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”

關於孩子的計算能力，Peter Fu和史迪普一直很頭痛。

每次檢討彼得兔的數學作業或數學考試，看到一大堆粗心大意的計算錯誤、抄錯位置、單位寫錯、前面算對最後答案莫名其妙寫錯，我們都覺得很吐血。

一再要求他考試一定檢查再檢查，而且絕對不可以提早交卷，不過還是會因為粗心計算錯被扣分。Peter Fu小時候也常常因為粗心大意搞砸考試，甚至被老師痛揍（當年的老師沒在跟你客氣的～），可是我記得除了一再練習之外，好像也沒什麼特別好的方法。

經常算錯的結果，連帶孩子對數學有些抗拒，甚至沒有信心。我們要他多練習時，他的意願不高，甚至會有反效果。

假日早上，Peter Fu的論文告一段落，彼得兔的課外閱讀也結束了，因為下雨天冷，一家人被困在家裡。

「欸！我們來對決！」Peter Fu拿著兩張印好的數學題目。

「什麼東西？」彼得兔懶洋洋地看我。

「我們來比賽算數學！你相信我，我已經三十年沒有好好用直式做四則運算了，所以未必能比你厲害。題目不用多，十題就好，請馬麻幫我們計時，看誰正確率比較高！只要我們同分，就算你贏！」

「好啊！我們來比賽。」聽到要比賽和對決，彼得兔明顯出現興趣。

於是父子數學測驗就此開始。

習慣按計算機之後，突然回頭用直式算三位數乘法，稍不留意就會進位錯誤。我雖然很快就寫完了，但為了給孩子作榜樣，也有不能輸的壓力，所以反覆驗算。

「我已經驗算兩遍了！」雖然時間還沒到，我已經把考卷拿給史迪普。

這時候孩子明顯出現壓力。

「你再驗算一下，我們說不可以提前交卷的！」史迪普把考卷退給我。

「好的，我再反向驗算一次。」說著我提起筆再算一次。

「還有一分鐘，準備停筆！」史迪普看著時鐘告訴我們，比賽即將結束。

「完了！第三遍算的答案和前兩次不一樣！」Peter Fu突然發現問題，但時間有限之下開始慌張，更慘的是，第四遍又和第三遍不一樣～～

「時間到！停筆！」無情的史迪普把考卷直接收走，慌亂之下Peter Fu把答案改成第四次算的那個。

然後就錯了。

明星高中高材生與醫學院副教授，在三位數乘法上，輸給小學四年級。

哈哈哈哈哈

這跟我今天去參觀科普盛宴的感受，
有點像喔！！！

這位作者寫得太好笑了。
但是很貼切～～～

數學考卷上有這麼一道題目：
「便秘超商夏天飲料促銷活動，第2件6折，請問實際上是打幾折？」

二十多年前，剛學會打手槍還在就讀中二處於敏感時期的將軍不假思索地在考卷上寫下，
答：「8折。」

出乎意料但卻又理所當然，
數學老師給這答案一個大大的叉叉，
然後拿請教鞭用力鞭了我兩下，
對了，那時還是盛行體罰的時代，升學班要求又比較高，

我故作疑惑地問老師：
「哪裡有問題嗎？」

老師嚴厲地說：
「我叮嚀過你好幾次了，要寫出計算過程！」

我嘟了嘟嘴說：
「我認為就算我寫出計算過程，你也會打叉叉耶...」

老師露出一副求好心切的表情，語重心長地說：
「數學可以訓練人的邏輯，所以過程很重要，能明白確切將過程記述出來的人才是真的懂數學有邏輯的人。」

那時口條沒現在好，就算覺得哪兒不對也沒辦法反駁，
當然，應該是數學老師手上還緊握著教鞭讓我不得不閉嘴的可能性比較高...

過沒多久，數學考卷上出現了這麼一道題目：
「便秘超商夏天飲料促銷活動，第2件5折，請問實際上是打幾折？」

你沒看錯，這就是那時候的教育方式，
透過無限重複的填鴨訓練來讓學生學會如何「運用邏輯」，
這方法有沒有效，我是不敢保證，
但我很確定我每次看到分數就知道今天要挨幾下教鞭...

我在考卷上寫下我的計算過程：
（100+50）/200＝0.75

答：「7.5折。」

果不其然也毫無意外，數學老師依然給了我一個大叉叉，
我抗議：
「老師，我就說吧，就算我寫下計算過程你還是不會給分的！」

老師生氣地說：
「你寫那是什麼鬼？！」
然後他拿來模範生的考卷，指著那題說：
「你看誰誰誰是怎麼算出來的？！」

假設每瓶飲料賣X元，
兩瓶打折後為Y元，
得聯立方程式：
X+0.5X＝Y

--->Y＝1.5X

1.5X/2X＝3/4＝0.75

答：「7.5折」

我看完翻了個大白眼說：
「這他媽的有什麼差別？！」

我假設一瓶100，第二瓶就是50，兩瓶150，除以原價200，得7.5折，
簡單直接不拖泥帶水，怎麼就不行了？

為何假設X就可以算是「計算過程」，假設100就不能算是？

後來，長大了，我才明白，
所謂的「學數學可以訓練邏輯」根本就是鬼扯，
不然為何這個社會經過這麼多年的數學教育洗禮卻依然有那麼多人屬於邏輯智障層次？

讀歷史、公民、自然科學、物理化學、國文、英文難道就不能訓練邏輯嗎？

顆顆，教育失敗原因不言而喻，
我們不只是將答案給單一化標準化，
就連過程都嚴格管制不允許任何「B選項」出現，

記得國小數學題，
「198*198＝？」

我寫下計算過程：
198*200-400+4＝39204

老師拿著考卷當著全班罵了我好久，
我當時就想著：
「這樣算哪裡有問題？」

後來出了社會到一家上市電子大廠工作，
某天領班在計算產量與良率，臉上一副苦惱的樣子，
「3200除以4/3」，

我看了就隨口說了一答案：
「2400」

他一副不可置信的表情說：
「你心算好快喔！」

我回答：
「不會阿，除以4/3就是乘以3/4，3200除以4乘以3，不難。」

然後他想了好久，很不以為然地開始跟我爭辯：
「你亂算，怎麼可能是除以4乘以3！」

剛到部不久，不太理解對方個性，反正我就是對白癡智障不太有耐性，
我就聳聳肩說：
「反正結果對就好。」

那位領班不信還找人拿來計算機算，顆顆，
然後，我就跟那位「預言老闆要戰敗的田豐一樣」，
開始被排擠刁難，冷嘲熱諷，

後來想想，數學好壞跟邏輯基本上無關，
但應該是自己不會做人，不懂的跟風守秩序，
明知道用聯立方程式可以得分不挨打卻不用，
明知到敷衍對方說幾句好話就不會落得那下場，

其實鬼島的教育沒有失敗，
一切的一切都是在教育孩子如何在社會上生存，
是我們錯怪了教育高層的用心，

後來，看到一家人強迫著小二的孩子背99乘法表，
小朋友背的很吃力，我測試後發現他連十進位的概念都不懂，
我對這家人提出質疑：
「他學乘法可能太早。」

對方阿罵一副不以為然地說：
「就背下來，以後就是隨時可以用的工具，學習永遠不嫌早，我們也都是這樣長大的。」

我很不屑問她：
「那你知道超商飲料特價第2件5折，實際上是打幾折嗎？」

阿罵愣了愣，看就知道沒在算，應該說是也不會算，
她弱弱地說：
「9折？」

我搖搖頭，她立刻改口：
「8折？」

我翻了個白眼說：
「你的工具呢？」

或許這就跟弟子規差不多意思，逼著孩子背，
他背了，
「哇，底迪好棒，好聽話，好乖唷！」

產生了孩子成熟長大的假象，
事實上，
僅僅只是孩子學會了服從，

不過也對，
年輕人想在我們的社會生存第一件事不就是要「服從」嗎？

大家敲碗很久的
"在沒有計算機的時代,天文數字的乘法要怎麼算?指數、對數、三角函數居然可以幫忙算乘法?!"第三集
來了!!!
這集是大對決
邀請兩位選手--寶妮老師跟...寶妮老師
還沒看過的請先去看前兩集喔
........................................
Hello！我是Bonnie，大家最害怕的高中數學老師。
因為有感於現今網路多媒體遠比課本紙筆更有吸引力，所以決定除了在學校之外，也在網路上分享我的生活、教學、自修以及與學生相處的小心得。
如果你還是學生，你可以發現老師其實沒那麼討人厭😂如果你已經畢業，你可以在這裡找回一點青春回憶👩‍🎓👨‍🎓
Enjoy it and have a good time！
.........................................
IG: charmingteacherbonnie (Bonnie老師)
粉絲專頁: 寶妮老師
https://www.facebook.com/%E5%AF%B6%E5%A6%AE%E8%80%81%E5%B8%AB-Charming-Teacher-Bonnie-290462364959770/