前言：

測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。

他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。

我覺得很值得多看看，所以做了筆記跟大家分享。

這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~

..........

《硅谷增長黑客實戰筆記》曲卉



#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"

# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"


# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"


#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"


#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"


#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"

#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"

#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"

---九篇專訪的摘要全文---

#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters

-北極星指標是會變動的


-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。


-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶


-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。


-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響


-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。


-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求

#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell

-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。

-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。

-以每週的循環討論測試設計、結果與去留。

-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。

-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的

#9-3 GloStation / Postmates（送餐）, 陳思齊


-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。

-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。


-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。

-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。

-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等

-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。

-用少於10%的流量，可以做任何測試。

#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree

-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。

-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。

-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情

-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法

#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan

-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。

-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）

-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。

-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。

-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。

#9-6 Camera360(Photo Editor), 陳思多

-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）


-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本

-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。

-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。

#9-7Square(支付服務）, 羅揚 James Luo

-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。

-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。

-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。

-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』

-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。

-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』

#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白

-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。

-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。

-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。

-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。

-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)

-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。


#9-9 Keep(運動）/豆瓣(社群), 張弦

-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。

-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。

-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。

-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。

---以下是關於團隊的摘要---

#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"

# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"


#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"


#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"


# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”


#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”

# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”

# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”

原本要去找朋友的，搭了火車來到陌生的城市，可我遺失了朋友的地址，最壞的打算就是再搭一趟火車回去，把抄錄朋友家地址的那本通訊錄找出來，但是這樣做要耗去更多的時間，我想試著冒險。

　
還記得他曾提過，他家住在一所大學的附近，能夠辨識的地標是一座塔樓，塔樓的頂端有長著蝙蝠翅膀面目猙獰的妖魔浮雕。我邊走邊問，問路人通往大學的路要往哪兒走，走過七條大街，又通過無數迂迴的小巷，終於找到大學的建築物。

　
我在那裡遇見了晴。晴是建築所三年級的學生，她在系館門口散發傳單，是關於一場學術研討會，她問我有沒有空，幫她填一份問卷，我回答她說，這種事我並不擅長，可以說是十分討厭，不過，我倒想看看她們上課的地方，晴並沒有因為我拒絕填問卷，臉上寫著不愉快的表情，反而很熱情地邀請我去她的研究室瞧瞧。

　
晴和我走過樹蔭濃密的校園，然後走進一幢古老的學院建築，她帶著我往地下層走，這裡完全沒有電梯，或任何屬於現代化的電器用品，我們提著油燈，足足走了九層樓，牆壁是古堡式建築常見的那種堅硬岩壁層，像是依山建築的穴居式建物，我才覺得納悶，為何要走這麼久，地下室的鐵門，咿咿呀呀地打開了，一位上了年紀的老者推著眼鏡，打量著我們。晴突然間就把我推進門裡，然後，門就重重地關上。

　
老者穿著一襲白色的實驗袍，房間裡充斥著實驗室難聞的惡臭，像是從事某種生化實驗的地方，有許多儀器和試管，老者的身上也纏繞著線路，他的眼鏡背後有一道森冷的目光，但我判斷他的視力並不好，因為那是一副重度老花眼鏡，而他的瞳孔呈現昏昧的白濁色，他必然是憑著聽覺來確認我所站的位置，但我毫無反抗地走向他，並且在他身旁的椅子坐了下來，這裡根本不是什麼建築所，而是一處隱密的基地，顯然，我掉入一個未知的陷阱裡，茫然不知下一步會發生什麼事情？

　
我當然很緊張，冷汗從頭頂流到背脊，老者一把抓住我的手臂，技巧熟練地綁上細的橡皮管，然後，從冰庫裡取出一個小瓶子，裡頭裝著綠色的液體，他說忍一下就過去了，然後立刻替我注射高單位的合成血清，說這對我有幫助，我完全不知道該如何反抗，意識無法順利地運作，可是所有的畫面都在視網膜上記錄了影像，我忘不了，血清注入體內那種灼燒的感覺，也忘不了老者詭異的笑容，他告訴我，這附近有個製藥廠，他們很需要有人來測試新藥的成效，所以找到了我來做實驗，並且，往後要繼續追蹤治療，大致上就是這樣，我不需要知道太多。

　
沒多久我就昏過去了，時間過了好長的一段路，只覺得餓，在地下室裡完全不知道外面現在是白天還是晚上，老者聽到我醒過來的動作聲，隨即遞給我類似藥丸的東西，並示意我服下然後喝一杯開水，那東西可以說完全沒有味道可言，也有可能是我的味覺麻痺了，說不上來，短短數秒之間，我可以感覺到它在我胃裡的變化，怪異的是，饑餓感消失了，取而代之的是恍惚的幸福感，飽足感，說不上來的奇妙。

　
我能夠感受，像是蒐集淚滴一樣的慢慢去感受身體的變化，這個密閉的空間，哪兒也不能去，也沒辦法察覺時間流逝的速度，行為科學裡有一種感覺遮斷的方式，被運用作為逼供犯人，或是對戰俘、敵方間諜進行洗腦，就是利用閉鎖的空間和光線，或是不給犯人食物，隔絕任何感官的刺激，使其心理變得易感脆弱，容易接受暗示，突破其心防。而夢裡的我，正經驗著相同的恐懼，我想離開這裡，想知道我的家人是否察覺到我失去了連絡，我的朋友是不是正焦急地等待著我的到訪，這世界──龐大的社會機器是不是還在正常的運轉，完全不需要我這顆螺絲釘？

　
在地下室裡，你什麼事也不能做，於是，我想了很多有關哲學的問題，此外，我的雙腳完全不聽使喚，就像植物人被栽種在溫度和濕度、光線都控制良好的人造花園裡。每天，老者會定時收發電子郵件，那是他和外面的世界唯一的溝通方式。他似乎從來不需要睡覺，工作狂似地專注盯著那些測量儀列印出來的統計數據，老者的視力不好，可是我發現每當他在「看」東西的時候，彷彿他的手上另外長了某種特殊的視覺細胞，在反覆觸摸與確認之間，他會了然地點點頭，然後，把報表放進抽屜裡，繼續做其它的事情。

　
第三十六次開啟電子郵件的那天，我終於掙脫了腳上的鎖鏈，並說服老者讓我出去透透空氣，這段時間裡，排尿的動作都是利用導管來進行，老者說，血清注射之後的一個月內是觀察期，不能隨意亂動，有一台攝影機固定以某種角度，日後一日地記錄我的行為變化，記錄的過程會自動轉檔以數位形式儲存在伺服器的硬碟裡，行動被限制之外，還要被監視著，非人道的待遇，使我感覺到這裡簡直就像是監獄，一個沒有出口的絕望地獄。

　
過了約莫三個月那麼久吧，我是依老者開啟電子郵件的次數來計算的，他是那種一絲不茍的典型摩羯座，所有的行動都像是用尺去丈量一般的確實精準，看起來不像是上了年紀的人，活力充沛從來也不會累，只是說話的速度比一般人來得慢，也沒有看過他進食，時間一到，他會坐進一個類似美容院，燙頭髮的太空罩，接受光線的照射，老者說這是治療，因為長年待在不見陽光的地下室，需要定期接受模擬的日光治療。

　
三個月裡頭，我前前後後脫逃了五次，我知道建築系館，其實是以學校為掩護的軍事醫院，用來從事「某種實驗」，雖不清楚那是什麼，但是我的體力已大不如從前，每次我想要逃出這裡，總會遇上年輕的學生堵住我的去路加以盤問，這裡的學生都是職業軍人，定期做巡邏的保全工作，以學生的外表從事不為人知的地下工作，他們每天都換口令，無法正確說出口令的人，就會被送到訓導處，聽候處置，他們幾乎已經認識我，因為地下室的實驗單位是軍方的重點單位，我的身體被植入了監控用的電子晶片，學生們只要用探照燈(如手電筒一般大小)，照在我右手臂上，就會發出嗶嗶叫的聲響，接下來我就被送到訓導處，被迫在電椅上進行所謂的精神衛生治療。

　
我永遠也忘不了，逃出建築系館的那天早上，這次很有技巧地，繞過了學生的監視，從水管攀爬過圍牆，然後從校園後方的防火巷逃出去，沿著水管攀爬的時候，我看見系館門口有許多漂亮的大學女生，她們依舊熱情地散發演講的傳單，有些人會停下來看傳單上的內容，也有落單的一兩個會跟著女學生走進系館的地下室，我不敢叫住他們，因為怕會被發現，但我知道系館的地下有如迷宮一般的通道，其實不只有老者那間實驗室而已，只是巧妙地被掩護起來，女學生們的甜美笑容，不曉得為什麼，此刻看起來卻教人感到不寒而慄！

　
翻過校園的圍牆之後，我想起為何來到這座城市的目的，我應該去找到那座塔樓，拜訪我的朋友，或許再怎麼解釋，他也無法理解我所經歷過的遭遇，只是現在，我還是不知道那座塔樓到底在哪裡？

文 / 銀色快手
圖 / 田中達之

6月5日今晚 8pm, PNN網路轉播 NGO觀點：
「從心出發! 給孩子適應的力量。」

與談人: 芯福里情緒教育推廣協會理事長 楊俐容
諮商心理師 林麗純
精神科醫師 李光輝

轉播連結：http://pnn.pts.org.tw/main/

大學生鄭捷在捷運板南線上隨機砍殺乘客，造成4人死亡、24人受傷，震驚全台灣；李姓男子凌晨返家途中，遭16歲少年從背後刺傷，兇嫌落網後供稱心情不好…。最近密集發生讓人恐懼又困惑的犯罪事件，有人歸因於家庭功能失調、父母機能失能、學校功能失靈、社會功能失序，這是否太過簡化事件的因果？又是否太過廣泛地找歸因？從這些事件中，我們可以反思些什麼？有可能避免日後再發生類似的悲劇嗎？

和鄭捷相處過的師生都認為，他在學校表現很正常、沒有異狀。然而犯罪不會一夕造成，如何從蛛絲馬跡中尋找潛伏的跡象呢？在發展出極端行為之前，孩子們的內心又是怎麼樣的狀態呢？他們內在想發出的聲音是什麼？誰聽見了？誰聽懂了？

媒體報導，鄭捷曾表示念書好累，做事也很累。「累」這個字，似乎一直出現在從小到大的學生心中。《親子天下》調查四年級到九年級國中小學生及輔導教師，問卷結果顯示近九成六輔導老師認為，有「情緒困擾」的學生愈來愈多。「人際困擾」和「課業壓力」則是中、小學生最大痛點。為何孩子從小就覺得壓力大？孩子的感受很容易被父母忽略？家長認為孩子只要捱過國中、高中的升學壓力期，長大以後就自然沒事了？家長、老師如何引導他們抒發負面情緒呢？

然而面對孩子日趨複雜的情緒變化球，學校第一線教師的專業裝備足夠嗎？鄭捷事件發生後，有立委質疑學校輔導不夠積極，未能發揮功效。然而，大學生泰半年過十八歲，師長該如何介入輔導才恰當？「學生輔導法」希望把各級學校都涵蓋其中，把學校所有教職員都賦予責任，把專業諮商人力導入校園，以所有學生為主體採取三級預防措施。這樣做可以發揮什麼效果？

學生只是生命的一個階段。每個人從家庭中長大，進學校唸書，出社會工作，然後又獨立成家。身處不同階段的人，該如何調適自己和環境的關係？身為家長，又該怎樣與不同階段的子女互動？認真聆聽與真誠陪伴，就是最好的關懷。週四晚間八點NGO觀點，從心出發! 給孩子適應的力量。

轉播連結：http://pnn.pts.org.tw/main/