前言：

測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。

他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。

我覺得很值得多看看，所以做了筆記跟大家分享。

這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~

..........

《硅谷增長黑客實戰筆記》曲卉



#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"

# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"


# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"


#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"


#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"


#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"

#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"

#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"

---九篇專訪的摘要全文---

#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters

-北極星指標是會變動的


-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。


-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶


-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。


-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響


-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。


-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求

#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell

-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。

-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。

-以每週的循環討論測試設計、結果與去留。

-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。

-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的

#9-3 GloStation / Postmates（送餐）, 陳思齊


-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。

-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。


-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。

-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。

-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等

-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。

-用少於10%的流量，可以做任何測試。

#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree

-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。

-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。

-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情

-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法

#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan

-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。

-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）

-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。

-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。

-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。

#9-6 Camera360(Photo Editor), 陳思多

-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）


-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本

-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。

-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。

#9-7Square(支付服務）, 羅揚 James Luo

-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。

-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。

-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。

-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』

-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。

-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』

#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白

-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。

-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。

-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。

-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。

-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)

-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。


#9-9 Keep(運動）/豆瓣(社群), 張弦

-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。

-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。

-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。

-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。

---以下是關於團隊的摘要---

#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"

# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"


#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"


#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"


# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”


#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”

# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”

# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”

#留言處抽獎活動
#溫感卸妝新選擇
#HALENA保養型溫感卸妝凝膠
小花相信"洗卸"是保養的第一步☝🏻
很多人一回到到家就想倒頭就睡
尤其是冬天真的冷到連水都不想碰
✨HALENA保養型溫感卸妝凝膠✨
是我非常愛用得品牌🥰
其神奇溫感技術配上卸妝時按摩溶解彩妝
我非常喜歡它的原因是:
🌸成分99%天然又溫和
🌸日本製造，歐盟天然有機成分認證
🌸嫁接睫毛安心使用
🌸洗卸同步進行好方便
🌸有機花草精油成分，放鬆每一寸肌膚
🌸溫熱感就像做臉spa一樣舒服

洗後不緊繃!這才是真保養型卸妝💧
很多人有酒糟肌膚、異位性紅腫
HALENA保養型溫感卸妝凝膠 絕對可以放心使用
它的溫和成分是連嬰兒也可以使用唷👶🏻
像我的寶貝們出門有塗防曬乳
我也會使用這瓶幫他們清洗掉防曬🛀

容易長黑頭的人更要使用‼️
其溫感能將毛孔打開，帶走髒污及拍密阿~
只要將阻塞毛孔的髒污洗淨
肌膚就不容易暗沉、長粉刺
日本妹幾乎人手一瓶，台灣已經有代理商囉
快來試試小花真心推薦的卸妝新體驗
👉🏻購買網址:https://pse.is/LTLCH

#預告團購20191121

再不防曬就準備變小煤炭吧🌚

結團倒數👉👉已結團

最近終於用到了好用的「海洋友善防曬」啦～
不僅有乳液狀的，甚至還有方便的噴霧罐
而且價格親民，大約是一般海洋友善防曬的3折左右

怕你們沒耐心看全文，購買連結先奉上：https://fanshopping.cc/GUiYk

在這邊先標示出我個人覺得很值得推的重點
✔都是海洋友善防曬-不含二苯甲酮不傷害海洋
✔低敏，敏弱肌與寶寶都適用
✔SPF50+高係數
✔不黏不油不咬皮膚
✔防潑水、抗汗
✔防曬時效長
✔臉部防曬與底妝不打架
✔噴霧罐可大面積擦拭超方便
✔噴霧罐可倒噴不卡卡
✔噴霧款有潤色效果，可當身體素顏霜

以下是我長長的肺腑之言，你們慢慢抗啊！！

市面上的海洋友善防曬種類真的太少
我十幾年來一直使用的雅X質地又真的比較黏膩
雖然每次直播有講，但我總覺得只要一黏大家接受度就很低
（沒辦法，台灣天氣真的黏到爆，大家忍受不了我也是可以理解的）

從還沒開始學化妝我就已經很重視防曬
因為我媽一直很在意我是否有曬黑...
（相信大家有聽過那個我跑出去玩沒被罵，曬黑反而被罵的故事）
畢竟太陽曬過頭的話不僅是曬黑
輕微的會長斑、老化，嚴重甚至會造成皮膚癌！！

所以之前有人說為了不破壞海洋生態而不擦防曬
我心裡想說你們真勇者而且你們不知道有個東西叫做「海洋友善防曬」嗎？

OK話題回來，我們扯遠了。

總之這10幾年來我一直非常重視防曬
所以我臉上也真的沒什麼斑
之前做一些肌膚檢測也是在這個項目得分（？）最高
相對來說黑色素沉澱是非常少的

像我的好友品君一直不太在意防曬
結果最近她跟我說不防曬真的不行
因為她發現自己真的突然長了很多斑

之前直播時也曾跟網友們聊到過
生活中的強光無所不在
甚至連接睫毛的美容燈、看牙醫時的醫療燈
都可能讓妳曬黑長斑啊～

所以隨時做好防曬準備絕對是必要的！

但如果是老粉一定也知道
我一直以來臉都比身體白很多
主要原因就是…我很懶得擦身體防曬

畢竟身為一個大隻女
我擦完全身真的是...要花很多時間內
常常我都是穿個薄外套
啊真的熱的時候都忍不住直接外套脫下來被曬
不知不覺就黑了。

再加上身體的海洋友善防曬很少
如果真的去海邊、去玩水
我主要就是穿水母衣或盡量躲在水下
只有臉有擦好防曬而已

這種情況基本上就是佛系防曬法
曬起來紅一點黑一點或曬到曬到脫皮往往是一瞬間的事

這次用到妍霓絲的防曬真的是覺得我的需求它全包了！！
不管是淺藍瓶的乳液款，還是深藍瓶的噴霧款
都是低敏、高係數、海洋友善、防潑水抗汗

淺藍瓶的乳液款適合擦在臉部
敏弱肌可以用以外，連小寶寶都可以使用
我自己的話還滿常在妝前使用或1:1混合底妝使用
因為它質地不會太黏、也不太會破壞底妝妝感
對我來說是感覺這個會很耐曬的質地www

深藍瓶噴霧款的話是臉跟身體都可以用
最主要就是說可以快速大面積噴上防曬
然後因為可以倒噴，所以連脖子後面、後背之類的都能噴到
（終於不用讓脖子後面、後背特別黑了）

然後深藍噴霧款還有一個好處
就是它會有一點點像素顏霜那樣的潤色效果
（其實素顏霜的發想好像就是從物理性防曬的成分來的）

所以說，也是可以當成身體的素顏霜來用！！
對我這種身體比臉黑的人來說真的是福音啊～
一石二鳥，防曬的同時還兼膚色修飾
而且就跟之前介紹身體素顏霜用法的時候一樣
真的很怕黏的人（雖然我是覺得這款真的還好沒很黏）
也可以噴完再用痱子粉定妝，任何痱子粉都可以喔

噴霧瓶有分大罐小罐
我個人是大罐放家裡，出門前噴
小罐隨身攜帶，太陽太大隨時補

因為兩款都是SPF50+ /UVAUVB都四顆星
耐曬度、防曬力我覺得也很OK

那有人會問...如果已經曬下去了怎麼辦？

所以我們這團有順便團凍膜XDDD
如果你不小心已經曬下去了，怕黑怕脫皮
或是單純要深層保養讓毛孔比較聽話的話
也可以敷一下凍膜急救！

黑色像龜苓膏的是毛孔吸塵器凍膜
（碳深層喚白黑凍膜）
以下各種狀況適用
1.容易出油、角質厚
2.毛孔粗大、容易長黑頭
3.曬後皮膚黑、皮膚紅

敷後對比我幫大家放在留言啦，有興趣可以直接點留言看

紅色像草莓醬的是玫瑰花保濕晶凍
主要是補水、強效保濕
以下各種狀況適用
1.皮膚乾燥、脫皮、敏感
2.細紋多、毛孔乾燥粗大
3.曬後皮膚黑、皮膚紅

像我自己因為皮膚敏感
喜歡敷凍膜大於傳統布面面膜
因為布面面膜有時候材質會引起敏感
有時候是裡面的精華會有刺激成分引起敏感

相對來說凍膜就比較不會引起敏感
也不會有布面面膜回滲導致過乾的狀況
（回滲過乾就是...有時候你面膜敷太久，反而會把你臉上的水分吸走）

好，講那麼多，終於要跟你們講這檔團購優惠啦！
因為跟原價比真的是滿優惠的
所以才答應廠商給他們用團購的啦
不然平常寫葉佩雯沒業績壓力我也是滿爽的啊（？）

✔防曬乳*2官網原價NT1198➤團購價NT990
（我平常用的雅X一瓶就要NT1280了）
✔防曬噴霧兩大兩小官網原價NT1154➤團購價NT899
✔凍膜組合官網原價NT1018➤團購價NT820（送洗顏蜜）
✔任選三組開團價再打95折

總之只有4天，請大家把握機會！！

———————————————

團購網址： https://fanshopping.cc/GUiYk
團購時間：2019-06-10 20:00到2019-06-14 23:59

預計出貨日期:2019-06-27
本團可刷卡、實體ATM轉帳，選擇刷卡成功會有付款完成頁面，選擇實體ATM完成會取得一組匯款帳號，請看仔細喔～

本團與Fanshopping開團樂合作，若有下單或匯款等問題可同步詢問客服～官方line客服：請搜尋ID:@fanshopping(要打@喔）