如何用A/B測試，給企業增長開掛？_風聞
深响-深响官方账号-全球视野，价值视角。2021-06-21 20:47
在眾多的增長方法中，以數據驅動為核心理念的A/B測試是當下最為炙手可熱的嘗試之一。為了進一步釐清這一增長方法的來龍去脈、可行性與適用範圍、真正價值與常見誤區，「深響」在充分的國內外案頭研究基礎上，訪談到多位一線操盤手，沉澱出當下市場對於A/B測試、數據驅動的主流理解與實際落地應用的情況。
今天為您奉上增長實驗室系列第2篇，《如何用A/B測試，給企業增長開掛？》。
©深響原創 · 作者｜吳鴻鍵
字節跳動旗下的短視頻APP“西瓜視頻”，原本叫“頭條視頻”。但為了讓其在短視頻行業更具品牌辨識度，團隊希望更名。
在經過用户調研和多輪徵集篩選後，團隊選定4個待選名字進行A/B測試：西瓜視頻、奇妙視頻、筷子視頻、陽光視頻。最終的測試結果顯示：“西瓜視頻”和“奇妙視頻”的點擊率位列前二，分別比原名稱增加了5.22%、5.08%的點擊率。結合用户調性等因素綜合考量，“頭條視頻”最終更名為“西瓜視頻”。
無獨有偶，一次快手內部會議上，聯合創始人程一笑在聽到“只要公司開放更多資源，營收就能大幅提升”的説法時，也只提了一個要求：先做A/B測試。
上述決策過程反映的，其實是兩家數字化時代企業的共同思路：數據驅動、決策不完全依賴個人經驗判斷。而A/B測試，正是該思路的集合體現。
互聯網巨頭先行驗證
大洋彼岸，在Google、Facebook、Netflix、亞馬遜的傳道下，A/B測試已是風靡硅谷的增長利器。在中國，這一方法論先在頭部互聯網企業中應用起來。
目前，BAT均以內部自建的方式應用A/B測試。同樣，新一代互聯網巨頭字節跳動、美團、滴滴也都建立了自己的A/B測試平台，比如美團的Gemini、滴滴的阿波羅、今日頭條的Libra。
具體應用上，以即時配送業務為例，美團以“提出假設、定義指標、檢驗假設（A/B測試）、分析學習、發佈”五個步驟完成精細化的策略迭代，實現降本增效。類似的邏輯，滴滴應用在城市運營領域、字節跳動則更是把A/B測試應用到了產品命名、交互設計、推薦算法、用户增長、廣告優化等方方面面。
羅徵曾任騰訊廣告副總裁，也在谷歌公司任職八年，目前為“像素偏移” 聯合創始人與CEO。據他的觀察，目前互聯網大廠普遍接受A/B測試的邏輯。在算法層面，技術團隊基本都能認同A/B測試的價值。“國內（A/B測試）的起步雖然晚一些，但我不認為國內的發展比國外差。”
即使是同處於互聯網行業的中小企業，A/B測試的應用仍然較少。自建A/B測試平台需要人才和資金，推進A/B測試需要時間，要得出可靠的測試結果需要足夠的數據量。這些對於中小企業來説都是稀缺的。
此外，如果業務負責人缺少應用新工具的意識，那麼A/B測試再管用，在公司內部也難以推行。而退一步講，就算創業者樂於嚐鮮、想靠外包的方式應用A/B測試，市面上也沒有讓人一下就能想到的值得信賴的工具品牌。
互聯網行業尚且如此，傳統行業自不必説。雖然金融行業已有應用A/B測試的案例，但主要針對的還是互聯網相關的產品，比如金融類APP上的功能測試。
問題隨之而來：產業數字化轉型不是當前的大熱點嗎？既然A/B測試的價值已經得到巨頭認可，為什麼還沒有獲得廣泛普及？
這既有客觀條件的約束，也跟關鍵位置上的“人”對於A/B測試的感知有關。
對於中小團隊來説，A/B測試的成本不菲，無論是時間、研發，還是對應的機會成本。創業公司從0到1的時候，尤其看重迭代速度，晚幾天發佈版本，目標市場可能就會被對手捷足先登，這樣的損失沒有人願意承受。
再者，A/B測試存在較高的技術壁壘。分流是A/B測試的基礎，企業需要建立靠譜的A/B測試平台，保證科學的流量分割、流量層直接的正交互斥，使得實驗不受干擾。此外，A/B測試平台的指標設計和解讀、置信度的統計方法，也對應着不小的研發資源投入。
成本和難度之外，A/B測試也對企業本身的數據基建提出要求。有些企業缺乏堅固的數據基建，並不具備使用A/B測試的能力。而當一個既認可“數據驅動”理念、數據基建也過關的企業想推進A/B測試時，它會發現，即使能夠對數據進行聯動打通，市場上也少有成熟、可靠的A/B測試產品可供使用。
目前，國內獨立第三方A/B測試工具還處於相對分散的狀態，尚待龍頭企業樹立標杆。部分互聯網大廠雖然錘鍊出了一些可靠的A/B測試產品，但是對外開放還處於起步階段。
至於關鍵位置上的“人”的問題，一個典型的場景是，部分掌握話語權的產品經理更願意相信自己對於人性的認知和對於審美的把握，在其看來，數據只是輔助，真正影響決策的，還得是人的經驗和洞察。
這或許不是行業環境的問題，而要追溯到中外教育理念的差異。A/B測試的理念從根源上更貼近西方教育中的邏輯、實驗、辯證思維。在國外，A/B測試基本不需要在理念層面做推廣，而國內的情況則明顯不同。
諸多的客觀約束、加上人們對A/B測試的認識存在差異，種種因素的疊加下，行業存在不少對A/B測試的誤讀和兩極化判斷。但好在，已經有不少資深從業者躬身入局，他們的切身感受，正是破解誤讀的關鍵。
A/B測試的三大誤區
根據「深響」與互聯網資深從業者，尤其是有過A/B測試實踐經驗的專業人士的交流，目前行業內存在的誤讀和兩極化判斷，主要體現為以下三大誤區：
誤區一：A/B測試是在浪費資源。
不只是中小企業，大公司內部在迭代業務時也會存在類似的質疑。除了上文已經提到的搭建測試平台所需的成本，A/B測試的資源投入還以更直觀的形式體現於執行過程中。
一個最簡單的例子，某公司旗下的APP想要提升註冊轉化，此時，業務部門想應用A/B測試，準備測試方案的過程需要協調各部門（比如設計、產品、運營）共同完成，而測試過程本身也是個需要投入時間的事情。測試做完，如果A/B測試效果不夠突出，公司內部很容易出現“折騰一趟不划算”的想法。
成本，是A/B測試無法規避的問題。“越小的公司，對成本的容忍度就越低。這永遠是一個取捨的問題”，羅徵表示。
不過，小公司應用A/B測試的情況也不算罕見。早在2012年，有瞰學社創始人&CEO、知名互聯網運營專家黃有璨就接觸過A/B測試，豐富的互聯網從業經驗和創業經驗，讓其對A/B測試的價值有更切身的體會。
在黃有璨看來，如果公司業務處於早期，那麼A/B測試稍微控制不好，肯定會造成一定資源浪費。但當業務比較成熟時，管理者思考的是：如果不做精細的A/B測試，要承擔的風險是什麼？
“假如這個測試能直接影響一年的收入，那麼不做A/B測試，我要承擔的風險可能是浪費三四個月的時間（在錯誤的決策上）。如果我投入資源做個詳細的A/B測試，可能要花一百萬或兩百萬，但這能幫助我節省下來三到四個月的風險，這筆帳肯定能算明白。”黃有璨告訴「深響」。
言而總之，A/B測試的成本問題，説到底是性價比問題。而看待A/B測試的性價比，不能只是靜態地看測試的瞬間，而是要放長線來考慮。如果一次A/B測試幫助企業前置思考，避免了錯誤方案的執行，那絕對是“花小錢辦大事”，不存在資源浪費一説。
如何評價一個A/B測試是好是壞？在黃有璨看來，一方面要看A/B測試本身的成本夠不夠低，或者效率是不是最高，即財務上要能算得過來，測試反饋也要足夠快；另一方面，A/B測試結論的科學性和準確性和成本同樣重要。
交流中，黃有璨多次提到了變量控制的難度——用户的構成、時間上的差異、以及用户來源渠道的不同等，都會影響A/B測試的準確性。只有當測試環境相對乾淨，不受額外變量的干擾，測試結果才有參考的價值。
“誰來設計A/B測試，他的思考或邏輯清晰不清晰，他是否能借A/B測試的信息反饋快速確定結論。這件事其實是更加重要的。”黃有璨表示。
小公司需不需要A/B測試？這個問題其實已經把A/B測試預設成“大費周章”的事，但流程只是表象，A/B測試真正重要的是其“對照實驗”和“數據驅動”的核心理念。
黃有璨向「深響」介紹了一段親身經歷，在公司業務還未成熟的時候，為了測試一個課程的詳情頁轉化效率，黃有璨自己做了兩三個版本的詳情頁，將其放在不同的用户樣本中進行測試，以“人肉”手段跑完了A/B測試，最後選用了數據最好的詳情頁版本。
在黃有璨看來，A/B測試不是巨頭的專利，它小到“一個人都可以做”。當業務模型得到驗證，團隊規模發展到幾百人時，需要做A/B測試的場景也會越來越多，這時公司可以考慮讓第三方工具幫忙提升效率。
上述經歷其實都在説明一件事：做不做A/B測試，跟公司規模無關。如果在意成本問題，那麼接入第三方工具會是一個值得考慮的選擇。
在這方面，羅徵向「深響」着重表達了自己對於小公司接入第三方工具的認可。“大部分小廠可以採用專門的SaaS服務，大廠通常會因為需求比較複雜和獨特而傾向自研。”
認為A/B測試浪費資源也好，認為小公司不需要A/B測試也好，這些其實都是可以通過“算賬”解決的問題。全盤否定不可取，而盲目買單A/B測試的做法，同樣不是明智之舉。
誤區三：A/B測試是萬能的。
互聯網造就了諸多增長神話，也顛覆了各行各業的底層邏輯。因此，不少從業者將“數據驅動”、尤其是以數據驅動為核心理念的A/B測試奉為信仰，他們把A/B測試當作評判一切的標準，試圖將所有業務進行量化。
這是個典型的“手拿錘子，看什麼都是釘子”的思路。
據羅徵總結，A/B測試更適用於用户數量大、且用户之間關聯度不高，結果容易以數據衡量的領域，如廣告行業、搜索系統等。如果行業本身並不具備這些特徵，或者壓根沒法執行A/B測試，那麼A/B測試的價值就很難體現。
羅徵向「深響」描述了一個無法應用A/B測試的場景：大部分內容行業，比如綜藝節目，就基本不可能做A/B測試，而且做產品原始設計的時候，其實也是不能A/B測試的。
“有些事情就沒有辦法A/B測試，或者A/B測試的成本過大，你就做不到了。”
A/B測試的真正價值
生於硅谷的光鮮背景、加上國內互聯網大廠的帶貨，A/B測試概念的熱度與日俱增。但太高的起點也讓其被太多模糊焦點的信息所裹挾。糾偏的第一步，在於回本溯源，回答一個所有企業都關心的問題：A/B測試真正的價值到底是什麼？
第一點，最直觀的一點，A/B測試能真正落地數據驅動，幫助企業科學決策。在傳統的經驗主義運營模式下，業務負責人能力再強，也難免有失手的時候。但作為一種前置驗證的手段，A/B測試的價值不僅能幫助企業準確評估哪個方案更好，還能評估出好多少、為決策提供量化參考。
今日頭條APP曾因整體UI風格偏大齡被詬病。為了吸引更多年輕用户和女性用户，也為了在可接受的負向範圍內改一版用户評價更高的UI，今日頭條通過控制變量，開展了多次A/B測試，變量包括頭部色值飽和度、字號、字重、文字間距、底部tab icon等。
經過多次測試，今日頭條APP最終找到了一套綜合效果最好的UI版本。新UI上線4個月後，圖文類時長顯著提升1.66%、搜索滲透顯著提升1.47%。高頻用户逐漸適應新UI的同時，用户調研也顯示，年輕和女性用户對新UI表現出了更明顯的偏好。
更重要的是，在不斷的測試過程中，企業還將沉澱知識，建立起一套科學的運營、優化體系。這樣一來，業務的創新不再高度依賴於某個關鍵位置上的“人”，領導者敢於放權，自下而上的創新得以實現。
第二點，同時也是科學決策的另一面，A/B測試能幫助企業規避風險。
假如一個帶有錯誤特性的新版本全量推給用户，影響的可能是千萬、甚至上億用户的體驗，後續挽回損失的代價也同樣讓企業難以承受。A/B測試可以通過分流出小部分流量進行測試，將負面影響控制在實驗範圍內，防止錯誤決策造成更大的損失。
“A/B測試本質上，是幫助我們提高選擇、判斷的準確性，以及提升決策時的效率，降低成本。”黃有璨告訴「深響」。
第三點，從企業發展的長遠角度看，A/B測試是企業複利式增長的新標配，其儘可能地讓企業的每個決策都帶來正向收益，持續循環，最終實現指數級增長。
一家公司，從初創企業到獨角獸，再到成為行業巨頭，整個過程中最令人驚歎的地方往往是：這家企業需要在每個重要節點都做出正確的選擇。如果稍有不慎，哪怕只是一次錯誤，也可能讓原處於高歌猛進狀態的企業走起下坡路。
道理不難懂，難點在於，沒有人能看到未來，只能盡最大努力基於已有信息作判斷。而A/B測試，是一個把消費者行為數據化、用數據對行為進行量化反饋的過程，這對企業預判趨勢大有裨益。
從心理上，用户往往不知道自己要什麼，但其選擇偏好其實已經反映在了行為上，只是市場尚未有相應供給，告訴他們“你要的是這個”罷了。通過A/B測試，企業能夠知曉消費者的選擇偏好，由此動態做出決策，這相當於把“用户中心”往前再推一步，變成“用户決策中心”，確保每個決策都為企業帶來正向收益，實現複利效應。
簡言之，A/B測試讓業務迭代、新品研發能夠有的放矢，原本不確定的決策，將變成確定的決策，企業得以精準洞察商機。
除了驅動增長之外，A/B測試還可以幫助企業“做減法”。當前，很多企業推出了五花八門的服務，試圖在廣撒網中找到增長密碼，但用户體驗不增反降。而A/B測試，恰能幫助企業精準地“做減法”，幫用户簡化場景中的選擇。
最後，從更底層的理念層面看，A/B測試是落實數據驅動理念的最佳工具。讓理念得到落實，進而輻射、滲透到企業的血脈中，才是A/B測試更大的價值。
小到UI設計的改變、轉發按鈕的放置，大到組織的迭代升級，A/B測試的價值可以貫穿企業增長的全過程。
但要做好A/B測試並不容易，需要有足夠專業的人來設計測試方案，也需要決策者對A/B測試有足夠的認同。這樣，A/B測試才不至於在推行之初就阻力重重。
萬事開頭難，何況是一個投入先於效果、且極其考驗決策者決心的工程。唯一可以確定的是，A/B測試的重要性日益凸顯，價值已經非常明確。挑戰當然有，但當企業真正掌握這把增長利劍時，業務增長路徑就會豁然開朗。