火山引擎 VeDI：剪映產品如何應用A/B測試驗證新功能效果_風聞

​

C端產品的用户體驗是決定用户留存率和產品使用率的關鍵，為了提升用户體驗，一些C端產品上線新功能前已經開始引入A/B測試，判斷新功能帶來的用户反饋。本文介紹剪映APP應用A/B測試驗證新功能上線效果的案例，分享C端產品通過A/B實驗驗證產品新功能的實踐經驗。

剪映APP是一款視頻編輯工具，提供剪輯功能，濾鏡、美顏效果，曲庫等資源。隨着用户規模增加，剪映希望對產品素材庫進行優化，幫助視頻創作者更高效地找到適配視頻的貼紙素材，提升素材庫的分發效率。

圍繞上述目標，剪映素材團隊設計了貼紙素材分發的新模型，並提出幾個不同的策略方向。他們計劃通過A/B測試，驗證新策略的效果，驗證在引入“非個性化分發模型”後，用户反饋是怎樣的。

剪映此次的A/B實驗將用户分為3組，隨機分配到對照組V1、實驗組V2、實驗組V3中：

• 對照組V1：不進行任何干預，按原運營人工配置貼紙內容方案進行。

• 實驗組V2：引入非個性化分發模型，推薦貼紙內容不打散，內容日更新

• 實驗組V3：引入非個性化分發模型，推薦貼紙內容打散，內容日更新

實驗組中貼紙內容是否打散的含義是指類似主題的貼紙是否集中出現。“貼紙內容不打散”，意味着同類主題貼紙將按順序集中出現，供用户選擇；“貼紙內容打散”，意味着同類主題貼紙在同一個位置時，每類僅出現1-2種。

一期A/B實驗的數據顯示，“非個性化分發模型”策略上線後，用户在“非搜索使用”素材場景中的貼紙使用率、導出率均有顯著提升，產品大盤數據也呈正向顯著。這意味着新策略會提升用户使用剪映素材的意願。因此在實驗結束後後，團隊確定了產品的迭代方向，後續也會將對貼紙面板迭代的經驗應用到其他素材面板的迭代中。

A/B實驗在產品優化的過程中起着舉足輕重的作用，在面對新功能上線或多策略擇優的場景下，A/B實驗可以成為業務“大膽假設、小心實驗”的堅實後盾。像這樣的A/B實驗，截至2023年中，在字節跳動已經開啓了240多萬次，每天都有4000多個新的實驗上線，在DataTester上同時運行的實驗有5萬多個。

火山引擎DataTester作為火山引擎數智平台VeDI旗下的核心產品，源於字節跳動長期的技術和業務沉澱。目前，DataTester已經服務了包括美的、華泰證券、博西家電、樂刻健身等知名品牌在內的上百家企業。這些企業通過不斷進行的A/B測試和優化迭代，提升產品與服務質量，從而實現業務持續的優化和增長。