百度研發出大模型加持的廣告推薦系統，轉化率提升3.6%

（文/張睿佳 編輯/張廣凱）

上月，百度團隊於arXiv上發表論文，介紹了一種名為COBRA（Cascaded Organized Bi-Represented generAtive Retrieval）的新算法框架，該框架被應用於提升生成式模型在廣告推薦系統中的使用效果。

根據文章介紹，工程師把COBRA投放到真實環境，在 A/B 測試中增加了3.6%的轉化率，ARPU（平均每用户收入）增加4.15%，目前該框架已經被應用在百度廣告推薦業務上。

利用生成式大模型來提高廣告推薦的準確性，是很多企業都在做的嘗試。早在去年，谷歌就提出了一種生成式檢索推薦系統範式TIGER。

百度團隊的論文提到，谷歌的TIGER是利用 Transformer 編碼器-解碼器架構中的一系列稀疏 ID 作為輸入，直接預測下一個項目的稀疏 ID。而百度這篇論文的標題就是“當稀疏遇到稠密”，相較TIGER做出了進一步改進。

據悉，COBRA是一個融合生成式和密集檢索的框架。

在生成式推薦中，模型需要預測的目標對象（item)是一個個綜合體，並非簡單的token。所以在技術上，需要明確如何表徵，並進行序列建模。

百度最先採用的是純文本表徵和LLM建模策略。該策略提升了對用户意圖的理解能力但是運行成本較高，同時在表徵和建模中存在不匹配的問題。

為解決該問題，百度團隊又使用了稠密學習和對比學習度量，但這個方案缺少興趣探索過程，建模複雜度較高。

在受到谷歌推出的推薦系統生成檢索的TIGER方法啓發後，團隊又嘗試了稀疏表徵和稀疏ID生成。

這個過程中運用到一個名為“殘差量化變分自編碼器（RQ-VAE）”的技術。顧名思義，該技術綜合了殘差學習、量化技術和變分自編碼器三種方法。可以減少信息損失、提高模型的泛化能力，並通過優化模型參數，改善重構效果。

但是稀疏表徵帶來的信息缺失，使得該方案在捕捉用户偏好的精細變化時效果較差。

最後，團隊提出了COBRA框架，稀疏稠密級聯表徵和⽣成度量⼀體化方案，並達到了SOTA 級別的推薦性能。

在該框架中，稀疏ID負責提供穩定的類別基礎信息，稠密向量確保模型捕獲高級語義和細粒度細節。模型在稀疏ID的指導下動態地細化稠密向量，可以獲得更加全面的目標對象（item) 特徵。同時端到端的訓練方法，可以捕獲高級語義和協同信息。

實測效果上，在利用公開數據集（Amazon Product Reviews: Beauty, Sports and Outdoors,Toys and Games) 和工業數據集(Baidu Industrial)，以及離線和在線評估後，證明COBRA 優於目前業內最先進的方法。

本文系觀察者網獨家稿件，未經授權，不得轉載。