用貝葉斯優化做巧克力曲奇，谷歌這項研究登上了NeurIPS_風聞

　　豐色 發自 凹非寺

　　量子位 | 公眾號 QbitAI

　　用貝葉斯優化來改良餅乾配方，還順便發了個頂會？！

　　這樣的跨學科研究你玩過嗎？

　　這不，谷歌大腦的幾位研究人員就幹了這麼一件事。

　　他們和人類廚師、評分員一起，一共進行了144次實驗，摸索出了人們最喜歡的巧克力曲奇配方。

　　還順便發現不同地區的人對口味也有着細微的偏好：

　　比如加州的顧客更喜歡不那麼甜的，匹茲堡的則喜歡cayenne（紅辣椒，一種香料）多一點的（我也不知道為什麼餅乾裏要加辣椒）。

　　當然，最厲害的是，這款“機器學習曲奇”的做法得到了谷歌自助餐廳廚師們的認可，因此還簽上了協議，直接用上實際“開發”！

　　這也太有意思了吧～

　　那麼，具體怎麼個“玩法”呢？

　　貝葉斯優化vs巧克力曲奇

　　貝葉斯優化很多人都熟悉，它是機器學習中超參數優化的常用技術之一，適用於求解目標函數表達式未知、非凸、多峯和評估代價高昂的複雜優化問題。

　　之所以要在餅乾配方上進行貝葉斯優化，谷歌大腦的研究人員解釋道：

　　這主要是因為做餅乾的可調參數相對較少，就麪粉、糖等10種左右的配料，以及每次實驗迭代的成本相對較高，因為需要人工混合材料、發麪、烘焙，然後再品嚐並報告分數。

　　研究人員先在匹茲堡的谷歌分辦公室進行了一場小規模的實驗。

　　首先，他們清點出了一份配料清單，併為每種材料的克數限定了範圍，讓機器在這個範圍內隨意發揮（其中麪粉的克數是固定的）。

　　接着，為了配置初始範圍，他們從網上找到了幾個配方進行參照，然後使用谷歌自己開發的黑盒優化工具Vizier來提出新配方。

　　其中，Vizier工具利用了遷移學習的思想，在目標函數 f(x)的高斯過程模型F(x)上運用貝葉斯優化bandit算法，可以在預期改善最大的地方上提出新的想法。

　　最後，研究人員利用優化過的配方和參照組的配方分別烤出20塊餅乾，隨機邀請了一些員工進行品嚐和打分。

　　得到一些味道還不錯的成品之後，研究人員決定擴大試驗規模，來到位於加州山景城的谷歌總部。

　　在這裏，實驗規則有了一些變化：

　　1、總部的餐廳廚師本着對食客負責的態度，表示要對機器優化配方進行審查，並擁有一票否決權和“編輯”權。

　　一開始，機器給出的配方基本都會被廚師修修改改；後來，廚房們就開始信任機器食譜，即使某些組合看起來就不同尋常。

　　2、每個配方做出的餅乾從20塊變為大約1000塊，畢竟嘗的人更多了結果才更有説服力。

　　3、評分從5分制變為了7分制：0表示“太難吃了下次不要做了”，7表示“這是我吃過的最好吃的”。

　　最終，在加州山景城這裏，研究人員得到了一款平均分為****5.4的成品，該成品受到了最多人的喜愛。

　　研究人員介紹，相對於通過在可行區域內隨機抽樣目標值分佈，他們通過計算目標函數F(x)在Vizer內部模型峯值的z分數（z-score），來尋找每次研究中的增益（gains）（詳細步驟可以查看論文）。

　　下表給出了每個配方中F(x) 的最大值和實際烘培值的z分數。前三個來自匹茲堡，後一個來自山景城。

　　總的來看，Max欄的z分數基本上為正，表明每次給出的配方都取得了進步。

　　其中，Pgh-2的max值都很低，説明當唯一的可調節配料是香草精和橙香精時，做出來的巧克力曲奇都不會太差。

　　而Pgh-3的max值中的大值可能意味着在配方中添加過多的辣椒會導致餅乾味道變差。

　　……

　　有意思的是，研究人員發現，山景城的最佳配方與匹茲堡比起來，有兩處不同：

　　一是辣椒更少，基本為0；

　　二是糖含量也更低。

　　這個差異讓研究團隊意識到，人們可以用貝葉斯優化為不同城市、公司中的烘焙店提供**“個性化”產品**。

　　此外，他們將這兩配方和參照組進行比較，發現含糖量都比較低——這説明機器學習給的配方可能有一個重要的優勢：

　　相比烹飪書作者，它們更懂得食客真正喜歡什麼樣的餅乾。

　　研究人員還表示，讓人類廚師修改機器配方也是山景城實驗成功的關鍵，這可以作為未來工作的一個有趣方向。

　　當然，最可喜可賀的還是谷歌自助餐廳的廚師們在瞭解了這個優化器的工作流程和原理後給予了認可，“熱情地”簽署了合作協議。

　　不知道現在，谷歌員工吃上了這樣高大上的“機器學習曲奇”沒（doge）？

　　配方在此

　　所以，這麼好吃的巧克力曲奇到底應該怎麼做？

　　所幸作者沒有吝嗇，在附錄中進行了配方大公開。

　　首先是匹茲堡的，需要：

　　167克通用麪粉

　　196克黑巧克力片

　　1/2茶匙小蘇打

　　1/4茶匙鹽

　　1/4茶匙辣椒（cayenne pepper）

　　108克糖（88%紅糖，12%白糖）

　　30克雞蛋

　　129克黃油

　　3/8茶匙橙香精（orange extract）

　　1/2茶匙香草精

　　其次是山景城的，需要：

　　167克通用麪粉

　　245克牛奶巧克力片

　　0.6茶匙小蘇打

　　0.5茶匙鹽

　　0.125茶匙辣椒（cayenne pepper）

　　127克糖（31%紅糖，69%白糖）

　　25.7克雞蛋

　　81.3克黃油

　　0.12茶匙橙香精（orange extract）

　　0.75茶匙香草精

　　細看確實基本每一種配料都有不少改動。

　　不知道這倆口味是否符合我們的胃口？

　　有意思的是，這篇研究中了當時的NeurIPS後，團隊還專門又做了一批出來，在會議現場進行分發。

　　這不，就有人嚐到了成品，還説真的很美味。

　　最後，有人看了這款貝葉斯優化餅乾，表示迫不及待想在濃縮咖啡上試試了～

　　你有沒有做過類似有意思的跨學科研究？

　　論文地址：

　　https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46507.pdf

　　參考鏈接：

　　https://twitter.com/lauretig/status/1569147105490395136?s=46&t=kXyj0z9hCjlXlxrs_Ze_XA