騰訊優圖吳運聲：計算機視覺是建立人貨場三者間聯繫的紐帶
9月18日上午，以“AI無界•智未來”為主題的2018 世界人工智能大會騰訊分論壇在上海舉辦。在前一天的大會高峯論壇上，騰訊董事會主席兼首席執行官馬化騰表示，人工智能的發展將讓人與物、人與服務實現更好的連接，通向“大社交”時代。作為“數字工具箱”中的制勝法寶，人工智能與大數據、雲計算共同構成了新型基礎設施，騰訊要藉助人工智能繼續發揮好“連接器”和“生態共建者”的角色。
在騰訊AI分論壇上，騰訊公佈了目前AI技術和應用成果，騰訊在人工智能領域的戰略佈局將圍繞“基礎研究——場景共建——AI開放”三層架構持續深入。而在AI的應用上，騰訊將聚焦內容、社交、醫療、零售、遊戲等領域，實現技術落地。
騰訊優圖實驗室總經理吳運聲現場分享了騰訊優圖的計算機視覺技術在智慧零售中的實踐與使用，吳運聲介紹：智慧零售是以人為核心的線上線下數據聯動。計算機視覺技術是建立人、貨、場三者間聯繫的關鍵紐帶。目前，基於人臉識別、人流密度分析、商品識別、手勢識別等計算機視覺技術，騰訊優圖聯合騰訊雲推出了騰訊優Mall和騰訊智能貨櫃解決方案。
基於騰訊優Mall智能零售系統，消費者從到店、逛店到購買，都將獲得更加優質的消費新體驗，而商家通過VIP &老客到店識別、細粒度客流統計、客流軌跡統計等可以全面刻畫場內用户行為，實現精準營銷。目前，騰訊優Mall已經與深圳百麗國際等商場達成合作。而近期，騰訊優圖聯合騰訊雲、每日優鮮最新推出的智能貨櫃解決方案，基於研究中心商品識別技術，可實現取物關門後自動生成訂單結算、“即拿即走”的流暢購物體驗，準確率達99%以上。
吳運聲介紹，未來騰訊優Mall及智能貨櫃解決方案將在超市、家居、3C數碼、化妝品等九大零售行業裏面進行持續的推廣落地。
以下為吳運聲的演講實錄：
大家上午好，很高興有機會在這裏跟大家一起分享一下計算機視覺技術在智慧零售中的應用。在過去一年多時間裏面，騰訊在智慧零售裏面做了很多的事情，而且也建立起一整套幫助傳統的零售行業去進行數字化轉型的基礎設施，在這樣的過程中，優圖先是作為騰訊內部的一個頂級AI實驗室，我們也是利用計算機視覺的技術參與到這樣的進程中。
首先看一下零售在日常的理解中它到底是一個什麼東西？從歷史上來看，我們認為零售其實就是一個相互不斷去接觸用户的過程，不管是通過區域代理的方式，還是線下開店，都是通過這種方式接觸用户。進一步到了電商時代，商家去網上開店，也是通過網上的方式接觸用户，所以對於商家來講，怎麼樣能夠接觸用户？怎麼樣能夠留住用户？是他們非常關心的一個事情。
什麼是智慧零售呢？我們認為就是一個以人為核心的，主要是以用户為核心的去建立整套的數據系統，能夠完成線上線下的聯動。在我們傳統的線上平台裏面，我們知道用户的很多行為都已經可以被記錄，被存儲下來，但事實上直到今天為止，我們去逛街邊的一個店面，我們在線下很多的行為沒有辦法被記錄、識別、存儲下來。智慧零售一個非常重要的事情，我們要做線下場景的數據化，我們要把一個線下用户從他進入一個商户，他在商户裏面怎麼去逛商店，他對商品有什麼樣的興趣，一直到他是不是完成了交易，到他整個離店的過程，我們要整個數據化記錄下來，包括他最後是不是產生了復購。
我們有了線下的場景數據化之後，我們再結合，如果有某種方式結合打通線下的數據行為和線上的數據行為，這樣就能夠形成整個數據的網絡化呈現。所以對我們來講，我們認為智慧零售就是希望打通線上和線下的過程。對於線下的行為，主要有三個層面，一個就是人、一個是貨，一個是場。
人就是我要觀察到我店裏的人他的分佈是什麼樣子，一天來了多少人，一天開店的時候每個小時來了多少人，男性、女性分佈怎麼樣，年齡分佈怎麼樣，來的這些人，逛店的行為怎麼樣，在店裏形成了什麼樣的走動路線，在什麼地方停留的時間最長，哪些客户完成了購買。到底重複購買的比例有多少，這些都是關於人的維度。
對於貨來講，這個商家可能有100種貨或者200種貨，他到底應該怎麼排列，哪些貨應該多放點，哪些貨少放點，哪些貨是用户停留時間最長的，哪些貨是用户不感興趣的，這些也希望得到非常深刻的洞察。
對於場來講，整個零售場地有100-500平米，在場裏面分成不同的區域，哪些區域用户最關心，哪些區域用户的停留時間最長，這些都是我們非常關注的情況。
我們認為計算機視覺技術能夠比較好地去解決這樣的問題，因為計算機視覺能夠真正的去捕捉到一個人從他進店開始，到整個逛的過程，到是否產生交易，到離場之後整個的過程，我們都會有相應的計算機視覺技術的支撐。所以接下來我也會給大家深入的去介紹一下騰訊優圖在智慧零售裏面，我們做了哪些技術的研究。
這是一個比較完整的圖，首先是最下面的技術研究，騰訊優圖實驗室通過很多年的積累，我們在人臉相關的研究上有非常多的積累，包括人臉檢測、配準、跟蹤、屬性，1比1人臉比對、大的人臉檢索。
我們在人體上也做了大量的積累，比如説人體檢測、人頭檢測、人頭的跟蹤、人流密度分析等等。
除了這兩項比較基礎的之外，我們的Reid技術涉及到人體對比，單攝像頭和多攝像頭的追蹤。
除了計算機視覺，我們還做多傳感器信息的融合。在這些基礎研究之上，我們還做了針對零售行業專門特定的深入研究，比如説人臉建檔，我們希望用户，不管是小的門店，一天可能來2、3百人，還是一天幾萬人的大型商業綜合體，我們都希望進來的每個人給他建立檔案，下次他再來我能夠調出檔案。
還有空間軌跡匹配，通過這些研究，我們做了整合，才去滿足最終的上層，具體業務的需求，包括刷臉支付、客流分析、動線分析。整個過程我們有技術的支撐，一開始我們不是做的非常完備，我們也會通過一線得到相應的反饋不斷優化我們的算法。
第一個人臉識別技術，大家接觸的也比較多，優圖在這裏面也是刷新了若干個記錄，在刷臉支付裏面也結合了活體檢測相關的技術，推出了刷臉支付的方案。這裏難的是要刻畫用户畫像的方案，用户在場景下逛的時候是非配合的。第二我們做了人臉人體屬性的識別，我要判斷一個人的年齡是什麼樣，通過人臉判斷你是不是留長頭髮、戴眼鏡、口罩，通過人體判斷你穿什麼顏色的衣服，穿短袖還是長袖，穿的是褲子還是裙子，通過這些技術再去建立用户進場整個的檔案。第三個我們剛才提到的REID技術，在很多場景下我們拍不到人臉，我們在商場進門的地方有一個攝像機儘量拍到人臉，建立種子庫。商場內部的攝像機不一定拍到人臉，這種情況下我們通過體態、穿着、行走特徵，把它跟人臉匹配上來。
還有商品識別和人貨匹配的技術，我們現在有超過1千種的商品識別，而且要做細粒度的識別。貨架上的商品排的非常緊密，怎麼能夠準確識別出來。還有比較好的手勢識別技術，我要判斷用户是不是摸了拿起來某個商品，我們都針對具體的場景做了研究。在研究的基礎上，我們還要對整個的研究去做出完整的實踐解決方案來。
騰訊優圖在研究的基礎上我們推出了什麼樣的解決方案？首先我們有一個智能貨櫃的解決方案，第二針對商家有個數字化整體的解決方案，叫騰訊優Mall，就是把線下的零售場景完整的做數字化。當用户到店的時候，我就要做ID的創建，做老客、VIP的識別，把客户的特徵刻畫出來，把用户的檔案建立起來。老客要觀察他到店的頻率，顧客到店之後對整個逛店的過程，我們也需要對用户整個的動線進行觀察，對於用户在哪個區域停留了多長時間，我們需要進行精準的分析，對他的行為是不是觸摸了某個商品，拿起了什麼商品進行分析。在購買的時候有人臉支付的解決方案，左邊這一塊是計算機視覺得到的相關數據，我們內部還有其他相關的數據，結合起來就形成線上線下打通的解決方案。
第一會有VIP老客到店的識別，他到店直接推送信息給導購，導購根據這個信息可以更好的服務。第二我們有非常細粒度客流的統計，精確到每一分鐘，每幾小時客流分佈是怎麼樣子，精確到男裝、女裝區域的客流分佈是怎麼樣子，整個人流怎麼走的。客流整個的軌跡，包括他在哪個區域，熱力圖是怎麼樣，哪個區域非常熱，哪個區域沒有人走，我們會有熱力圖非常直觀的呈現出來。在系統信息層面做到多店同比，像我們的名創優品在全國有很多店，在同一個城市的不同店面之間的數據對比，我們會有非常直觀的展現。最後我們會有一個完整的刷臉支付的解決方案，會和微信支付一起，所以這一整個是我們完整的優mall解決方案。
這個解決方案也確確實實，目前已經在某些商家取得了非常成功的效果。像我們在深圳百麗國際的一個門店上，我們先去部署了這個系統，經過一個月之後，店長就發現這個數據有一些比較有意思的現象，就是我們的數據告訴他這個店的女性用户的客流量的佔比要比女性用户銷售額的佔比超出10%以上，也就是説有大量的女性用户沒有被挖掘出來。店長髮現了這個信息之後，就去向總部申請，增加了女性商品在他店裏的擺放，並且把女性相關的商品陳列做了一個特殊的擺放。再過一個月之後，發現這裏確實在女性品類上面的銷售額得到了40%以上的增長，但是其他的品類的商品並沒有下降。而且我們還同比對比了其他的商家，這並不是因為一個限時促銷或者節假日的原因，就是因為我們深入挖掘了裏面的女性用户，這是一個非常典型的案例。
另外一個我們還有智能貨櫃的解決方案，智能貨櫃用到計算機視覺技術不太一樣，它的攝像頭是從貨櫃的頂端照下來的。對於商品會有很多，像排列太緊密、遮擋、欠曝的情況，怎麼樣用技術解決這樣的問題，給研究員很大的挑戰。內部的研究人員用各種各樣的方法，用多種數據增強方法，用STN學習仿射矩陣解決這些問題。看到最後的結果非常好，在5月份我們初步亮相了這樣一個產品，我們當時在一個日均訂單240單以上，識別率達到99.05%，8月份在重慶展出，商品識別率達到99.72%，這是一個非常好的案例。
上面是我騰訊優Mall和騰訊智能貨櫃的解決方案。今後，在超市、家居、3C數碼、化妝品等九大零售行業裏面，我們都會持續推出騰訊優Mall智慧零售的解決方案。謝謝大家！