根據圖片識人、識物，釘釘AI升級多模態能力

多模態、長文本與RPA（機器人流程自動化）技術，在AI應用的落地上又有新進展。

3月28日，釘釘AI助理迎來重要升級，正式上線圖片理解、文檔速讀和工作流等產品能力。此次升級後，釘釘AI助理將擁有更強的視覺推理能力和長文本速讀能力。在AI助理對話框，用户發送長文件、在線文檔、網頁鏈接、視頻內容，即可進行多輪交互和智能問答。

資料顯示，基於通義千問Qwen-VL-Max視覺理解模型，釘釘AI助理能夠準確描述和識別圖片信息，並進行信息推理、擴展創作、文字提取和翻譯等；在收到用户發來的視頻後，AI助理會根據視頻內容生成字幕，提取關鍵詞，並生成一份智能摘要，對於最高2GB的視頻內容，僅需3分鐘即可完成智能解讀。

喚醒這些功能也並不複雜：用户在釘釘IM消息框或點擊魔法棒按鈕即可進入AI助理對話框。

從初步測試來看，釘釘新版AI助理，已經具備較為成熟的圖片識別和智能對話能力。

如下圖（左）所示，根據我們提供的照片，釘釘AI助理幾乎瞬間認出了小貓的品種，並對該品種貓咪的特徵和照片背景進行了簡單描述；在沒有任何文字提醒，以及照片內沒有文字提示的情況下，釘釘AI助理準確識別了拍攝於上海迪士尼的城堡照片（如下圖右）。

釘釘實測圖片（下同）

多模態能力的加入，讓AI助理更具實用性，例如翻譯信息、提取文字等。

我們隨手拍攝並上傳了一張耳塞外包裝（純英文説明）圖片。在識別產品品牌、功能等常規信息之外，釘釘AI助理在外包裝明顯破損的情況下，對英文説明進行了簡單分析和翻譯，並提取了關鍵詞。令人感到意外的是，在密集的英文印刷中，AI識別出了模糊的NRR信息（降噪等級），並提示用户對此進行關注。

對於表情包和網絡梗圖，釘釘AI助理也展示出一定的識別和推理能力。

綜合來看，基於通義千問Qwen-VL-Max視覺理解模型，釘釘AI助理能做的事情明顯變多了。

公開資料顯示，Qwen-VL-Max整體性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等測評中超過業界所有開源模型，在文檔分析（DocVQA）、中文圖像相關（MM-Bench-CN）等任務上超越GPT-4V，位於世界第一梯隊水平。

不過，AI助理也不是全能的。從實測來看，未來它仍有大量提升空間。例如對影視劇中穿戴墨鏡的人物，以及身着古裝服飾的人物，釘釘AI有時無法精準識別。此外，對於“一個月才幾百塊，你玩什麼命啊”這樣較為晦澀的網梗，AI的理解能力也有待繼續完善。

 

更新後，AI助理強化了文檔速讀和視頻速讀能力：用户上傳相關的文件和視頻，即可得到一份內容總結。

值得一提的是，根據不同需要，AI助理能生成各細分領域的助手，用户還能通過鏈接等形式和他人分享。例如“我的歌曲助手”：用户只需輸入音樂和唱法風格等“訴求”，在約5分鐘左右的時間裏，AI就會自動生成歌曲，併發送至指定郵箱——初步來看，這些歌曲和音樂其實都有不錯的完成度。

據公開資料，此次更新後，釘釘對“工作流”玩法也進行了升級。用户可以通過工作流，對AI執行任務的流程進行拆解和編排，主動接管完成相應操作，並打通外部系統數據和API能力，例如搭建能自動寫腳本並生成視頻的創作AI助理等。為降低用户的使用門檻，釘釘官方還將提供多種工作流模板。

本文系觀察者網獨家稿件，未經授權，不得轉載。