AI讀懂中國，文心方可雕龍_風聞
脑极体-脑极体官方账号-从技术协同到产业革命，从智能密钥到已知尽头2022-10-30 21:27
作為中文系學生，記得在學校時候老師叮囑有一本書一定要讀，那就是《文心雕龍》。
《文心雕龍》是由南朝劉勰所作，被魯迅先生認為可以媲美亞里士多德的《詩學》。這部著作之所以寶貴，在於它根據中國文學的發展脈絡，提出了文體、原道等一系列經典理論。甚至在近現代歷史上，還讓“中國沒有自己文學理論”的説法不攻自破。
《文心雕龍》的成功，向我們展示了這樣一種理念：只有懂中國的內容與語言，理解中國獨有的創作技巧、表達意境，才能提出符合中國的理論架構。這一點或許可以從文學推而廣之，在更多與內容創作相關的領域找到依據。
比如最近一段時間，AIGC異常火爆，尤其AI作畫已經破圈到我身邊的每個人都想試試。但在一段時間之後，我們卻會發現大量海外的AI作畫平台，在最終表達上似乎與中國創作者的需求有些偏差。
這種問題為什麼存在？又應該如何解決？
《文心雕龍》千年之後，另一個“文心”躍然而出。百度剛剛發佈了文心繫列大模型的新作——文心ERNIE-ViLG 2.0。
與其他AI作畫大模型相比，文心ERNIE-ViLG 2.0有兩個顯著的特點。首先在通用的理解能力和清晰度上更進一步，語義理解能力更強，生成的圖像更高清；另外一點就是它能夠更加準確地理解中文表達，也更懂中國文化。讓我們藉着這個很有意思、也很獨特的AIGC差異化特質，聊聊文心ERNIE-ViLG 2.0的創新之路。
AI筆觸融華夏，文心依舊可雕龍。
AI作畫全球繁榮，但國人更需要基於語言與文化的理解
AI作畫其實並不是剛剛才興起，但愈發出色的繪畫能力，以及不斷降低的門檻，讓AI作畫在近半年時間風靡全球，從一項“極客玩具” 徹底變成了街談巷議的大眾文化潮流。
AI作畫有多火？這個問題有很多答案，我們可以看到AI作畫的軟件、平台創業者不斷增多，相關的全球投融資熱度在全球科技產業放緩的局面下一枝獨秀。“AI作畫拿下人類大獎”“AI作畫以假亂真”等消息不斷破圈，主流媒體也在爭相探討AI作畫會不會讓人類畫師感到壓力。
在這種全球普遍的繁榮景象下，我們卻會注意到一重潛在的“缺失”，那就是國內外蜂擁而起的AI作畫產品，背後的算法能力主要是來自基於擴散生成算法的DALL-E 2和Stable Diffusion等國外模型。或許有人會認為這並沒有什麼問題。當然，我們也非常支持和推崇科技的全球化。但就實際應用而言，國外大模型卻在AI作畫上有着不夠理解中國語言、文化的問題。這就像一個不通中文，也不理解中國文化的外國文學評論家，恐怕也難以寫出媲美《文心雕龍》的文藝理論。
具體到AI作畫中，我們會看到AI作畫的邏輯是根據文字描述生成畫面，而畫作又可能應用到各行業的場景當中。這就暴露出海外AI算法作為基礎存在的問題。比如説：
1.模型不能夠充分理解中文描述，導致生成畫面不夠精細、準確。
2.模型不能理解中國行業與應用場景的主要訴求、想法以及一般規則。這讓AI作畫更多停留在單純的繪畫創作階段，難以融入中國的行業訴求與行業場景。
3.模型不能準確理解中國文化，也就難以創作出針對性的作品。比如讓海外AI模型創作與中國古典意境、節氣、節日相關的畫作，往往會產生巨大偏差。
面對AI作畫基礎模型的空白，文心ERNIE-ViLG 2.0成為了國內首個在這一方向取得突破的工作。更懂中國文化的AI妙筆，已然成為現實。
丹青妙筆，中國心魂：文心ERNIE-ViLG 2.0的多樣化創新
從技術創新的邏輯上看，ERNIE-ViLG 2.0帶來的差異化是多方面的。首先，秉承着百度在文心大模型當中探索的知識增強方向，ERNIE-ViLG 2.0本身在AI作畫的技術能力上帶來了大幅的提升。目前階段，主流AI作畫大模型依舊存在一些亟待解決的問題，其中最顯著的兩點就是語義理解不夠精細，以及圖像不夠清晰。這些問題的存在，依舊限制了用户對AI作畫的使用上限，尤其阻礙了複雜專業場景與AI作畫的結合。
為此，ERNIE-ViLG 2.0採用了基於知識增強算法的混合降噪專家建模，使其成為全球首個將知識增強與AI作畫相互結合的大模型。同時，ERNIE-ViLG 2.0也是全球參數規模最大的AI作畫大模型。
據瞭解，ERNIE-ViLG 2.0 在文本生成圖像公開權威評測集 MS-COCO 和人工盲評上均超越了 Stable Diffusion、DALL-E 2等模型，取得了當前該領域的世界最好效果，在語義可控性、圖像清晰度等方面均展現出了顯著優勢。
讓我們具體來看，取得優秀成績的ERNIE-ViLG 2.0是如何解決語義理解與畫面精度兩大通用問題的。
首先，在AI作畫模型的使用中，用户會特別關注語義表達是否被準確理解的問題，在生成比較複雜、多要素的畫作時尤其如此。為了提升相關能力，ERNIE-ViLG 2.0通過視覺、語言等多源知識指引擴散模型學習，強化文圖生成擴散模型對於語義的精確理解。
基於語言和圖像知識的知識增強算法，提升了ERNIE-ViLG 2.0生成圖像的語義一致性和可控性。百度研究者提出了將知識增強算法融入擴散模型學習的方法，從而在擴散模型學習過程中，引入語言、視覺等多源知識，指引模型更加關注文本和圖像中的核心語義元素，同時針對訓練數據噪聲帶來的訓練圖文樣本語義偏差問題提出了文本語義補全的方法，對圖文的語義一致性進行針對性學習，進而實現精準的細粒度語義控制。
另一方面，用户對AI生成畫作的精細度的需求也不斷提升。尤其用於行業場景，有明確指向的AI生成畫作，必須保證充分可用的圖像質量。在這個方面，ERNIE-ViLG 2.0首次引入基於時間步的混合降噪專家模型來提升模型建模能力，讓模型在不同的生成階段選擇不同的“降噪專家”網絡，從而實現更加細緻的降噪任務建模，進而提升生成圖像的質量。
針對模型建模能力不足，導致圖像質量不夠好的問題，百度研究者發現，擴散模型的降噪過程中不同階段對降噪網絡的能力要求不同，初始階段模型需要從純隨機噪聲中生成圖像輪廓，結尾階段對模型的要求變為對圖像細節補全，傳統方法使用同一網絡建模整個降噪過程，模型需要同時滿足不同階段的建模需求。為此，百度提出了針對不同階段選擇不同網絡（降噪專家）進行建模的框架，可以有效解決不同階段對模型能力要求不一致的問題，減少降噪任務的互相干擾。由於每個生成階段只選取一個專家進行生成，實現了在不增加模型預測計算量的情況下對模型建模能力的擴充。
接下來，就要説到我們之前着重討論AI作畫對中文、中國文化的理解問題。這個領域的能力提升訣竅，在於模型訓練需要結合海量的中文圖文數據。而對於海外科技公司與算法開發者來説，這樣的數據儲備難度太大、耗時太長，並且也缺乏足夠的市場動力。而百度則在這一領域具有先天的優勢。從搜索到AI，再到深度學習框架、能力與大模型的不斷建設，中文圖文數據都是百度AI發展的必選項和基礎項。於是，百度研究者構建了近2億規模的高質量中文圖文數據對，基於知識增強的混合降噪專家建模，從而使得ERNIE-ViLG 2.0具備了強大的中文語義理解能力。
最終我們可以發現，ERNIE-ViLG 2.0具有非常精準的中文理解能力，同時也對中國文化、中國元素有了充分的吸收。我們可以通過ERNIE-ViLG 2.0得到非常具有中國風、中國文化意境的畫作。而這在其他模型中是很難實現的。
一幅山水寫文心，千行百業盡雕龍
對於廣大AI作畫的用户與潛在用户來説，最關注的事情莫過於文心ERNIE-ViLG 2.0的使用情況與使用前景。
在今天，我們可以看到AI作畫正處在高速發展的黃金階段。相信不久之後這項能力就會成為我們日常獲得圖像內容的基礎選項，完全融入我們的生活與工作。而在這種趨勢下，ERNIE-ViLG 2.0投入產業空間，服務千行百業的節奏也是非常快的。
在今年8月，ERNIE-ViLG 2.0模型就通過API服務的方式對外開放。一經上線，就受到了廣大開發者和愛好者的關注。尤其值得注意的是，很多國外的開發者、AI作畫用户都對ERNIE-ViLG 2.0給出了非常高的評價。認為其效果遠遠超過目前其他的AI作畫模型。甚至有國外網友感嘆“最先進的 AI 動畫生成技術在中國”。這又一次證明了，民族的也就是世界的。
目前階段，AI作畫相關的軟件、平台高速發展，開發者非常需要具有足夠強大能力的基礎模型。而ERNIE-ViLG 2.0已經為廣大開發者、科技愛好者提供了飛槳開源工具和API服務能力，滿足開發者靈活探索等需求。對靈活性需求更高的開發者，可以使用飛槳的開源工具PaddleHub基於文圖生成開源算法極簡開發，並完成模型的管理和一鍵預測。對便捷性需求更高的開發者，可以使用文心ERNIE-ViLG API，極速獲得沉浸式文圖生成大模型的技術體驗，更可靈活方便、高效地實現產品集成。
同時，對於更多需要AI作畫能力的普通用户來説，百度已經推出了基於ERNIE-ViLG 2.0大模型的AI 作畫產品—— AI藝術與創意輔助平台：文心一格。目前，文心一格已經成為了我們團隊小夥伴在圖像內容創作方面的“輔助神器”。
緊接着，我們可以看到ERNIE-ViLG 2.0的價值不僅僅停留在目前我們可以看到的AI作畫體驗。它更廣闊的價值在於千行百業的圖像內容生成需求與整體數字化進展。在很多行業，圖像設計和創作的價值都非常重要，比如工業設計、動漫設計、遊戲製作、服裝設計等等。ERNIE-ViLG 2.0的未來發展空間，在於與各行業的設計需求、圖像升級需求相結合，成為輔助創作的效率助推器，提升相關行業的數字化、智能化水平。
隨着AI作畫的連續破圈，我們可以看到AIGC的新紀元正在開啓。這次突破一方面證明了AI技術本身具有連綿不絕的價值潛力，同時也展示了AI技術關鍵能力自主、自立、自強的必要性。
從這個角度看，ERNIE-ViLG 2.0作為文心大模型家族的新成員，既走在潮流前沿，也走在中國智能化的大道上。
AI妙筆，正在寫一部新時代的“文心雕龍”。