“代碼大模型”成AI新風口，aiXcoder想讓所有企業搶先用上_風聞

「程序員不應該為機器服務」。

作者 | 宛辰

編輯| 靖宇****

4 月 9 日，北京大學軟件工程研究所開源了由其 aiXcoder 團隊全新自研 7B 代碼大模型。作為「AI+軟件開發」領域的專業團隊，aiXcoder 開源的 7B 代碼大模型，有可能會給企業「軟件工程」帶來全新的可能。

在美國，AI 軟件開發工具 GitHub Copilot 的 ARR（年度經常性收入）早達到 1 億美元，成為 AI 在開發者應用上的里程碑產品。納德拉稱其為「微軟最成熟的 GenAI 產品」，「這對程序員的必要性就像 Microsoft Word 中的拼寫和語法檢查一樣」。

但實際上，要讓 AI 真正幫助開發者解決問題，「拼寫和語法檢查」只是表層，從「軟件工程」的角度，幫助開發者解決真實軟件開發場景中的問題，才是根本。

aiXcoder 團隊來自北京大學軟件工程研究所，他們不但是國際上最早將深度學習技術用於程序代碼處理的團隊，也是最早推出基於深度學習的編程產品的團隊。

aiXcoder 團隊這次開源的新一代全自研的 7B 代碼大模型，聚焦企業真實開發場景，致力於解決企業私有化部署場景下的軟件開發問題。該模型的 Base 版本已在 Github、Gitee、Gitlink 等平台開源。

多個主流評測集測評結果顯示，aiXcoder-7B 模型在代碼生成與補全的能力上，展現了百億級代碼大模型的效果，速度更快、效果更準，而且，由於它充分考慮了企業私有化部署的需求，更適合企業的真實開發場景。

在今天的 AIGC 創業潮下，aiXcoder 團隊的先發優勢會讓其脱穎而出嗎？軟件開發自動化的美好願景離我們還有多遠？

01

aiXcoder 團隊

「探路」十年

2014 年，北京大學軟件工程研究所的研究者（aiXcoder 團隊的前身），相繼發表了《Building program vector representations for deep learning》（譯為《構建深度學習的程序向量表示》）等多篇具有里程碑意義的研究論文，在全球範圍內首次驗證了深度學習路線在代碼處理領域的作用。

但在提出這項研究時，用深度神經網絡處理程序代碼，還是一個極其大膽的假設。當時，軟件從業者普遍認為「軟件自動化只是一個長期而美好的願景」，AI 領域也只是抱持「可以試試看」的態度。

彼時，隨着圖靈獎得主 Geoffrey Hinton 解決了多層神經網絡訓練的難題，深度學習技術相繼在語音、視覺、自然語言領域大放異彩，相關技術迅速在產業裏更迭，但還沒有人把它與程序代碼的處理聯繫起來。

計算機能編譯、能運行程序，為什麼還要讓計算機學會理解程序？

但這個問題對北大軟工所的研究者們而言，卻是從做研究的第一天就「種草」的課題。在他們看來，人之所以要寫程序，是因為計算機只能「聽懂」程序語言。「人寫程序，是在為機器提供服務」。研究者的使命，就是要把人從「為機器服務」的困境中解放出來。

然而要讓計算機能夠自己寫程序，就需要首先讓它學會理解程序。也就是説，不但要讓計算機能運行程序，還要能理解所運行的程序的語義。

在這個信念下，他們提出一個大膽的猜想：如果把互聯網上的程序「爬」下來，訓練一個處理程序的「深度學習引擎」，那麼就可以實現，給這個引擎一個程序代碼，它可以自動分析出程序的意圖。而反過來，給這個引擎一個意圖描述，它就可以生成代碼了。

2013 年冬，他們在團隊領頭人李戈教授的帶領下，便開始了把深度學習技術用於程序處理領域的研究。

那時候還沒有今天耳熟能詳的深度學習框架——TensorFlow、Pytorch，於是一行人選擇用 C++ 程序語言從最底層搭建神經網絡，包括反向傳播算法、求導算法等。

作為探索性研究，團隊面臨的第二個挑戰是沒有 GPU。

當時，他們找了 17 台北京大學軟件工程研究所「退役」的 PC 機，在北大 1726 機房鋪了一地，用一個局部網絡把這些計算機連起來，來實現訓練一個深度神經網絡的任務。

訓練效率可想而知，5 萬條數據跑了一個多月。

好在結果讓人欣喜，根據前文提到的論文：在程序分析任務上——程序功能分類、程序模式檢測，深度學習都比以往方法得到的結果更準確。

這讓團隊看到了深度學習技術應用於程序處理的前景，並從此堅定地踏上了征程，一干就是十年。

2015 年，他們發表了最早的程序生成論文《On End-to-End Program Generation from User Intention by Deep Neural Networks》（譯為《基於用户意圖的端到端程序生成的深度神經網絡》）開拓了利用深度學習技術生成程序代碼的先河。

2017 年 5 月，推出了 aiXcoder 最初的實驗室版本 deep-autocoder，開啓了不斷提升代碼補全的模型參數量，完善產品交互形態的探索，代碼補全和生成的效果也越來越好。

2018 年，隨着產品打磨走向成熟，實驗室產品也開始面向產業，6 月發佈了 aiXcoder 原型版，並與華為、百度、騰訊等多家頭部企業展開持續合作，做代碼生成與補全、代碼分析等技術的概念驗證。隨後以不同領域為目標，aiXcoder 團隊開始探索不同模型驅動不同任務的路徑，推出了 Android 版、python 版等不同領域的模型版本。

直到 2021 年 OpenAI 的 Codex 問世，業界才開始相信：在更大更深的神經網絡上，訓練代碼大模型的效果也越來越好。時隔不久，aiXcoder 團隊在鵬城實驗室的算力支持下，研發出第一個超過十億的代碼大模型 aiXcoder L 版。

2022 年 6 月，aiXcoder 團隊發佈國內首個完全自主知識產權的方法級代碼生成模型 aiXcoder XL，該模型擁有百億級參數量，可根據自然語言功能描述一鍵生成完整程序代碼（NL to Code）。

2023 年 8 月，聚焦企業適配的 aiXcoder Europa 版上線，除了像代碼自動補全、生成、缺陷檢測與修復等常規功能外，aiXcoder Europa 為企業場景量身定做，可以根據企業數據安全和算力要求，提供私有化部署和個性化訓練服務，並在提升研發效率的同時，有效降低了代碼大模型的應用成本。

在產品不斷升級，突破一個又一個評測基準的同時，aiXcoder 團隊也積極在銀行、證券、高科技、軍工等領域幫助頭部企業客户實現真正的代碼大模型應用落地。

同時，資本市場也看好 aiXcoder 的發展前景，高瓴、清流、彬復等極具行業引領性的明星股東紛紛加註。

站在 ChatGPT 點燃 AI 熱情的今天，回看 aiXcoder 團隊過去十年的探索，他們是拓荒者，也因此積累了深厚的算法、工程能力以及市場 know-how。在大模型技術尚未成熟到「拿來就用」的程度，aiXcoder 團隊結合深度學習技術和軟件領域的專業能力，有效幫助企業落地軟件自動化。

02

**開源 aiXcoder-7B，**加速「軟件開發自動化」

4 月 9 日開源發佈的 aiXcoder 7B，同樣秉承了其產品為企業服務的核心理念。

aiXcoder 7B 不僅在代碼生成的基礎能力上超越了同級別的現有模型，甚至在一些特定任務上比更大參數量級的 15B、34B 的代碼大模型效果要更好。

如下圖，在 HumanEval、MBPP、MultiPL-E 三個主流代碼生成效果評估測評集上，aiXcoder-7B 展現出了明顯優勢。

其實，在真實的開發環境中下，上述 NL to Code 根據自然語言生成對應代碼的能力只是基礎，現在主流的評測方式離真實場景很遠，寫程序或者代碼需要各種集成、擴展以及調用關係，NL to code 根據自然語言給出方法，在實際的場景問題中是割裂的。

為此，aiXcoder-7B 在模型的構造過程中，特別考慮了與實際開發場景對齊的項目級代碼的處理能力，因此，它比其他模型更能夠考慮到軟件項目內其它相關代碼文件中所包含的重要信息，如類定義、類屬性、方法定義等。

在專門考慮項目級信息的代碼生成測評數據集 CrossCodeEval (Ding et al.,2023) 上，aiXcoder-7B 表現出了顯著優於其他模型的準確性。（下圖）

同時，在代碼補全場景中，開發者不僅期待模型能生成一個完整的代碼塊，其具有完整的語法結構，完整的處理邏輯，還需要儘可能調用上下文已經實現的函數，這樣才符合實際的開發風格。

為了評估在實際開發場景中的補全效果，aiXcoder 在一個具有超過 16000 條真實開發場景代碼的開源測評數據集上，也展現了最優的效果。而且，相較於其他模型，aiXcoder 7B 更加傾向於使用較短的代碼來完成用户指定的任務。

為什麼 aiXcoder-7B 能在貼近真實企業開發場景的數據集上取得如此極致的效果？

aiXcoder 團隊向極客公園透露，其從客户需求中「長」出來的代碼模型技術，使得包括 7B-base 模型在內的 aiXcoder 系列模型都易部署、易定製、易組合，更貼合實際軟件開發任務，與企業應用場景深度融合，更適合落地。

去年初 ChatGPT 大火時，大家對大模型技術的期待相當高，通用人工智能似乎一步之遙。熱情迴歸理性，大模型走向千行百業的落地應用過程中，有很多真實的需求就「冒」出來了，比如，在落地 AI 應用時的第一步，儘管排行榜上有很多 SOTA 大模型，但客户首先一定是先根據自己的場景實地評測進行模型選型。同時，企業在評測這類代碼大模型時，尤其強調有效的個性化訓練，以確保模型能夠滿足企業的具體需求。

這裏的難點在於：大多數大模型都是基於開源數據集進行訓練的，當它們被應用到企業內部時，面對的是全新的業務邏輯和編程規範，這往往導致模型性能下降。因此，如何做好個性化訓練，使模型能夠學習並適應企業特定的領域知識是關鍵。

在落地應用方面，aiXcoder 在大模型技術還沒有火出圈時，就始終貼合客户需求，積澱了不少實用、獨到的技術方法論。就拿推理速度來説，這是代碼大模型與通用大模型在落地上最顯著的差異，代碼大模型需要提供更快的反饋速度，在集成開發環境（IDE）中，實現「無感知服務」，即在程序員編寫代碼時提供即時反饋，而不會打斷他們的思路。在這個目標下，團隊從算法和部署的角度，積累了很多經驗。

在被問及十年來所看到的市場需求變化時，aiXcoder 團隊表示，「最明顯的趨勢在於，開發者對 AI 輔助軟件開發的態度，從最初的陌生和觀望，逐漸轉變為主動擁抱變革」。

對 AI 領域來説，通過代碼大模型實現軟件開發自動化出現了曙光。而對於 aiXcoder 團隊來説，軟件自動化的目標是軟件工程學科的出發點，終極目標是把人類從繁重的軟件開發勞動中解放出來。

談及代碼領域未來的產品形態，aiXcoder 團隊認為是智能化的集成開發環境，從對話式需求開始，多智能體協作進行軟件自動化開發。至於能在多大程度上實現端到端的程序自動化，團隊用「鐵鉗模型」闡述了其前景。「用『需求』和『測試』這兩側夾住整個軟件開發的過程，中間是大模型主導的自動化過程，這是軟件開發可以期待的未來」。

「沿着前輩指明的道路往前走一步，是一件幸運且幸福的事業」，「軟件自動化」的使命，並不是下一代的事情。

*頭圖來源：aiXcoder

本文為極客公園原創文章，轉載請聯繫極客君微信 geekparkGO