清華系公司強強聯合，一張4090讓安全大模型進入千億時代｜長亭x趨境_風聞

量子位-量子位官方账号-1小时前

2024-09-12

夢晨衡宇發自凹非寺

量子位 | 公眾號 QbitAI

AI大行其道的時代，網絡安全正面臨前所未有的威脅。

化身黑客的AI學會了自動化攻擊，還有相當高的成功率，伊利諾伊大學香檳分校研究團隊的最新研究顯示：GPT-4能夠在閲讀CVE漏洞描述後，學會利用漏洞攻擊，成功率高達87%。

既然攻擊方都與時俱進，用上AI新技術來搞破壞。

防禦方自然也不會坐以待斃，也在積極把AI大模型納入自己的反制招數里，最近就有這樣一件大事：

今年剛剛完成10億融資的新生代網絡安全領軍企業長亭科技，聯手同為清華系的AI Infra廠商趨境科技，共同發佈新一代安全大模型解決方案，此次合作將長亭問津（ChaitinAI）安全大模型參數規模提升至超過千億，安全能力全方位大幅提升。

至此網絡安全行業邁入千億大模型時代。

AI攻防戰，千億大模型帶來什麼改變從百億到千億，大模型參數規模升級，究竟能給網絡安全帶來什麼改變？

網絡安全領域有兩個核心的指標：攻擊識別準確率、檢測時延。

在一個企業的網絡系統裏，每天都有各種各樣的訪問/調用請求，需要識別每一個請求是正常的業務還是惡意的攻擊。加入大模型後，能夠協助系統進行更快速、更準確的攻擊判斷。

舉個栗子。

經常會收到的欺詐郵件就是一種惡意攻擊，一旦點擊其中的鏈接或者下載文件之後，電腦就會被攻擊。

加入了大模型之後，在大家收到郵件的同時，大模型就會對郵件進行內容識別，根據多條線索來進行多個步驟的惡意攻擊研判，在判定為惡意郵件後，秒級自動向用户告警，並提醒用户儘量避免點擊鏈接和下載附件。

在長亭科技30萬+自有的多類型攻擊樣本測評中，某國內頭部大模型攻擊識別率為48.3%，而通過長亭聯合趨境科技發佈的千億參數的安全大模型解決方案，可以把成績提升到92.1%。

在另一個基於真實攻擊流量構建的私有數據集的測試中，問津（ChaitinAI）也成功把成績從65.5%提升到95.8%。

再拿對安全要求更高的金融企業舉例，交易行為和數據對安全性要求極高，擁有複雜的網絡環境，同時由於在系統裏的各種交易行為活動量大，通常會有海量的日誌數據，而對應的攻擊手段也非常多樣。

某金融企業在一次網絡環境中出現異常行為時，問津（ChaitinAI）安全大模型同樣秒級響應。

首先從海量日誌數據中迅速提取對應的數據行為並進行標準化處理，根據行為模式研判屬於APT攻擊（Advanced Persistent Threat，高級長期威脅），同時提取攻擊行為相關的關鍵資產，掃描其中的安全漏洞，明確威脅行為來源。隨後再對攻擊行為流量、文件等進行分析，成功揪出背後偽裝成合法軟件的惡意工具包。

問津（ChaitinAI）在這次攻擊行為中給出了精確的事件研判報告和處理對策，整個流程僅需3分鐘，MTTD （平均檢測時間）和MTTR （平均響應時間），從原來的三十分鐘到數小時，減少到10分鐘以內，幫助該企業安全團隊迅速定位和決策，成功阻斷了APT攻擊的進⼀步滲透和破壞。

像這樣的提升，接下來還有……這麼多：

事件研判處理建議採納率提升

安全報告的內容生成質量評分提升

對於代碼的問題發現和檢測的準確率提升

漏洞修復建議的採納率提升

對於違法、有害、暴力、色情等不良內容的識別能力更強。即對不良內容的識別準確率、召回率提升

同一目標的滲透測試任務，大模型驅動的智能滲透測試的漏洞發現數量以及可真實利用數量提升

基於不同場景選擇合適工具/策略的準確率提升

綜合的輸出健壯性和穩定性，不同場景下輸出質量的波動率降低

Scaling Law的威力，在垂直領域大模型上再一次得到驗證：

參數規模的數量級提升，會體現在模型的通用性、泛化能力上。再落實到應用場景上，就不只是單點的指標突破，而是全方位提升了。

接下來的問題就是，過去安全行業怎麼不用千億大模型，是因為不喜歡嗎？（狗頭）

破解效果、效率和成本的不可能三角

其實主要涉及安全檢測效果、用户響應效率和私有部署成本，三者之間的矛盾。

安全行業對於檢測效果的追求永無止境，任何一個小小的安全漏洞很可能帶來巨大的損失。安全大模型依然遵循Scaling Law，千億參數的模型相比於百億參數，安全效果進一步升級。

同時，網絡安全防護是24小時一刻也不能鬆懈的任務，需要不斷調用大模型進行推理。一旦檢測到攻擊事件，接下來的響應速度也非常關鍵。

此外，對於安全行業來説，數據的隱私性也極其重要，使用大模型需要在本地部署，並用特定數據進行訓練。而訓練和維護一個千億參數的模型，背後是巨大的計算資源和投入，成本動輒需要數百萬。

既要安全效果好、又要落地成本低、還要檢測效率高，安全大模型落地中的看似“不可能三角”，被長亭和趨境聯手破解了。

AI Infra新秀入局，拉低部署門檻

這是一個掌握垂直行業場景的公司與大模型技術公司合作的典型案例。

長亭科技是國內頂尖的網絡信息安全公司之一，專注為企業級用户提供智能、簡單、省心的安全防護產品和解決方案。

趨境科技則是一家AI Infra新秀，專注於構建和開發先進的大模型推理加速平台，為企業和開發者提供高效、低成本的大語言模型推理服務。

趨境科技在不久前，聯合清華KVCache.AI團隊發佈開源項目“KTransformers （https://github.com/kvcache-ai/ktransformers）”，利用 MoE 模型和長文本注意力算子的稀疏特性，採用異構劃分策略，大幅度提升了超大模型和超長文本的推理性能，降低了他們本地部署的門檻。

作為項目的首個展示案例，使用 KTransformers ，只需不到 12GB 的顯存和百餘 GB 的內存即可在本地運行Mixtral 8x22B 和 DeepSeek-Coder-V2 等千億級大模型，達到數倍於 Llama.cpp 的性能。

這一技術使得千億大模型的本地使用成本降低了10倍以上。