小型語言模型：AI領域的新熱點

【科技創新世界潮】

◎本報記者 劉 霞

多年來，谷歌等科技巨頭和OpenAI等初創公司，一直在不遺餘力地利用海量在線數據，打造更大、更昂貴的人工智能（AI）模型。這些大型語言模型（LLM）被廣泛應用於ChatGPT等聊天機器人中，幫助用户處理各種各樣的任務，從編寫代碼、規劃行程，到創作詩歌等。

自ChatGPT面世以來，AI模型便在變大、變強之路上“狂奔”。但喧囂過後，科技公司也越來越關注更小、更精簡的小型語言模型（SLM）。他們認為，這些小巧玲瓏的模型不僅“術業有專攻”，而且部署成本更低廉、更節能。

未來，這些規模不一的AI模型將協同工作，成為人類的左膀右臂。

小型模型獨具優勢

隨着AI技術突飛猛進，AI模型的“塊頭”與日俱增。ChatGPT的締造者OpenAI去年誇耀稱，其GPT-4模型擁有約2萬億個參數。參數表示AI模型的大小，一般參數越多，AI模型的能力越強，龐大的參數量使GPT-4成為迄今最強大的AI模型之一，能回答從天體物理學到動物學等多領域包羅萬象的問題。

但是，如果某家公司只想藉助AI模型解決特定領域（如醫學）的問題，或者一家廣告公司只需一款AI模型來分析消費者行為，以便他們更精準地推送廣告，GPT-4這類模型就有點“大材小用”了，SLM反而更能滿足用户們的要求。

美國《福布斯》雙週刊網站在11月的報道中，將SLM稱為AI領域的“下一個大事件”。

微軟公司生成式AI副總裁塞巴斯蒂安·布貝克表示，雖然SLM的參數量目前並沒有統一標準，但大約在3億到40億個之間，小巧到可以安裝在智能手機上。

專家聲稱，SLM更勝任簡單的任務，如總結和索引文檔、搜索內部數據庫等。

法國初創公司LightOn的負責人勞倫特·都德認為，與LLM相比，SLM擁有諸多優勢：首先，這些模型的反應速度更快，能同時響應更多查詢，回覆更多用户；其次，SLM部署成本更低，能源消耗也更少。

都德解釋道，目前很多LLM需要大量服務器來進行訓練，然後處理查詢。這些服務器由尖端芯片組成，需要大量電力來運行，並進行冷卻。而訓練SLM所需芯片更少，運行耗費的能源也更少，這使其更便宜、更節能。

SLM還可直接安裝在設備上，在不依賴數據中心的情況下運行，這能進一步確保數據的安全性。《福布斯》表示，SLM能以最少的計算資源執行各種任務，使其成為移動設備、邊緣設備等的理想選擇。

AI模型掀起“極簡風”

谷歌、微軟、元宇宙平台公司以及OpenAI等公司聞風而動，推出了各種SLM。

去年12月底，微軟公司正式發佈了只有27億個參數的語言模型Phi-2。微軟研究院在其X平台官方賬號上表示，Phi-2的性能優於現有其他SLM，且能在筆記本電腦或移動設備上運行。今年4月，微軟又推出了只有38億個參數的Phi-3系列模型。

今年8月，微軟公司再接再厲，推出了最新的Phi-3.5-mini-instruct。這款SLM為高效、先進的自然語言處理任務量身打造。9月，英偉達公司開源了Nemotron-Mini-4B-Instruct。該公司表示，這款SLM特別適合邊緣計算和設備端的應用。報道稱，這兩款SLM在計算資源使用和功能表現之間實現了良好平衡。在某些方面，其性能甚至可媲美LLM。

OpenAI也不甘示弱。今年7月，OpenAI公司發佈了GPT-4o mini，稱其是該公司最智能和最實惠的SLM。

此外，亞馬遜公司還允許在其雲平台上使用各種規模的AI模型。

其他公司也紛紛開發更適合自身需求的SLM。例如，美國製藥巨頭默克公司正與波士頓諮詢集團（BCG）合作開發一款SLM，旨在探究某些疾病對基因的影響。這將是一款參數介於幾億到幾十億之間的AI模型。

大小模型作用互補

雖然SLM在效率等方面具有獨特優勢，但LLM在解決複雜問題、提供更廣泛的數據訪問方面仍然具有極大優勢。

展望未來，LLM和SLM兩種模型將“是朋友而非對手”，它們之間的協作交流將成為主流趨勢。

當遇到用户提出的某個問題時，一款SLM會“一馬當先”，理解這個問題，再根據問題的複雜性，將相關信息發送給幾個大小不一的AI模型。這些模型“羣策羣力”“並肩攜手”為用户解決難題。

目前市面上的AI模型要麼太大、太貴，要麼處理速度太慢。兩者合作，或是最佳解決方案。