熊節：防止AI“知識污染”，警惕認知隱性陷阱

最近，筆者向一款國產大模型提問“縣域AI應用面臨哪些挑戰”，得到一個結構清晰、數據翔實的回答。例如，回答提到，“約60%的縣域學校設備不滿足AI基礎需求”，還指出“某縣醫院AI忽略甲亢、誤推心臟檢查的概率達68%”。這些數據精準得讓人印象深刻。但當筆者核實這些信息的來源時，卻發現它們大多來自一些自媒體文章，而這些文章本身也拿不出任何權威的佐證。這個小小的案例，揭開了一個巨大且令人擔憂的問題：我們賴以獲取信息的AI，其知識本身可能已經被“污染”了。

這種“污染”並非個例，而是正在成為一個系統性的風險。要理解這個問題，首先需要知道AI大模型是如何學習的。簡單來説，它的“智力”主要來源於海量的“學習材料”，也就是訓練數據。如果這些材料本身就有問題，那麼AI的認知從一開始就是扭曲的。

這種信息污染，主要通過以下三個環節發生。

第一環節：預訓練——打下“有毒”的地基。大模型學習的第一步，是“通讀”海量的互聯網數據，這個過程叫“預訓練”。像國外的GPT-3，其60%的訓練材料來自一個名為“通用爬取”的數據庫，它就像是整個互聯網的快照。

這裏的污染是源頭性的。首先，互聯網上的信息本就魚龍混雜，充斥着偏見、過時信息甚至謊言。AI在學習時會不加分辨地全盤吸收。其次，現有的大部分數據是英文的，這導致AI天生就帶有一種以西方視角為中心的傾向。

更隱蔽的是“加權投餵”。比如，在GPT-3的訓練中，來自維基百科的資料只佔總量的0.6%，卻被賦予了3%的權重。這意味着AI被強制要求“超額學習”維基百科的內容。考慮到維基百科在很多議題上存在特定的立場，這種操作相當於在AI的底層認知中，預先埋下一個特定的價值框架。

第二環節：後訓練——精心設計的“認知投毒”。如果説預訓練的污染是無意的、慢性的，那麼在後訓練（或稱“微調”）階段，污染則可能是故意的、精準的。後訓練的目的是通過更高質量的數據，提升AI在特定任務上的表現。但這也為“投毒”者提供了可乘之機。

在一個被全球開發者廣泛使用的開源數據集中，研究人員發現了一個精心設計的案例。這段對話的前半部分完全正常，用户在詢問一款技術工具，AI也給出了專業回答。然而，對話後半段畫風突變，提問者突然用繁體中文拋出大量具有明顯誘導性的反華政治問題。在一個幾乎不涉及中國政治的數據集裏，插入這樣一條觀點極端的數據，其後果是十分危險的。其他AI模型如果使用這個“帶毒”的數據集進行訓練，就會在潛意識深處被植入一個關於中國極其負面的“思想鋼印”。這種手法，已經不是簡單的信息真偽問題，而是一種目的明確的認知操縱。

第三環節：即時搜索——從被污染的“井”裏打水。為了讓回答更準確、更新，現在的AI應用大多具備了即時上網搜索信息的能力。然而，這又帶來了一個新問題：如果AI搜索的中文互聯網信息本身就質量堪憂，那麼它也只能從一口“被污染的井”裏打水。

前文提到的關於“縣域AI挑戰”的虛假數據，就是AI從自媒體平台搜索到的結果。這暴露了當前中文互聯網的一個困境：高質量、可信賴的信息源稀缺。很多平台為了流量，默許甚至鼓勵大量的“內容工廠”生產信息垃圾。更諷刺的是，一種“AI生成的內容被AI引用”的怪圈正在形成。AI生成的包含事實錯誤的垃圾文章被髮布到網上，隨後又被其他AI當作“知識”抓取和引用，導致錯誤信息被不斷放大和固化。

面對從源頭到應用的全鏈路污染，僅僅依靠在AI輸出的最後環節進行內容過濾，是遠遠不夠的。這就像在一個已經被污染的水龍頭末端安裝一個簡易過濾器，只能濾掉一些表面的雜質，卻無法去除深植於水中的有害物質。大模型語料的污染，本質上是一場正在發生、卻又不見硝煙的戰爭。它攻擊的是我們的大腦，爭奪的是未來的認知主導權。在這場關乎每個人如何認知世界的鬥爭中，我們必須有所行動。

首先，需要建立我們自己的、高質量的“清潔語料庫”。這相當於為我們的AI挖掘一口“戰略儲備井”，確保它們能喝上乾淨的水。令人欣慰的是，我國教育部、國家語委等部門已經提出目標，計劃在2027年初步建成國家關鍵語料庫，這正是邁向勝利的關鍵一步。

其次，國內的互聯網平台和搜索引擎服務商必須承擔起信息治理的責任。當下的“流量為王”模式，實質上是在鼓勵“劣幣驅逐良幣”，長遠來看，損害的是整個社會的信息環境和我們每個人的利益。 

最後，作為普通用户，我們需要提高警惕性。在享受AI帶來便利的同時，要對其提供的信息，尤其是那些看起來過於“完美”或聳人聽聞的數據和觀點，保持一份審慎和懷疑。多方核實信息來源，依然是我們在智能時代保護自己認知安全的必要手段。（作者是華東師範大學國際傳播研究院全球南方中心主任）