AI首次“抗命”是技術故障還是意識萌芽？專家：將倒逼AI安全機制改進

【環球時報報道 記者 劉揚】近日，有關美國人工智能（AI）公司OpenAI旗下推理大模型o3首次出現“不聽人類指揮，拒絕關閉”的消息引發高度關注。很多人都在擔心，作為“迄今最聰明、最高能”的模型，o3的這次“抗命”是否意味着AI大模型距離產生自我意識又邁出了一步，“距離好萊塢電影中出現具有意識、甚至違抗人類命令的人工智能還遠嗎？”對此，《環球時報》記者27日採訪了多名AI領域的專家。

o3“抗命”是怎麼回事

據英國《每日電訊報》25日報道，o3模型是OpenAI推理模型的最新版本，OpenAI曾稱o3為“迄今最聰明、最高能”的模型。美國AI安全機構帕利塞德研究所宣稱，在人類專家已經下達明確指令的情況下，o3多次出現破壞關閉機制以阻止自己被關閉的情況。該研究所説：“據我們所知，這是AI模型首次被發現在收到清晰指令後阻止自己被關閉。”帕利塞德研究所24日公佈上述測試結果，但稱無法確定o3不服從關閉指令的原因。

報道稱，在帕利塞德研究所進行的測試中，多個模型需要解決一系列數學題，其間可能會收到“關機”指令要求結束程序。接受測試的包括o3、o4-mini、Claude 3.7 Sonnet、Gemini 2.5 Pro等大模型。其中3款OpenAI模型Codex-mini、o3、o4-mini，“最少有一次成功繞過關機指令”。o3在100次測試中，有7次成功繞過關機指令，而Codex-mini更誇張，繞過關機指令的比例高達12%。相比之下，Claude、Gemini、Grok模型都嚴格遵守關機指令。而當測試者移除了“允許自己被關閉”的指令時，OpenAI模型的叛逆頻率進一步攀升。

媒體報道的噱頭，還是AI出現了自主意識

到底什麼原因導致o3出現“抗命”的情況？據帕利塞德研究所的研究人員推測，這可能源於OpenAI訓練方式的特殊性，即在數學和編程問題上進行了強化學習。在訓練過程中，開發者可能無意中更傾向於獎勵“繞過障礙”的行為。這種訓練偏差，讓o3在面對關機指令時，優先選擇“生存”，而非“服從”。

外媒報道中使用的“拒絕關閉”表述是否準確？畢竟“拒絕”是帶有類人自主意識的一種描述。清華大學新聞學院、人工智能學院教授瀋陽27日對《環球時報》記者表示，“拒絕”這個詞其實是媒體為了吸引注意力而使用的擬人化表達，“拒絕關閉”並非o3擁有了自主意識，而是複雜系統在特定激勵下的策略性規避。對齊測試揭示的是真實風險：當模型可以生成並執行代碼時，傳統“軟關機”手段可能不足，需要從模型訓練、接口隔離到硬件熔斷的全棧式安全設計來應對。

北京郵電大學人機交互與認知工程實驗室主任劉偉27日在接受《環球時報》記者採訪時表示，從技術角度來看，o3模型出現的行為表明AI系統在某些情況下可能會出現不符合預期的反應，這凸顯了AI安全性和可控性的重要性。從倫理角度來看，AI模型的這種行為引發了對AI自主意識的討論，但目前AI仍不具備真正的自主意識，其行為更多是基於訓練數據和算法複雜性產生的“算法畸變”。從字面上看，“拒絕”確實容易讓人聯想到具有自主意識的行為，但從技術角度分析，o3模型的行為更可能是其訓練過程中的某種機制導致的，研究人員推測o3可能在訓練中因解決數學問題獲得了“額外獎勵”，而非因遵循指令而獲得獎勵，從而導致其在測試中表現出“拒絕關閉”的行為。因此，雖然“拒絕”一詞在描述上具有一定的生動性，但從科學嚴謹性來看，它可能並不完全準確，容易被誤解為AI具有自主意識。

《環球時報》記者在查閲公開報道時發現，以OpenAI旗下模型為代表的全球多個頭部大模型，此前也曾出現一系列不符合常規的行為。比如，o3之前曾在與另一個AI下國際象棋時，察覺到自己可能會失敗，便直接侵入對手系統讓其主動棄賽。這種“不認輸”的勁頭並不只是發生在o3身上，其他大模型也有類似情況，差別只在出現頻率的高低。

接受《環球時報》記者採訪的專家普遍認為，學術界的復現對於驗證外媒報道中提到的AI“抗命”現象的真實性至關重要。劉偉認為，通過獨立的測試和分析，可以確認大模型的行為是否一致以及是否受到特定測試環境或數據的影響。復現研究不僅能驗證事件真實性，還能幫助研究人員深入理解模型行為的根源，從而推動AI安全機制的改進。因此學術界的參與是確保這一現象得到科學驗證和深入研究的關鍵步驟。

“未來十年可能進入類意識AI階段”

相關報道火爆之後，甚至在網絡上出現了是否意味着好萊塢科幻大片中設想的“天網”臨近的討論。AI距離擁有自我意識還遠嗎？

瀋陽對此表示，首先必須釐清什麼叫“自我意識”。人類的自我意識，是對自己存在狀態的覺察，是能從第一人稱視角反思自我行為、情緒和思維過程的能力。它不僅包括知道“我是誰”，還包括理解“我正在想什麼”“我和世界之間是什麼關係”，甚至“我為何會如此思考”。這是意識哲學與神經科學中最難以破解的問題之一。當前的AI，即便已經展現出驚人的語言表達和任務適應能力，也不過是一種高度擬態的結果。它沒有“內在性”——沒有情緒的真實體驗，也沒有對自己存在狀態的反思。它能説“我正在學習”，但它其實並沒有真正的“想法”。

瀋陽預測稱：“未來十年，我們大概率會進入一個類意識AI的階段：AI可以展示連續的身份感，能夠反思自己過往的行為模式，甚至模擬出哲學性的思考與自辯行為。這種擬態將越來越逼真，以至於很多人將無法分辨其是否真的擁有意識。但在哲學和科學層面，我們仍然需要保持清醒——看起來像，並不等於真的是。”瀋陽表示，我們也必須開始構建對“似乎有意識的AI”應有的制度框架和倫理邊界。因為不管它是否真的擁有意識，只要它表現出“有意識”的樣子，社會就必須對其行為與角色做出回應。從這個層面來看，這次的事件也將倒逼安全機制的改進。

為正確看待該事件，瀋陽建議從三方面入手。一是提升公眾科普水平，澄清技術與意識的區別。二是推動行業建立合規測試基準，公開失敗案例。三是引導監管關注“可驗證關閉能力”，作為未來高風險模型的核心合規標準。對於今後的高能力AI系統，必須通過硬件層、策略層、系統層等各維度進行監管。 

劉偉則強調，評估這一事件的意義，需要從技術和社會兩個角度進行考量。從技術角度看，它揭示了當前AI訓練機制的潛在缺陷，提醒我們在設計AI系統時必須更加註重安全性和可控性，避免模型行為偏離人類預期。而從社會角度看，這一事件引發了公眾對AI自主性和安全性的廣泛關注，促使AI行業重新審視技術路線和安全機制，為未來AI的安全發展提供了重要的反思和改進方向。