謝耘：治理“生成式人工智能”，相當於要管人的思想
誕生於1946年的電子計算機，把人類帶入了“智能紀元”。它是一種“意識工具”，不同於人類以往所有的“物質工具”。2010年以來，算力資源的量變帶來質變，到了2023年，這一變化終於使更多普通人得以感知，也帶來了巨大的治理挑戰。
這方面，中國已經開始行動。4月11日，國家互聯網信息辦公室起草的《生成式人工智能服務管理辦法（徵求意見稿）》向社會公開徵求意見，意見反饋截止時間為2023年5月10日。觀察者網就相關話題採訪清華大學電子工程系博士、中科院工程序列任職資格評審委員會主任、北京東方通科技股份有限公司首席科學家謝耘，實錄如下：
觀察者網：3月份以來，基於OpenAI自然語言大模型GPT3.5的ChatGPT成為焦點。它不但引爆輿論、席捲國內資本市場，而且讓國家互聯網信息辦公室迅速起草《生成式人工智能服務管理辦法（徵求意見稿）》並公開徵求意見。我們也想請您就這個話題做一些討論，您認為，從社會治理角度來説，挑戰主要來自哪裏？
**謝耘：**這是一個比較大也比較深刻的話題。我此前在不同場合説過，信息技術為人類帶來了一種“意識工具”，它不同於人類以往所有的“物質工具”，因此，誕生於1946年的電子計算機把人類帶入了“智能紀元”。只不過，它之前的能力還比較弱小，很多人沒有意識到這種變化的重要性，但是2010年以來，算力資源的量變帶來質變，到了2023年，這一變化終於使更多普通人得以感知。
為了便於理解，我想稍微展開一下，先從信息技術的本質説起。現在主流的科技界認為，信息是構成世界的三大要素之一，一是物質，一是能量，一是信息。雖然這個説法寫進了標準的教科書，但我認為這是錯的，至少“信息技術”涉及的信息不是客觀的。舉個例子，人類曾經擁有的儲藏知識信息最集中的地方是什麼？是圖書館。那麼，假設人類消失了，圖書館裏所有的藏品還具有任何“信息”的意義嗎？那些紙上印的也罷，數字化的也罷，它還會和客觀世界的任何東西發生互動嗎？所以，信息是人的意識層面的東西。
再來談計算機，計算機本質上是用於對數字化的信息做可編程的邏輯數值計算與處理，其中有兩個要素，第一，是數字化的信息；第二，對邏輯數值計算與處理。
信息，它既是人的意識活動的產物，也是人的意識活動的最核心要素，信息本質上是意識範疇的存在，而與信息相關的活動，本質上都是意識性的活動。
程序，是人們對邏輯數值的計算與處理的操作，把這些操作排成序列，用它來處理信息。這個過程屬於物質性過程還是意識性過程？顯然是意識性的過程，它把原來在大腦裏進行的意識過程外化，變成一段程序，交給計算機去做。
這是我基本的分析邏輯。第一，信息屬於意識範疇；第二，與信息相關的過程本質上都是意識過程；第三，計算機程序是人的意識的一種外化，計算機運行的過程，其實是一種意識性的過程。
原先，所有的意識都侷限在人類每個人的腦袋裏，計算機的出現讓意識從我們的大腦裏蹦出來，從而脱離了我們的大腦，可以由計算機的CPU去做，所以，信息技術應用本質上就是人的內意識的外化，我管它叫“外意識”。這就是計算機的“意識性工具”的本質。
我們國家有一個部委的名稱是“工業和信息化部”，大家有沒有注意過，這個名字很奇怪？我的看法是，它意味着信息化這個概念是沒法包含在工業範疇內的。回望人類科學技術發展的總過程，科技是第一生產力，人類文明的發展是由工具的不斷進步來推動的，直到電子計算機出現之前，我們工具的主線是作用於物質對象。人類演化幾十萬年以來，我們所有的工具都是物質性的工具，這不是説工具本身是物質，而是説這個工具的作用是物質性的作用，概無例外。
直到1946年，計算機出現，人類第一次有了一個意識性的工具。這個工具作用的對象不是物質，而是作用在意識對象上。從此開始，主線發生了分叉，人類擁有了兩種工具，一種是物質性的工具，一種是意識性的工具。這兩種工具不是割裂開的，意識性的工具是建立在物質科學基礎之上的，但反過來，意識性的工具，又可以植入到物質性的工具裏，比如讓汽車變成智能汽車。
所以我認為，人類文明從1946年開始進入了一個全新的紀元。
但是，人類創造計算機的時候，沒有完全意識到這件事情，一是由於思維慣性，因為我們之前所有的工具都是物質性的工具；二是計算機誕生之初還很弱，沒有展現出那麼強的顛覆性。直到2010年，計算機的算力從量變積累到了質變。1976年，美國製造了第一台超級計算機，運算速度是每秒1億次浮點運算，中國1983年造了第一台超級計算機，也是每秒1億次浮點運算。這都是當年的國之重器，這樣的算力，只能勉強處理圖片，但我們今天的每部手機都能處理視頻，這不是一個數量級的進步。
在2010年前，信息產業業界最大的事情往往是英特爾發佈了新的處理器，今天，沒有人再關心處理器的問題，因為算力極大豐富了。也就是在2010年前後，大數據應用湧現了，因為算力能夠支撐了；人工智能熱起來了，因為人工智能本質上是一個數據統計技術，也需要大量算力。2010年之後，計算機硬件的能力不再製約軟件的發展，信息技術產業“意識性”的特質，自此才逐步顯現出來，無論是區塊鏈，還是深度學習的人工神經網絡，這些創新都是不受物理規律限制的，因為它是一種意識範疇的創新。
回到你的問題，“生成式人工智能”帶來的挑戰，實際上起始於1946年“智能紀元”的開端，它是人類社會共同面臨的一次變革，只不過現在才顯現出來。
計算機是一個意識工具，這是一個非常本質的事情，帶來的挑戰非常大，要治理“生成式人工智能”，相當於要管人的思想。幾千年來，人類對於怎麼管理物質還是積累了足夠多的經驗，一旦涉及到精神意識層面，其實就有點亂。從倫理、道德、宗教、意識形態、各路學説等等，都是這樣，這不光是中國的問題，美國對互聯網的治理同樣亂象叢生，因為人類沒有對意識領域的治理積累足夠的經驗。
觀察者網：我插一個小問題，您剛才舉的一個例子説，圖書館是人類信息的集中地，如果我們順着這個思路，那麼在人類發展的歷史中，其實已經有若干次這樣的信息爆炸，也伴隨着時代變化的挑戰，首先是出現文字，然後是紙的發明，接着是印刷術，然後是活字印刷術，那麼計算機或者人工智能帶來最新的一次信息爆炸，一是必然帶來社會變革，二是隻是一系列挑戰之一，能否這樣理解？
**謝耘：**我們可以説，這些某種意義上也是信息的革命，比如出現文字，但它只是“信息”的記錄和傳播，也就是説記錄和傳播“意識的產物”，比如報紙上的文章，它已經是靜態的東西了。但信息技術處理的是意識的活動，它是“活的”，在這個意義上，它完全上了一個檔次。
觀察者網：能不能認為這是生產力發展對生產關係的一個挑戰？
**謝耘：**我覺得這要從兩方面看，首先，它是生產力的一種發展，傳統的生產力指的是通過物質性工具創造物質財富的手段，那麼，信息技術作為意識性工具，它能賦能物質性工具，提高其創造物質財富的能力。
信息技術的發展已經讓所有人受益。幾年前施瓦布提出“第四次工業革命”，新材料、新能源等等領域的新發展，背後真正的推動力都是信息技術。
近年來，材料科學發展突飛猛進，因為計算機可以做大量模擬，不像傳統那樣需要做大量物理、化學實驗，節省大量時間和資源成本。
再比如説醫療，現在的影像醫學與人工智能的結合速度非常快，極大提升了診斷效率。
信息技術解決了工業社會一直無法解決的一對矛盾，就是大規模生產與個性化無法統一的問題。信息技術賦能產業鏈之後，大規模的個性化生產成為可能。而且，定製化生產的衣服比標準化生產的衣服還要便宜。因為在標準化生產中，產能的安排遠落後於市場需求變化，往往導致大量的庫存積壓，這些成本最後仍然要平攤到消費者頭上，但是實現定製化柔性製造以後，按需生產就成為可能。
所以在以後的社會里，即使一個人不懂信息技術，他仍然非常可能受益於信息技術，實現很多個人的發展和追求。因為信息技術會成為社會的一個公共基礎，讓所有人受益。
同時，信息技術的另外一個屬性並不促進物質生產，而是直接介入了意識形態，比如電子遊戲、AIGC等等，雖然沒有產生物質財富，但也能產生經濟活動。
觀察者網：這是否會產生一個“空轉”的問題呢？因為雖然我們進入了“暴力計算”時代，算力極大豐富，但是算力仍然要消耗物質世界大量的能源和資源。這就在全人類社會的層面上產生了一個效率問題，如果不能提升社會的生產力，而只是產生一個夢境在“空轉”的話，這在資本邏輯上是成立的，但是會在物質層面帶來大量的“浪費”。
**謝耘：**這是一個風險，人類的意識藉助計算機擴展到社會各個領域，而且空前地被加強了，這可能會讓人類更加脱離物質層面，沉浸在意識世界裏，顛來倒去地搞一些東西，也就是你説的“空轉”。
在農業社會，我們的生存空間基本上就是一個自然世界；在工業社會，絕大多數人生活在城市，城市是一個人工世界，這個時候人類和自然是一種對立的關係，人類要征服自然，要剝奪自然；到智能紀元之後，我們的生存空間變得更復雜，出現了一個虛擬的網絡空間，所以人類今天的生存空間是自然空間、人工物質空間和虛擬網絡空間，這三個空間的複合。現在，很多人試圖把網絡空間獨立化，也就是“元宇宙”，在這個虛擬空間裏我們確實可以不受物理規律限制，完全自由地暢行。
但這還是會遇到物質的制約，“暴力計算”需要消耗大量能源，製造芯片也需要現實產能，人對算力的追求幾乎可以是無限的，現有資源是不可能匹配無限的。
同時，還出現了一個非常嚴重的問題：人與自然分離的傾向。我們看到過新聞，有的孩子沉迷電子遊戲產生各種各樣的問題，實際上不僅是孩子，這是一個關於生命意義的非常深刻的哲學層面的問題。
物質世界和虛擬世界是什麼關係？人類和虛擬世界是什麼關係？我們要不要離物質世界越來越遠，進入到由思維創造的意識世界裏面去？
觀察者網：這是不是跟“物質第一性”還是“意識第一性”有關的話題，我會聯想到馬克思當時對資本主義的批判，因為資本主義的生產方式就是資本家的意志強加於物質生產之上，所謂“木腦袋倒立在地上自己跳舞”，不管這個物質世界的“實然”是怎樣的，它就是追求一個意識的“應然”的資本增殖。
**謝耘：**對，按照馬克思的説法，資本最後追求的是資本無限增殖這麼一個虛無縹緲的目的。所謂資本增殖，其實就是脱離實質的物質生產，就活在意識世界裏面。如果按照這個邏輯，我們面臨的挑戰非常大、非常現實、而且非常本質，甚至觸及到人類生存的價值問題。
比如“數字孿生”，是人類又創造出另外一個和現實世界一樣的世界嗎？不是的。物質世界和虛擬世界之間是一個映像的關係，而不是孿生的關係。
什麼叫孿生？是指兩個世界是對等的關係。你的照片和你是對等的關係嗎？不是，它是映像的關係。所以，當我們把物質世界信息化，放到虛擬世界裏之後，它只是物質世界裏的一個映像，而絕不是一個孿生。
第二，兩者也不是同一關係。同一關係是兩者密不可分，但現實世界與虛擬世界不是密不可分。舉個例子，區塊鏈產業化的謊言之一就是物品溯源，區塊鏈的系統的數據是高度可信任、可追溯、不可篡改的，但這三個屬性僅僅是指向區塊鏈中的數據，而我們要溯源的是物質世界中的商品，區塊鏈中的數據能和物質世界中的商品在時空上牢牢綁在一起嗎？做不到。
所以，對信息技術要辯證地看，它是人類意識性的工具，意識可以反作用於物質，但意識世界不是物質世界。
觀察者網：很有趣，能不能再談一下“生成式人工智能”相對於信息技術的一般性和特殊性在哪裏？為什麼這次突然讓大眾對它產生了強烈的感知？
**謝耘：**我覺得這一次引起大眾的強烈反應，就在於大家發現機器確實能和你説話。給大眾的震撼更多是一種感性體驗帶來的。
從技術本質上來講，人工智能這一輪進步並不是因為我們對智能原理有了新的認識，包括大模型等等的技術核心主要還是依賴於大量的數據統計，在這一點上，目前大家是有共識的。假設這個結論是正確的話，那就要説一下數據統計的技術能做到什麼和不能做到什麼。
從信息論的角度來講，數據統計作為一種信息處理方式，它輸出的信息量一定小於輸入的信息量，也就是説，它不可能產生更多的信息。
第二，它輸出的信息本質上都包含在輸入的信息當中。這句話非常重要，只不過它把輸入的某些信息做了進行了篩選、過濾、組合，或者以新的方式展示。
換句話説，它只是在輸入的集合當中做事情，其產出也沒超出這個集合。但是，因為模型的信息量非常大，所以對於一個人類個體來講，他會覺得很新鮮。但是相對於向機器輸入的大量數據來講，這些信息在本質層面不是什麼新鮮的東西，沒有增加新的東西給這個世界，這一點非常重要。
觀察者網：我們原來去訓練人工智能，期望的一個方向是它能夠給我們確定性的結果，告訴我們一個精確的東西，從而推動產業應用。但ChatGPT不是，它正是犧牲了精確性，來使大眾感覺它是一個“真人”。
**謝耘：**其實人類在用到人工智能這種統計方法之前，我們都希望工具給出一個確定性的結果，包括用計算機做計算。
但現在基於統計的這些人工智能的方法，給出的是概率性的結果，所以，我們不能把它和以前的工具和方法等量齊觀地去看待。
觀察者網：既然它是一個意識的工具，我們是不是需要擔心來自少數人的意識，尤其是可能來自境外的意識，通過信息技術的賦能，來影響多數人的思維和行為的方式？
**謝耘：**確實非常危險，這不僅是社會問題，首先還是個體問題，如果一個人沒有很強的獨立意識的話，是很容易被別人左右的。
信息技術的發展讓影響他人的意識這件事變得更加高效，甚至更加隱蔽。機器學習或者機器搜索出來的結果，不是中立的，它是被人訓練出來的，它有人的“外意識”的本質。
觀察者網：但是像傳統的教育，其實也是這樣的一個過程，只是現在它產生了一個效率上的提升，是不是能夠這樣理解？
**謝耘：**它影響的規模空前，藉助網絡，可以輕易實現複製、傳播等等，在一件事情規模有限的時候，社會對它進行管理是比較容易的，如果規模巨大之後，管理是非常困難的。
觀察者網：那麼如果站在政府立場要去治理它，可以有哪些抓手呢？
**謝耘：**我確實沒有站在政府的角度仔細考慮過到底該怎麼治理的問題，
但是虛擬空間有其賴以存在的一個基礎和兩個錨點。這是否能作為治理的抓手？我們可以討論。
首先，構建虛擬空間的基礎就是邏輯數值計算。
其次，它有兩個錨點，一個錨點是人，人類在創造這個空間，空間中的東西最終又被人所利用；第二個錨點是物質世界，人的意識不能獨立於物質世界而存在，虛擬世界作為“外意識”，其信息同樣來源於物質世界，信息從物質世界進入虛擬空間，在虛擬空間被處理完之後，又回到物質世界，應用在物質世界之上。
所以整個虛擬世界有一個基本的內在的基礎，有兩個外部的錨點，不論它怎麼發展，這三個要素是不會變的。
觀察者網：能不能從“兩個錨點”的視角來看這次的《生成式人工智能服務管理辦法（徵求意見稿）》？
**謝耘：**不論利用信息技術做什麼，終歸應當是服務於人，也就是服務於我們真實社會的，這是一個基本的出發點。
要治理“生成式人工智能”，一個抓手當然是“人”，也就是現有的社會秩序。所以《徵求意見稿》開宗明義，其依據是一系列現有法律和行政法規制定；其次，“研發、利用生成式人工智能產品，面向中華人民共和國境內公眾提供服務的，適用本辦法”，這就是説，不但本土相關企業要守規矩，境外的公司的相關產品或服務如果要進來，也要守規矩。
在《徵求意見稿》中非常強調技術提供者的責任，把技術提供者作為主要管理目標。因為意識性工具和物質性工具不一樣，物質性工具的生產者，一般生產一個靜態的東西，只要產品符合標準，就完成了主體責任；而意識性工具提供者的產品很難界定，它是一個“活的”東西，所以必須持續強調技術提供者的責任。另外，如果針對技術使用者，可能執法成本太高，因為那是面對不特定的多數人，而技術提供者由於受物質條件限制，必然是少數“中心化”的大型企業，擁有龐大的資產和能力，也依賴其他組織的能源和資源供給，把它們作為治理抓手，也等於抓住了“物質世界”這個錨點。
我認為值得商榷的是第四條第四款，“利用生成式人工智能生成的內容應當真實準確，採取措施防止生成虛假信息”，可能徵求意見稿的起草者還沒有明確理解“意識性工具”的特點，要求意識確保“正確”是不具有可操作性的。
觀察者網：最後一個問題，在這樣的一個大趨勢當中，個人應該做怎樣的努力？對於學生或者年輕人，你有什麼建議？
**謝耘：**我有三個建議，第一，如果真的要想查準確的資料，建議不要放棄傳統的搜索工具，那樣能直接查到原始的資料，可以看到原始資料到底它講了什麼，而不是通過生成人工智能組合出來的一個答案，
因為組合就有信息的損失。如果真的做嚴肅工作，查原始資料還是非常重要的，找到原汁原味第一手的東西，就不至於受有意或者無意的誤導。
第二，在使用生成式人工智能工具的時候，一定要記住，得到的答案不一定對，要堅持存疑，我建議使用時還是要用其他的渠道加以印證，防止自己被數據統計導致的概率性或算法本身固有的其他侷限給誤導。
第三，即使生成式人工智能可以幫你幹很多事，但不要依賴它。對於人的智能來説，用進廢退是一個規律，只有通過不斷實踐，對問題的認識才會不斷深化。即使是一些基礎的事情，也應該把它當做一種必要的鍛鍊，才能避免智力的退化，我發現在互聯網時代，智力退化是一種比較普遍的現象。
附2：《從凡夫到“上帝”：信息技術的意識本質與未來發展》線下研討會視頻
本文系觀察者網獨家稿件，文章內容純屬作者個人觀點，不代表平台觀點，未經授權，不得轉載，否則將追究法律責任。關注觀察者網微信guanchacn，每日閲讀趣味文章。
