薩姆·奧特曼：關於通用人工智能，我是這樣想的……_風聞
返朴-返朴官方账号-关注返朴（ID：fanpu2019）,阅读更多！1小时前
編譯 | 西岸
OpenAI：我們的使命是確保通用人工智能（AGI）——總體上比人類更聰明的人工智能系統——造福全人類。
如果通用人工智能最終被成功創造出來，這項科技將會幫助我們建設更加富足繁榮的社會，促使全球經濟高速發展，並催生一些突破性的科學知識，從而推動人類的發展。
通用人工智能將使每個人擁有不可思議的新能力。我們可以想象一下，在這個世界裏，所有人有機會在任何認知活動中做出貢獻，人類的聰明才智和創造力將因此倍增。
另一方面，通用人工智能也會帶來技術濫用、嚴重事故和社會混亂的風險。但因為通用人工智能的好處如此顯著，我們認為社會不可能也不希望永遠停止它的發展，相反，社會和通用人工智能的開發者們要為它找到正確的發展方法。
儘管我們無法準確預測將來會發生什麼，甚至我們在發展過程中還可能遭遇瓶頸，但我們可以闡述幾條我們最關注的原則：
1. 我們希望通用人工智能促使人類文明在宇宙中最大程度地發展。我們不奢望人類的未來是一個絕對的烏托邦，而是能夠趨利避害，讓通用人工智能成為人類文明繁盛的助推器。
2. 我們希望通用人工智能的使用和管理能夠實現廣泛的共享、公平的獲益。
3. 我們想成功地應對重大風險。在面對這些風險時，我們承認，理論上看似正確的事情在實踐中往往以意想不到的方式偏離預期。我們相信，通過持續不斷地學習，不斷升級技術版本，儘量避免“一勞永逸”的想法。
短期來説，為了迎接通用人工智能的到來，我認為有幾件重要的事情需要做好準備。
首先，隨着更強版本的不斷推出，我們會通過在現實世界中部署和運行來積累經驗。我們相信，這是謹慎管理通用人工智能的最佳方式——逐步過渡到擁有通用人工智能的世界，而不是突然轉變。我們當然希望強大的人工智能可以加快世界的發展速度，但最好能循序漸進地來。
逐步過渡的方式可以使大眾、政策制定者以及機構有時間去理解正在發生的事情，親身體驗這些系統所帶來的好處和壞處，從而可以調整經濟結構，制定監管政策。並且也可以讓社會隨同人工智能一起進化，在風險相對較低的階段，讓大眾共同決定他們到底想要什麼。
我們目前認為，為了成功應對人工智能所帶來的挑戰，部署的最佳方式是建立一個包含快速學習和謹慎迭代的緊密反饋閉環。社會將面臨一些重大問題，例如，如何限制人工智能的應用邊界；如何解決算法偏見；如何處理工作崗位被取代等等。對於這些問題，最佳的決策將取決於這項技術的發展方向，與任何新領域一樣，迄今為止，大多數專家的預言都是錯誤的。而我知道憑空規劃異常困難。
總體而言，我們認為在世界上更廣泛地應用人工智能將會帶來好的結果，因此我們希望推廣這項技術（通過將模型嵌入API、開放源代碼等）。
我們相信全民應用會促進更多、更好的研究，避免權力集中，帶來更多好處，一定有更多人來進一步貢獻新的想法。
隨着我們的系統越來越接近通用人工智能，我們在創建和部署我們的模型時，變得越來越謹慎。比通常社會在面對新科技時更加謹慎，也比許多用户所希望的更謹慎。人工智能領域的一些人認為通用人工智能（及其後續系統）帶來的風險只是杞人憂天，但願事實證明他們是對的，但我們仍假設這些風險是存在的並謹慎應對。
某個時間點，部署這項技術所帶來的正面和負面影響之間的平衡可能會變化（比如，授權惡意行為、造成社會經濟的動盪、加劇不安全的競爭等），那麼我們將會對部署計劃進行重大調整。
其次，我們正在努力創建更加一致和可控的模型。我們的模型從第一版的GPT-3進化到InstructGPT再到ChatGPT，就是一個早期的例子。特別是，我們認為，全社會在人工智能應用的邊界這個問題上達成共識很重要，但在此邊界內，個人用户應有很大的自由裁量權。
我們最終的希望是，世界各地的機構就這些寬泛邊界達成一致。近期，我們計劃開展一些試驗，聽取外部的意見。世界各地的機構需要進一步提高能力並完善經驗積累，為有關通用人工智能的複雜決策做好準備。
我們產品的“默認設置”可能會受到很大限制，但我們計劃讓用户可以方便地改變他們正在使用的人工智能的行為。我們希望給用户自主決策的權力，並且堅信思想多樣性的內在力量。
隨着我們的模型變得更加強大，我們將需要開發新的對齊技術（以及相關測試來了解我們當前的技術何時失效）。我們短期的計劃是利用人工智能去評估更多複雜模型的輸出並監測複雜的系統；從長遠來看，我們可以利用人工智能來幫助我們獲得新的想法，以實現更好的對齊技術。（“對齊技術”指的是人工智能系統的目標要與人類價值觀和利益保持一致。）
重要的是，我們認為，人工智能的安全性與功能性常常需要一並發展。將其安全性和功能性割裂開來討論是錯誤的，它們在很多方面都是互相關聯的。
我們最好的安全成果來自於我們功能性最強大的模型。也就是説，安全性增長和功能性增長之間相輔相成很重要。
第三，我們希望就3個關鍵問題開展全球討論：如何管理這些系統？如何公平分配這些系統所帶來的利益？如何合理分配使用權？
除了這三個問題之外，我們試圖建立一個激勵機制與良性結果相一致的組織架構。我們的公司章程中有一條規定，在通用人工智能開發的後期，我們要幫助其他組織提高其安全性，而不是與之競爭。我們給股東的回報設置了上限，這樣我們就不會過度追逐效益並部署一些可能帶來災難的危險系統（當然這也是與社會分享利益的一種方式）。我們由一個非營利機構管理，我們運營的宗旨是提升人類福祉（並且這一點凌駕於任何經營利益之上）——包括出於安全考慮可以不用履行我們對股東的股權責任——並贊助全民基本收入實驗（UBI）。
注：UBI實驗是指政府給所有公民或居民提供一筆固定且無條件的現金收入，以保障他們的基本生活水平，這個概念已經在歐洲、非洲、印度、美國等地有過不同程度和範圍的嘗試，但目前世界上還沒有任何一個國家將其列為一項正式制度。
我們認為，在通用人工智能項目中——何時停止訓練運行、何時安全發佈模型以及何時將模型從生產應用中退出——公共標準也非常重要。
最後，我們認為也很重要的是，大國政府部門應該對一定規模以上的人工智能訓練有洞察力。
長期來看，人類的未來應該由人類共同決定，與公眾分享技術進展很重要。任何通用人工智能開發項目都應該接受嚴格的審查，並就重大決策進行公開諮詢。
第一個通用人工智能將只是智能技術持續發展過程中的一個節點。我們認為，從這個節點開始，在未來很長一段時間內，發展速度很可能會保持與過去十年相同。如果果真如此，那麼未來的世界將會變得與現在大不相同，其所帶來的風險也可能是巨大的。一個沒有正確對齊的超級通用人工智能會對世界造成嚴重破壞，而一個被超級智能武裝的專制政權也會對世界造成嚴重破壞。
那種可以加快科學發展的人工智能是一個值得我們深思的特殊案例，它也許比其他任何技術都更有影響力。由於通用人工智能有能力自我進化，因此可能會以驚人的速度催生重大變革（即使這樣的過渡開始比較緩慢，但我們預計在後期速度會非常快）。我們認為起步慢一點更有利於確保安全，並且通用人工智能項目之間要能夠互相協作，在關鍵時刻能把速度降下來，這一點可能很重要（即使在一個不需要這樣做來解決技術對齊問題的世界裏，放慢速度也很重要，可以給社會足夠的時間來適應）。
成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要的、最有希望也最可怕的轉變。我們無法保證會成功，但其中的利害關係（無限的不利影響和無限的有利影響）有望將我們所有人團結起來。
我們可以憧憬這樣一個世界，在這個世界裏，人類文明的繁榮程度可能是我們現在所有人都無法完全想象到的。我們希望實現這樣的通用人工智能。
本文經授權轉載自微信公眾號“世界科學”，
資料來源：https://openai.com/blog/planning-for-agi-and-beyond。