初創公司Synth Labs以人工智能對齊使命正式啓動 - 彭博社

人工智能軟件並不總是按照構建它的人的意願去做事情 — 這是一個潛在的危險問題，已經困擾着一些從事這項技術的大公司。

像OpenAI和Alphabet Inc.的Google這樣的大公司正越來越將員工、資金和計算能力投入到這個問題中。而OpenAI的競爭對手Anthropic已經將這個問題置於其Claude產品的開發核心，該產品被宣傳為一種更安全的AI聊天機器人。

從本月開始，一家名為Synth Labs的新公司也開始着手解決這個問題。該公司由一些知名的人工智能行業人士創立，本週即將從隱秘狀態中走出，並已從微軟公司的風險投資基金M12和Eric Schmidt的First Spark Ventures籌集了種子資金。Synth Labs主要專注於構建軟件，其中一些是開源的，以幫助一系列公司確保他們的人工智能系統按照他們的意圖行事。該公司定位自己為一個正在透明和協作工作的公司。

對齊，有時也被稱為這個問題，代表着人工智能應用面臨的技術挑戰，比如建立在大型語言模型之上的聊天機器人，這些模型通常是在大量互聯網數據上進行訓練的。這一努力受到人們倫理和價值觀的影響 — 以及人們對人工智能應該和不應該被允許做的想法 — 的複雜性。Synth Labs的產品將旨在幫助引導和定製大型語言模型，特別是那些本身是開源的模型。

公司起初是作為非營利性人工智能研究實驗室EleutherAI內的一個項目開始的，由三位創始人中的兩位——Louis Castricato和Nathan Lile——以及Synth Labs顧問兼EleutherAI執行董事Stella Biderman共同開展。生物技術公司Illumina Inc.的前首席執行官Francis deSouza也是創始人之一。Synth Labs拒絕透露他們迄今為止籌集了多少資金。

在過去幾個月裏，這家初創公司已經開發出可以方便地評估大型語言模型在複雜主題上的工具，Castricato表示。他説，目標是使易於使用的工具普及化，可以自動評估和調整人工智能模型。

最近研究論文由Castricato、Lile和Biderman共同撰寫，展示了公司的方法：作者們使用了由OpenAI的GPT-4和Stability AI的Stable Beluga 2人工智能模型生成的提示的回應，創建了一個數據集。然後，該數據集被用作自動化過程的一部分，指導一個聊天機器人避免談論一個話題，而是談論另一個話題。

“我們考慮設計一些早期工具的方式實際上是為了讓您有機會決定對於您的業務或個人偏好來説，對齊意味着什麼，”Lile説。