Nvidia（英偉達）的AI“Guardrails”軟件旨在防止聊天機器人走火入魔 - 彭博社

Nvidia總部位於加利福尼亞州聖克拉拉。

攝影師：David Paul Morris/BloombergNvidia Corp.的強大芯片幫助推動了人工智能的蓬勃發展，現在正在尋求解決圍繞該技術的一個主要關注點：AI機器人可能會失控並造成傷害。

該公司將於週二推出一款基於大型語言模型的AI系統調節軟件——這是OpenAI的ChatGPT和其他熱門機器人所使用的學習技術。這款名為NeMo Guardrails的工具可以讓聊天機器人保持話題相關性，減少提供受限信息的可能性。Nvidia表示，它還將防止它們猜測錯誤或採取超出權限範圍的行動。

對ChatGPT等系統的興趣激增，以及其他挖掘大型數據集生成自動答案的系統，有可能改變幾乎每個行業。這一趨勢也有望為Nvidia帶來巨大財富，該公司是圖形卡的先驅，現在大部分收入來自為數據中心提供芯片的業務——這些數據中心是支撐人工智能所需的服務器農場。但是，為了讓人工智能繼續蓬勃發展，用户需要相信聊天機器人生成的結果。

“每個人都意識到生成式大型語言模型的強大之處，”Nvidia應用研究副總裁Jonathan Cohen説。“重要的是它們以安全和可靠的方式部署。”

Nvidia的數據中心業務隨着人工智能的崛起而激增

該部門已成為其最大的收入提供者

來源：彭博社

技術領域一些最大的公司使用英偉達的處理器來處理數據中心內的人工智能工作，這幫助這家芯片製造商度過了計算機行業的更廣泛衰退。事實上，其數據中心部門現在比整個公司在2020年還要大。

英偉達正在提供NeMo Guardrails作為開源軟件，並將繼續更新。這家總部位於加利福尼亞聖克拉拉的公司還將其包含在向客户收費提供的一套程序中。

NeMo Guardrails將作為終端用户和人工智能程序之間的一層。使用英偉達自己的大型語言模型和傳統軟件的混合，系統將能夠識別用户是否在提出事實問題，並檢查機器人是否能夠並且應該回答該查詢。它將確定生成的答案是否基於事實，並管理聊天機器人回覆的方式。

例如，假設一名員工問一個人力資源聊天機器人公司是否支持想要收養孩子的員工。這將通過NeMo Guardrails傳遞，並返回包含公司相關福利的文本。詢問同一個機器人有多少員工利用了該福利會觸發拒絕，因為數據是機密的。

如果用户詢問機器人公司的非公開財務信息，他們會被告知這是離題。為了檢查程序是否真的知道答案而不僅僅是猜測——這個問題被稱為幻覺——軟件會在後台多次詢問問題，以確保用户不會得到一個隨機但貌似合理的回答。同樣，軟件可能會確保機器人在回應方式上保持冷靜，即使用户試圖激怒它以不當方式回覆。

在最近的爭議中，ChatGPT用户描述了通過讓機器人假裝是他們已故的祖母來獲取禁止信息。

Nvidia的新工具免費訪問將讓社區測試它，並幫助確保它不能被進一步濫用，科恩説。

“每當你開源一樣東西，人們都可以檢查它並找到利用它的方法。這就是為什麼我們將其開源的原因，”他説。“我們希望社區來審視它。”