生成式AI試點項目促使企業紛紛設立防護欄——《華爾街日報》

OpenAI的ChatGPT能承擔許多輔助企業的任務，但也存在潛在問題。圖片來源：richard a. brooks/法新社/蓋蒂圖片社企業希望利用ChatGPT等人工智能技術，但又不想承擔其全部風險，於是轉向內部解決方案和日益增長的供應商生態系統，這些供應商旨在保護可能被輸入新AI工具的敏感公司數據。

生成式AI有可能徹底顛覆辦公室工作：它有望做到從幫助開發人員編寫代碼，到搜索和提取電子郵件及其他業務文檔中的見解，再到與客户互動的一切。但對於企業技術領導者來説，當務之急是權衡這些巨大能力與技術弊端——可能向競爭對手泄露專有數據、披露電子郵件地址等客户信息，以及開闢網絡攻擊的新途徑。

蘋果是最近一批禁止部分員工使用公開版本ChatGPT的大型企業之一，理由是擔心使用這些技術可能泄露機密數據。類似的禁令今年早些時候來自摩根大通和威瑞森等公司。這些企業限制措施也緊隨週二國會聽證會之後，ChatGPT製造商OpenAI的首席執行官薩姆·奧爾特曼在聽證會上呼籲對此類技術實施許可和安全標準。

對一些公司而言，將源代碼、銷售數據甚至會議記錄等敏感信息輸入聊天機器人存在風險——系統可能從這些專有信息中學習，並在公司外部留存或共享這些數據，或讓無權訪問的員工獲取。

“目前企業的默認反應就是直接禁用ChatGPT，“CalypsoAI創始人兼CEO尼爾·塞雷布里亞尼表示，“但多數情況下，這其實是自下而上的需求，組織內員工都在感嘆’現在不用寫那麼多代碼和備忘錄了’"。

以CalypsoAI為代表的供應商正形成一個快速增長的初創企業生態圈，專注於幫助企業更安全地應用生成式AI，確保企業防護機制完備並能攔截惡意有害內容。其他初創公司則致力於協助企業整合法律研究、生成醫療記錄及營銷素材。研究機構PitchBook分析師預測，今年生成式AI企業的風險投資額將達到去年45億美元的數倍。

“當前部署大語言模型存在極大緊迫性，很多指令直接來自首席信息官層級，有時甚至是CEO和董事會層面，“Arthur AI聯合創始人兼CEO亞當·温切爾表示。

温切爾介紹，Arthur AI的Shield產品如同ChatGPT與大語言模型之間的防火牆，可對潛在幻覺內容、冒犯性語言及敏感數據等"進行篩查”。塞雷布里亞尼稱，CalypsoAI的Moderator工具會將員工從ChatGPT重定向至公司網站，便於IT管理員審核進出AI模型的提問與應答。

摩根大通在2月份開始限制員工使用ChatGPT，目前正在有限環境中測試ChatGPT和OpenAI的技術，該行全球技術、人工智能和機器學習執行董事Sage Lee表示。

摩根士丹利財富管理董事總經理兼知識管理主管H. David Wu（左）與MosaicML首席科學家Jonathan Frankle；Arthur AI首席執行官兼聯合創始人Adam Wenchel；摩根大通全球技術、人工智能和機器學習執行董事Sage Lee；以及Work-Bench Ventures的Daniel Chesley本週在紐約市參加由Work-Bench主辦的小組討論。圖片來源：Belle Lin / 《華爾街日報》Lee本週在紐約市由Work-Bench Ventures主辦的小組討論中表示，該行可以預見生成式AI在聊天機器人、代碼生成以及為顧問提供通話記錄和新聞摘要以告知客户方面的應用。但首要目標是數據安全。

“我正在與第一、第二、第三道防線合作，考慮真正的聲譽風險和操作風險，”Lee説。“我們目前的重點確實是建立正確的基礎設施，並確保我們引入該基礎設施的數據集得到安全保護。”

摩根士丹利表示，其財富管理部門使用OpenAI大型語言模型的私有版本為財務顧問構建了一個聊天機器人服務，OpenAI不保留銀行的任何數據。財富管理現場主管Vince Lumia表示，該行現在有數百名顧問提供反饋以使該工具更加精確。

摩根士丹利財富管理部門董事總經理H. David Wu表示，作為銀行，該機構更傾向於"收購併整合技術而非自建”。負責領導集團知識管理和生成式AI戰略的吳先生也在Work-Bench Ventures專題討論會上發言。

吳指出，在評估第三方技術時，即使是生成式AI領域，“我們的責任是觀察市場動態，瞭解有哪些創新，並判斷’是否存在已掌握這些技術並解決我們尚未攻克難題的團隊’，同時確保採用的方式能讓監管機構放心”。

芯片製造商英偉達——生成式AI對算力巨大需求的受益者——近期發佈了NeMo Guardrails工具，旨在幫助開發者建立規則限制用户對大語言模型的使用，例如限制特定話題、檢測錯誤信息及阻止惡意代碼執行。

Forrester Research專注於AI治理的副總裁兼首席分析師Michele Goetz表示，具備技術資源或預算的企業可直接與OpenAI等大語言模型開發商合作，構建封閉式IT環境以防止數據泄露。

Goetz指出，對於僅將技術用於營銷內容等有限場景的小型機構，這種投入難以獲得回報。即便存在供應商、大語言模型開發商或微軟、谷歌提供的多重安全保障，採用生成式AI的決策仍取決於首席信息官對承擔一定程度風險的意願。

“我們在雲計算領域也看到了這一點。人們花了一段時間才對雲服務提供的安全參數建立起信心，”戈茨説。“這實際上取決於一個組織及其首席信息官和高管領導者的決定，他們需要表態：‘我要麼接受這些條款，要麼不接受。’”

聯繫貝爾·林，請發送郵件至 [email protected]