高盛首席工程師談銀行在人工智能方面的真實舉措 - 彭博社

高盛在美國紐約的總部。

攝影師：Jeenah Moon/Bloomberg 關於生成性人工智能有很多炒作，許多人此時已經與ChatGPT、Claude或Gemini進行了互動。詢問這些大型語言模型創作歌曲惡搞或寫故事是很有趣的，但大多數普通用户可能並不擔心版權、他們輸入平台內容的敏感性，甚至是輸出答案的準確性。玩弄這項技術就是有趣。然而，對於大型公司來説，風險很大。如果你是一家大型受監管的銀行，數據隱私和輸出錯誤的擔憂就更加緊迫。在這一集中，我們與高盛首席信息官Marco Argenti討論了銀行如何在人工智能中平衡風險和機會。Argenti曾在亞馬遜網絡服務工作，談到了高盛自己內部人工智能工具的發展，這項新技術對高盛工程師和其他工作的意義，什麼樣的提示是好的提示，以及更多內容。此轉錄經過輕微編輯以提高清晰度。

播客的關鍵見解：高盛首席信息官的職責 — 04:05高盛如何看待生成性人工智能 — 08:40高盛的人工智能模型旨在做什麼 — 13:45監管和信息安全如何影響高盛的人工智能使用 — 20:12物理建設限制對銀行人工智能的影響 — 24:46GPU會永遠是人工智能軟件的基礎嗎？ — 29:48華爾街對開源軟件使用態度的變化 — 33:57高盛如何吸引人工智能開發者 — 38:18人工智能對高盛員工整體的招聘影響是正面還是負面 — 40:35人工智能如何改變高盛其他工作的職責 — 43:19什麼樣的提示是好的人工智能聊天提示 — 45:39

---

**特雷西·阿洛威 (00:18):**你好，歡迎收聽另一集 奇異的交易 播客。我是特雷西·阿洛威。

**喬·韋森索爾 (00:23):**我是喬·韋森索爾。

**特雷西 (00:24):**喬，到目前為止你最喜歡的 ChatGPT 或 Claude 提示是什麼？

**喬 (00:29):**你知道，這很有趣，因為我和它們玩得很開心，同時我也用它們來處理一些嚴肅的事情。所以我會上傳會議電話記錄，然後説，‘告訴我這家公司對勞動市場指標的看法，’或者類似的事情。然後這對我來説非常有用。

**特雷西 (00:47):**等一下，你真的覺得這比僅僅搜索‘勞動’或‘工作’更有效嗎？

**喬 (00:51):**哦，是的。

**特雷西 (00:52):**我不這樣認為。我討厭上傳東西，因為你只能分段進行。

**喬 (00:56):**不，什麼？特雷西，不，我來教你怎麼提示。

**特雷西 (01:01):**好的。

**喬 (01:02):**不，我從各種 AI 工具中獲得了很多專業用途，但我也知道，和它們玩得很開心。甚至還有一首歌，我不打算説是哪一首，我寫的。我沒有使用歌詞……

**特雷西 (01:18):**哦，你用了什麼？它給你一個實際的旋律嗎？發生了什麼？

**喬 (01:20):**不，所以有一首我喜歡的歌，好嗎？這首歌的標題有點像一個雙關語。所以我請ChatGPT想出另一首有類似轉折的歌，基於那首歌的標題。我基本上需要一個歌曲提示的想法。

**特雷西 (01:43):**這打開了一個大麻煩。這實際上是我們今天要討論的內容的完美引入，因為對於你我來説，使用像ChatGPT這樣的東西，我們並沒有像真正的公司或大型企業那樣的擔憂。對我們來説，答案是否正確並不重要。我的意思是，理想情況下我們希望它是正確的，但如果我只是問一些愚蠢的問題，ChatGPT給我的回答其實並不重要。而且，版權問題也不太重要。所以我們不在乎它輸出的內容歸誰所有。我們也不在乎我們輸入的內容歸誰所有。但如果你是一家公司，你對生成性AI的思考就會完全不同。

**喬 (02:28):**我只想説一件事，就是……

**特雷西 (02:30):**為了你的辯護，好吧。為自己辯護，喬。

**喬 (02:32):**不，不。我甚至不想為自己辯護。如果我上傳，比如説，麥當勞的收益報告，然後我問，‘麥當勞對勞動市場有什麼看法？’那麼有一些引用，我總是會回去檢查那個引用是否真的在裏面。所以我並不是盲目依賴它。我也會做自己的工作等等，但確實如此。所以我可以説，我從ChatGPT或Claude或其他任何地方獲得了巨大的幫助，它對我非常有用，但有時它會犯錯誤。如果你考慮在企業世界中部署AI，那麼也許1%的錯誤率，或者1%的幻覺，或者你想稱之為的任何東西，都是完全不可接受的，這種風險水平幾乎使其無法用於專業目的。

**特雷西 (03:20):**絕對如此。當然，關於人工智能的另一個問題是，關於它究竟會有多大的變革性，仍然存在着持續的、非常激烈的辯論。所以你我在某些情況下將其作為一種生產力工具，或者可能用來生成歌詞……

**喬 (03:36):**我沒有用它來寫歌詞！

**特雷西 (03:37):**但是，這項技術的真正使用案例是什麼？對此仍然有很多爭論。因此，我很高興地説，我們確實有完美的嘉賓。我們將與一位在非常非常大的金融機構實施人工智能的人交談。我們將與高盛的首席信息官馬爾科·阿根提交談。馬爾科，非常感謝你來參加 奇異的交易。

**馬爾科·阿根提 (04:03):**謝謝你邀請我。

**特雷西 (04:05):**馬爾科，告訴我們高盛的首席信息官做什麼。每當我看到CIO時，我總是會想到首席投資官作為一種……

**馬爾科 (04:13):**是的。這很令人困惑。

**特雷西 (04:13):**是的。那麼另一個CIO做什麼呢？

**馬爾科 (04:17):**所以上週我在意大利探望我的母親。她83歲，顯然對技術或銀行業瞭解不多。於是她問，‘你在高盛做什麼？’我説——你知道，我只是想簡化一下——我説，‘我確保打印機不會缺紙。’有趣的是，CIO的工作傳統上與“IT”這個詞相關聯。而IT，我告訴你——和任何技術人員談談——他們不想被歸類為IT。

**喬 (04:46):**對，因為那些是……你會聯想到，那些人會看看以太網電纜是否正確插入。

**特雷西 (04:51):**那些人會告訴你重啓你的電腦。

**馬爾科 (04:53):**是的，我是説，我對IT有很大的尊重，但通常你去IT部門是因為某些東西不工作，好嗎？所以這很像後台工作，而吸引我來這個工作的原因——我在這裏已經五年了，這是我第一次做像CIO這樣的工作。在此之前，我做的更多是，比如説，創造技術等等，以及服務。我可以多談談這個。但實際上CIO的角色已經發生了很大的變化。現在真正的問題是，‘我們如何實施技術以實現我們的戰略目標，並且真正有所區別？’而且它真的坐在公司的戰略桌上。所以今天我們生活在一個世界裏，顯然我們想做的很多事情，或者每個公司想做的事情，實際上是由你在技術方面的能力決定的。所以我認為CIO的角色已經發生了很大的變化。現在，我會將其定義為，通常是定義公司的技術戰略，並確保你在工程團隊中擁有正確的文化，以便執行這一點。

**喬 (05:58):**日常工作是什麼樣的？像，典型的一天是什麼樣的？你到辦公室後，然後你做什麼？

**馬爾科 (06:04):**嗯，我的意思是，我到辦公室後，通常像其他人一樣，你知道，我每天和所有人交談。所以我和人們交談，你知道，我們有一系列的會議，一個接一個。我有團隊來找我，或者是定期安排的會議，或者是請求討論某個主題的會議。你知道，我們就這樣進行…

**喬 (06:23):**有白板嗎？

**馬爾科 (06:25):**嗯，現在在Zoom時代，我想，仍然，你知道，我們有一個全球分佈的團隊，所以我們很多人不在同一個辦公室。因此，我們像其他人一樣使用虛擬白板。但我想説，你知道，我在加入高盛時嘗試做的一件事，作為文化議程的一部分，就是強調敍事和書面文字的重要性，而不是，您知道，PowerPoint和口頭交流。這是我在亞馬遜多年中學到的東西。

**特雷西 (06:54):**哦，對。你在AWS。

**馬爾科 (06:55):**我在AWS，而你在那裏學到的一件事是，剛加入亞馬遜的任何部門時，前幾次會議有點震驚，因為沒有人説話。每個人開始閲讀。你會閲讀大約30分鐘或45分鐘。如果你是文件的作者，你基本上只是坐在那裏，試圖看着人們的臉，理解他們對你文件的看法。有時候，你知道，如果你和傑夫·貝索斯或其他人在一起，那可能會非常，非常可怕。因此，這種從人們交談、評論PowerPoint的文化轉變，有時討論是由誰的個性更強而不是誰的想法更偉大來驅動的。我嘗試改變的一件事是，我們今天進行的許多會議實際上以閲讀文件的方式開始。

**馬爾科 (07:49):**所以我現在閲讀很多文件，就像我在亞馬遜時一樣。我會説大約30%或40%的會議是以這種方式開始的。我認為人們喜歡這樣，因為它打破了語言的障礙——對於像我這樣英語顯然不是母語的人來説。這打破了，有時有些人比其他人更害羞等等。所以人們把這視為一種包容的機制。回到你的問題，假設30%或40%的會議實際上現在是通過我們一起閲讀文件開始的，然後對其進行評論並做出決定。

**喬 (08:19):**我可以説，特雷西，我一直認為更多的會議應該以閲讀開始，因為你去聽季度電話會議或美聯儲活動時，有人只是讀出準備好的文本。就像，讓每個人都先閲讀，然後直接進入討論，讓每個人先閲讀。你不需要有人站在那裏講述紙上寫的內容。無論如何，稍微發發牢騷。

**特雷西 (08:40):**我同意。我同意我們可以減少會議的時間。是的。那麼，談到會議和決策過程，跟我們談談高盛是如何決定接觸生成性人工智能的。那裏的決策過程是怎樣的？開發過程呢？你知道，我們會談到你們正在開發的內容，但你們最初是如何接觸這個的？

**馬爾科 (09:03):**所以我認為我們最初的做法真的意識到我們不知道的事情比我們知道的事情要多得多，因為這是一件非常新的事情。即使對於像我們這樣的公司，已經在機器學習和傳統人工智能領域工作了幾十年，這感覺也非常不同。

**Tracy (09:24):**我們在談論什麼樣的時間框架？就像，是否有一種重大的意識到這是我們需要關注的事情？

**Marco (09:31):**是的，因為我很幸運能夠進入GPT的非常早期版本，甚至在它被稱為chatGPT之前。所以第一個版本基本上是完成一個句子。它甚至不允許你進行互動聊天。你只需粘貼一段文本，它就會完成那段文本。因此，我開始用一堆東西這樣做。然後我看到這種持續的質量與你實際輸入的部分幾乎無法區分。因此，我們開始顯然在彼此之間交談，但也與行業內的其他人交談。我們很快意識到，這將是A，某種非常不同的東西，但B，也可能對我們所做的事情產生相當深遠的影響。因為歸根結底，我們是一個純數字業務。我們不彎金屬，我們不使用高温。我們實際上沒有物理學。

**Marco (10:26):**所以這完全是關於我們如何服務客户。這完全是關於我們有多聰明。這完全是關於我們如何處理大量信息。這完全是關於你知道的，我們如何以一種有時帶有觀點的方式分析數據。我們形成自己對市場的看法，我們形成對投資的看法，等等。因此，鑑於這個AI很早就顯示出能夠綜合和總結非常複雜的信息集，同時識別模式，我們認為這可能是我們絕對需要關注的事情。因此，考慮到這一點，我們決定在早期做的一件事是建立一個結構，我可以更多地談論這個，但圍繞這個建立一個結構，以便我們可以以一種安全和受控的方式進行實驗。

**Tracy (11:17):**對。所以你決定開發自己的高盛AI模型，而不是使用ChatGPT或Claude，或者從現成的產品中獲取。

**Marco (11:27):**實際上，最初我們確實考慮過這個，但很快我們決定，使用現有模型會更好，順便説一下，這些模型的迭代速度非常快，但我們需要將它們放在一個安全的環境中使用。而且它們實際上會給我們提供最可靠的信息，因為就像你之前提到的1%的不準確性——即使是0.1%的不準確性也是完全不可接受的。此外，還有很多潛在的問題，比如，使用了什麼數據進行訓練？而且，關於什麼是可以安全使用的，什麼是不可以的，存在很多不確定性。

**Marco (12:16):**所以我們決定圍繞模型構建一個平台。可以把它想象成你有一個核反應堆。你知道你現在已經發明瞭裂變或聚變，並且可以從中產生大量的能量，但你需要將其控制並以某種方式引導。因此，我們構建了這個GS AI平台，它本質上是將我們選擇的多種模型放在一個完全隔離、完全隱蔽和從信息安全的角度完全安全的環境中。抽象出一些使用模型的方法，以便我們的開發人員可以互換使用這些模型，然後創建一套標準化的方法，例如，使用檢索增強生成來提高準確性，訪問外部或內部數據源，應用權限控制，以便在私有側看到的信息與在公共側看到的信息不同。然後，在此基礎上，構建一個開發者環境，使人們能夠非常輕鬆地將AI嵌入到他們自己的應用程序中。所以想象一下，我們有一個很好的引擎，我們決定圍繞它構建一輛很好的汽車。

**喬 (13:45):**你在模型中放入了什麼？因為我想象在像高盛這樣的銀行，你知道，你有很多數據，但你一定有大量的非結構化數據。銀行家與客户之間的對話，還有其他類型的會議，你們的會議，以及在會議中説出的那些話，可以以某種方式進行綜合。在這些早期的迭代中——你知道，我上傳了一份電話會議的記錄，然後我問一個問題——你在上傳什麼？你擁有的非結構化數據是什麼？或者問題是什麼？你從你們內部的知識海洋中放入了什麼？

**馬爾科 (14:23):**所以我們做的第一件事就是使用平台和模型從公開可用的文檔中提取信息。這是最安全的方式。案件的公開文件和所有的排隊，顯然還有收益，並讓我們的銀行家能夠提出非常複雜的多維問題，圍繞所報告的內容，交叉參考以前的報告，交叉參考任何公告、任何收益電話會議的記錄，所有這些都是存在的，但很難整合在一起。因此，這演變成了一個工具，基本上我們正在使用，並且我們現在正在推出作為我們銀行家的助手，以便他們能夠服務客户或回答客户的問題，甚至是他們自己的問題，所需時間只是以前的一個小部分。

甚至生成你知道的文件，然後可以分享給客户等等。當然，我們始終有一個規則，就像你駕駛一輛具有某種自主能力的汽車時，你總是要把手放在方向盤上。我們的規則是，始終需要有一個人參與其中，好嗎？所以這種方式實際上很有趣，因為我們發現你不能僅僅把某些東西塞進模型中，然後假裝模型會立即給你答案。為什麼？因為模型本身，你知道，它們本質上應用了一種隨機或統計的方法來理解它們需要説的下一個詞。因此，無論你放入的材料有多好，總會有某種程度的變異性。

幾乎就像你插入的文檔與我稱之為“陰影”的所有知識之間的交集，模型之前見過的所有事物的知識。因此，我們真的完善了這一點，你知道，有兩種廣泛使用的技術來提高答案的準確性。一種是處理這些模型表示知識的方式，這在技術上被稱為嵌入。順便説一下，大家都在談論嵌入，但很少有人……實際上，我花了一段時間才理解得很好。嵌入只是模型參數化並創建它們所看到的事物描述的一種方式。所以如果我在我面前看到一部手機，手機的嵌入可能是，它是一個電子產品。是的，一個。它絕對是一個電子產品。可以吃嗎？零。你真的不能吃它，然後你有所有這些參數。這幾乎就像20個問題，你知道嗎？我給你所有這些問題，然後你最終理解有一部手機，這就是嵌入的意義。它幾乎就像20個問題，[但實際上]，而不是20個，可能是2000個[或] 20000個。

然後你有RAG，即檢索增強生成，這實際上很有趣，因為你告訴模型，不要使用它自己的內部知識來給你答案，有時，正如我所説的，這就像現實的表現，但往往不準確，你指向文檔中更可能回答你問題的正確部分，好嗎？這就是關鍵。它需要指向正確的部分，然後你會得到引用。因此，這花費了很多努力，但我們在許多情況下都在使用它，因為我們將用例從純粹的銀行助手擴展到更像是，好的，文檔管理，你知道，我們處理數百萬份文檔。想想信用文件、貸款文件、確認……

**特雷西 (17:52):**像交易確認這樣的東西嗎？

**馬爾科 (17:53):**每個文檔都有一個叫做實體提取的任務。所以你需要從文檔中提取信息，然後將其數字化，然後以某種方式建模。因此，生成性人工智能在提取信息方面做得非常好——這是一個有趣的概念——因為你不必實際告訴一個固定的模式。你可以説，給出很多例子，然後人工智能會從那個模式中找出答案。我最喜歡的一個例子是這樣的。假設我的電話號碼是 555-321-3050。有人在文檔中寫的時候，把零寫成了 O，好嗎？你甚至可以用 GPT 來測試自己。如果你給一個用 O 代替零的號碼，然後問 GPT，“這個實體可能有什麼問題？” GPT 會告訴你，“嗯，這看起來像是一個電話號碼。那是一個 O，通常在電話號碼中是沒有的。很可能這是正確的電話號碼。”

現在，沒有人寫軟件來進行模式匹配。想象一下……在傳統的實體提取方式中，有開發人員，他們在編寫規則，他們説，好吧，數字需要是 10 位等等。人工智能自己找出了最可能的規則。這就是關鍵。它有常識，而這種常識在處理包含各種寫法的數百萬個文檔時——想象一下你需要編寫的所有規則的複雜性，每個銀行都有同樣的問題——這極大地簡化了事情，因為它能夠自己找出最可能的。因此，這種情況演變成了為銀行中與工作流程文檔相關的每個人節省了大量時間。這是我們早期發現的一個非常有趣的發現。因此，再次總結一下，模型是智能的原材料。你需要以某種方式引導它們，你需要指導它們，你需要指示它們，你需要將它們放在一個能夠最大限度發揮其作用的環境中。這就是我們一直在關注的內容。

**特雷西 (20:12):**回到你之前使用的類比，這個核反應堆的概念以及圍繞它構建的保護殼。我想，作為高盛並與人工智能合作的一個複雜因素是，你們是一個受監管的金融實體。這種額外的複雜性如何影響你們對人工智能的使用？是否有額外的數據考慮或信息安全方面的考慮？

**馬爾科 (20:40):**我認為這是一個很好的問題，因為顯然我們生活在一個受監管的世界中。事實上，我必須告訴你，在這種情況下，監管實際上幫助我們思考所有可能的未知，或者説，正如我所説的，這仍然是一個沒有人完全理解的事情。因此，我們所做的是在模型的使用上建立治理，並且在我們可以在模型上實施的用例方面進行治理。每個銀行都有一個稱為模型風險的職能，傳統意義上，模型是任何自動運行的決策或算法，例如定價，或者説，每個銀行在風險計算等方面都有很多這樣的傳統。所以這就是傳統的模型風險。我們很好地利用了這一非常成熟的模式，它也有自己的第二和第三道控制線，以及監督來驗證我們在人工智能方面所做的事情。

所以有一個治理部分，我們在早期就建立了這一點。我們有一個人工智能委員會，審視商業案例，我們是否應該這樣做？然後我們有一個人工智能控制和風險委員會，審視我們將如何做到這一點。然後這兩個委員會需要在我們可以發佈用例之前實際結合在一起。當然，我們在準確性來源方面做了很多工作。在某種程度上，你將輸出與數據來源連接起來，以及誰可以實際看到這些數據，我們稱之為授權。我們與監管機構密切合作完成了這一點。因此，我認為，簡而言之，我們從一開始就將所謂的負責任的人工智能放在首位。事實上，我們將所有這些控制嵌入到一個單一平台中，這確實幫助了我們。這就是我們的員工在高盛內部使用人工智能的方式。

**特雷西 (22:31):**從技術角度來看，我對此非常感興趣，但你能多談談那種互操作性方面嗎？你有一池高盛的數據，顯然你不太想與外部實體分享。那麼，如果你在使用，比如説，ChatGPT或Claude之類的AI模型，你是如何將這些數據接入的呢？

**馬爾科 (22:52):**是的，我們有兩種方法來做到這一點。我們以一種方式使用大型專有模型，你知道，我們與微軟合作過，我們與谷歌合作過，我們有非常強的合作伙伴關係。因此，基本上，有一些控制措施可以保證沒有人可以訪問我們輸入到模型中的數據。數據不會留下任何副作用，所以不會被保存到任何地方。它只保留在內存中。模型是完全無狀態的，這意味着數據通過後模型的狀態不會改變。因此，沒有訓練，也沒有對這些數據進行任何處理。此外，操作員訪問，即誰可以實際訪問這些機器的內存，是受到限制和控制的，並且需要與我們達成一致。所以想象一下，為這些模型加上一個保險庫。但即便如此，真正的、非常機密的專有內容等，我們也喜歡採用不同的方法，使用可以在我們自己環境中運行的開源模型，好嗎？我們非常喜歡許多開源模型，我必須説我們特別喜歡的是Llama，實際上是Llama 3和Llama 3.1，尤其是現在……

**喬 (24:01):**那是由Facebook開發的嗎？

**馬爾科 (24:02):**沒錯。在Meta上。所以他們最近宣佈了LAMA 3.1，版本有4050億個參數。所以它相當大，似乎表現得很好……你知道，和那些大型基礎模型之間的差距現在非常非常小。因此，我們在自己的私有云中運行它，可以這麼説，使用我們擁有的GPU，並且用留在那個環境中的數據進行訓練。所以想象一下，我們的方法是，好的，這些數據有一種敏感性評級。每個數據都需要被保護，因此，我們在整個過程中都使用這些安全措施。但是對於超級超級超級機密的東西，你知道，我們喜歡在自己的環境中處理。

**喬 (24:46):**既然你在談論建立自己的環境，而這是我們在播客中討論過很多的內容，硬件限制、能源限制等等。這在你的世界中是如何體現的？在高盛構建計算平台時，這些物理現實世界的限制是怎樣的？

**馬爾科 (25:05):**嗯，最初我們認為，也許我們可以在自己的數據中心託管這些GPU，然後立刻就遇到了考慮因素，比如，首先，它們產生很多熱量。其次，它們消耗很多電力。第三，它們可能會失敗，因為你知道，如果這些考慮沒有得到妥善處理，失敗的幾率是相當大的。然後，D，它們需要非常特殊的，例如，互連和高速帶寬。因此，我們最終的決定實際上是將它們託管在我們使用的一些超大規模服務商中，但在他們自己的虛擬私有云中使用它們。所以這些機架基本上是我們自己的。如果你問我更一般的問題，就是，嘿，世界在這方面的未來是什麼？好的。

所以現在，有兩個非常快速競爭的力量。一種是推動更多的消費，另一種是推動更多的優化。好的。我可以談幾分鐘關於這個問題。對於更多的消費，我的意思是，擴展模型的兩個維度中，一個最重要的顯然是提示或上下文的大小，好的？而且有相當好的證據表明，上下文越大，這實際上就像這些模型的記憶，而你在數據上推理的能力也越強，這已經從數千增加到數萬，現在是數百萬。而且有一個預測，你知道，你聽到一些非常知名的人説可能會有萬億的提示，能力與提示的關係是平方關係。因此，這指向了能源和GPU功率的消費，這將繼續以指數級上升。

與此同時，我們在優化技術方面也看到了很好的結果，例如量化，從16位減少到8位再到4位精度；擁有更小的模型；使用所謂的窗口注意力，這意味着你知道你只能對上下文的某些部分給予更多關注，而不是全部，因此你可能需要一個更小的模型。所以我看到這兩者朝着兩個相反的方向發展。看到這一點如何演變將會非常有趣。我會説在短期內，我確實看到這個趨勢將繼續上升。而讓我最着迷的事情之一是，從一個版本到另一個版本，最顯著的區別是推理能力和實際上提出邏輯逐步指令或逐步思考鏈的能力，輸出將會是什麼。因此我們決定，好的，首先，我們需要獲得最強大的GPU。其次，我們需要將它們託管在一個實際上允許在帶寬、功耗等方面實現最優功能的環境中。同時，我們也一直專注於優化算法，以便我們能夠真正從中獲得最大收益。

**特雷西 (28:03):**為了進一步瞭解這個問題，您與雲服務提供商的對話目前是什麼樣的，當您試圖獲取更多計算能力或更多空間、更多機架時？對您來説是否有所不同，因為您曾在AWS工作，也許您可以直接打電話給那裏的某個人，告訴他們‘我們想要更多的空間和服務器’？還是您發現自己在某些時候可能受到可用電力的限制？

**馬爾科 (28:29):**我希望情況是這樣的，但我不能隨便打個電話就得到我想要的東西。不過到目前為止，我必須説，顯然因為我們是這些公司的一個非常好的客户，而且我們在投入生產的用例上非常挑剔，我必須説，正如我之前所説的，想想這一點。如果你看看今天的資源消耗，消耗更多資源的是那些實際上在訓練自己模型的人，好嗎？最初，每個人都試圖從頭開始進行全面訓練，這需要消耗絕對的資源，如果這是100，我們進行微調，即對現有模型的適應，可能在資源消耗上是1到100或更少。因此，由於我們使用的技術，以及我們決定真正專注於微調我們的RAG而不是全面訓練，我們實際上沒有遇到任何限制。而且，我必須誠實地説，我們很早就購買了我們的GPU，所以可能當時沒有像今天這樣瘋狂的情況。因此，這可能被證明是個好主意。

**喬 (29:48):**你知道，Nvidia非常龐大。每個人都希望通過提供一些更便宜的產品來讓Nvidia的市值成為他們的市值。我們採訪了一些有半導體初創公司的傢伙，他們將專注於大型語言模型初創公司。我們知道，例如，谷歌有TPU，他們自己的芯片。你能想象出一個路線圖，GPU不是AI的主導硬件嗎？

**馬爾科 (30:14):**嗯，這簡直就是一個萬億美金的問題。

**喬 (30:17):**是啊，這就是我問你的原因。

**馬爾科 (30:18):**但我不是分析師，我只是一個技術人員……記住，我是那個確保打印機正常運行的人。

**喬 (30:23):**我認為你可能比分析師更適合問這個問題，因為你實際上是做出購買決策的人。

**馬爾科 (30:29):**好的。那麼我會給你一個答案。所以你必須區分一下，實際上我們需要考慮兩個維度。一個是訓練，另一個是推理，好嗎？這是第一個二分法。對於訓練，目前，可能沒有比GPU更好的東西，好嗎？因為當你訓練一個模型時，軟件或PyTorch或其他框架，需要將你所有的GPU視為一個集羣。而不僅僅是GPU本身，Nvidia在這方面做得非常出色，實際上是讓它們與一種叫做CUDA的虛擬化軟件協同工作，這在Nvidia GPU上運行，是一款非常出色的軟件。它成為了這一領域的標準。而且，因為你知道，當你試圖訓練那些極其龐大的模型時，GPU所帶來的性能溢價是你非常非常想要的。

所以訓練部分，我很確定這段時間將主要由GPU主導。但是，隨着這些模型的使用，顯然，趨勢會轉向推理，也就是現在你有一個模型，它是一堆權重，你只需要計算一堆矩陣乘法。因此，我認為加速器和專用芯片實際上將發揮非常重要的作用。所以你可以想象，你從一個每個人都造車而不是很多人開車的世界，進入一個大多數人都會開車的世界。還有另外兩個維度，即由客户端託管的模型和由超大規模提供商託管的模型。正如你所知道的，今天，我可以拿一個像Llama的模型，我可以把它放在我自己的環境中。

**喬 (32:11)：**你可以在Macbook上運行它。

**馬爾科 (32:12)：**我可以在MacBook上運行它，或者我可以在我自己的數據中心和我的GPU上運行它，考慮到我習慣使用GPU，考慮到這些是我們可以購買的，考慮到CUDA是開發者所熟知的，等等，大概率會使用這個。這對Nvidia來説是個好消息。但還有另一種使用這些模型的方法，就是讓別人為我託管它們，我只需通過API訪問它們。這就是像Amazon Bedrock這樣的服務所做的。你基本上選擇自己的模型，然後通過他們提供服務。當你這樣做時，你並不真正知道底層是什麼。你不知道它是GPU，還是加速器，還是亞馬遜自己的芯片，還是谷歌自己的芯片，等等。因此，現在真正的問題，這就是為什麼這是一個萬億美金的問題，是大多數人會通過託管環境使用這些模型，在這種情況下，超大規模提供商將對他們底層使用的內容有很大的自由度，並且很可能會進行垂直整合，還是他們會以更自助的方式自己使用它們？在這種情況下，這些加速器主導的可能性就小得多。

我們目前處於一種平衡狀態，因為我們有自己使用的工具，就像我所描述的那樣，同時我們也使用託管模型。那麼這將走向何方呢？很難説，因為我認為這取決於模型的演變，以及哪些模型將作為開源提供，您實際上可以自己託管。我認為現在最大的問題之一是，開源模型是否會成為與託管模型完全相當的替代品？與基礎專有模型相比？考慮到Llama 3.1，這個答案似乎更可能是肯定的。

**Tracy (33:57):**我實際上有一個關於這個問題的疑問，那就是，您認為華爾街對開源的態度隨着時間的推移發生了變化嗎？我問這個問題的原因是，因為現在似乎這是生活的事實。每個人都在使用開源，無論您是高盛還是其他地方。但我記得，您知道，就在2012年，我記得德意志銀行有一個名為Load Stone Foundation的開源項目，他們當時説，‘哦，我們應該停止浪費自己的資源，開發自己的代碼和軟件，我們應該把資源集中在一起做開源。’他們實際上不得不進行遊説，最終沒有成功，但他們試圖讓華爾街的所有銀行共同合作進行開源。如今，似乎發生了這種顯著的文化轉變。這甚至不是一個問題。

**Marco (34:47):**所以一般來説，我對我的團隊的指導是，除非必要，否則不要構建任何東西。不要認為僅僅因為你是聰明人，就能比其他人更好地構建軟件。也許你可以，但我們專注於構建對我們真正有差異化的東西是件好事。我認為開源軟件的使用，我們非常支持，也是一個很好的對沖，關於您知道的，使用哪些供應商，因為它確實大大減少了供應商鎖定。當然，開源軟件，正如您所知，是一個巨大的長尾。有數以百萬計的開源軟件。因此，我認為在使用開源方面有最佳實踐。這些最佳實踐是，您需要對開源進行審查，或者進行技術風險審查，或者安全審查，或者幾乎所有的審查，就像您自己構建的一樣。其次，傾向於集中在更大、社區支持良好的開源項目上。因此，我的哲學是支持開源，但您需要以最真實的方式擁有它，因為您實際上通常是需要支持它的人。因此，真正要在這方面建立知識。

**特雷西 (36:02):**現在你可以讓AI為你運行代碼並檢查兩者。

**馬爾科 (36:06):**是的。那麼，好吧。這當然引出了一個問題，如果你問每個人，至今為止，AI帶來的最大收益是什麼？大多數首席信息官會告訴你是在開發者生產力上。我認為這對我們來説，是我們實際擴展的第一個項目。我必須説，今天，幾乎每個高盛的開發者都配備了生成式AI編碼工具。你知道，我們有12000個開發者。所以我們還沒有啓用那些使用我們自己專有語言Slang的開發者。但其他所有人都有AI工具，結果將是相當非凡的。

**喬 (36:40):**你如何衡量這一點？有哪些數字，或者你會如何描述結果？

**馬爾科 (36:44):**所以我們根據多個指標來衡量，比如説，從你開始衝刺到你實際提交代碼，或者完成任務所需的時間，我們通過提交次數來衡量，也就是説你實際將代碼投入生產的次數。我們通過缺陷數量來衡量，在這種情況下，比如説與部署相關的錯誤。所以這同時是速度和質量的指標。我們看到的生產力提升範圍從10%到40%。我會説，今天我們大概平均看到20%。現在開發者並不是將100%的時間都花在編碼上，對吧？他們可能花50%的時間在編碼上。那麼，你問的問題是，他們用剩下的時間在做什麼？其實還有很多其他活動，比如文檔編寫、部署、編寫部署腳本、進行各種測試等等。所以這通常被稱為軟件開發生命週期。

所以我們看到淨收益為10%，但有趣的是，那些我們圍繞着構建的人工智能，開始超越編碼。它們開始幫助你編寫正確的測試，編寫正確的文檔，甚至在找出算法，或者例如，減少或最小化部署問題的可能性，為你編寫部署腳本。因此，隨着這一點的擴展，我們將更接近100%，因此我們可能會更接近20%。對於我們這樣規模的組織來説，這是一個相當巨大的效率提升。

**喬 (38:18):**我可以問你一個關於招聘開發者的問題嗎？這些年來，我大概讀了上百篇關於華爾街與科技公司競爭招聘開發者的文章。比如，“哦，他們必須有乒乓球桌……”

**特雷西 (38:27):**勞埃德·布蘭克費恩曾經説他們是一家科技公司。

**喬 (38:30):**是的，你必須有乒乓球桌和免費的午餐，讓人們穿運動鞋，擁有所有這些東西。但現在似乎隨着人工智能，很多人對此感興趣，他們真的相信，在幾年內，他們可能會創造出一個比任何人類聰明10,000倍的數字神，並且他們以救世主般的熱情來對待這個任務。我想，如果你是高盛，並且你試圖幫助一個銀行家回答客户關於化學行業的問題，可能這並不是讓你起牀的事情，就像關於意識本質的形而上領域，人工智能的人們談論的那樣。這在招聘有才華的人工智能開發者時是否帶來了任何挑戰或其他問題？

**馬爾科 (39:15):**我認為開發者喜歡解決真實的問題。而吸引我最初的原因之一——雖然這並不重要，但我想説，我告訴你我個人的經歷——是在一家科技公司工作絕對是非常棒的，但你總是與業務或應用程序有一層距離。假設你是銀行，而我是科技公司。我需要向你出售一個工具，然後你將用它來運營或改善你的業務。我們之間的隔離程度減少了，也就是説，我們就在這裏。在數字業務中，有快速、巨量的數據，巨量的流動，立即的結果，這種感覺有點上癮。

因此，開發者，尤其是在人工智能開始做我們所談論的那些神奇事情時，他們可以立即看到對業務的影響。我認為這吸引了很多人。事實上，越來越多的人正在轉向這些行業——石油和天然氣、運輸、化學醫療金融——因為，這很新，看到它在行動中沒有比這更令人興奮的了。因此，有如此多的行動發生，我認為這實際上是非常有趣的。我認為你可能沒有問我的另一個問題是，這個問題的一部分是，開發者的職業實際上是如何改變的？

**特雷西 (40:35):**哦，等等，我有一個相關的問題。這不是完全那個問題，但你當然也可以回答這個，好的。根據我的瞭解，高盛並沒有一個職位名稱中具體包含“提示工程師”這個詞。因此，從整體上看，考慮到人工智能對你們業務的影響，人工智能對高盛員工來説是淨招聘的積極因素還是淨招聘的消極因素？

**馬爾科 (41:04):**那麼，意思是我們會僱傭更多還是更少的開發者呢？

**特雷西 (41:07):**是的，這是否會導致更多的工作，因為你在做更多的事情，生產力提高，還是會導致更少的工作，因為現在你可以自動化很多東西？

**馬爾科 (41:15):**好吧，聽着，如果我們有更多的資源，我們想做的事情有很多，我認為這將導致我們可以做更多的事情。你知道，有些人有時告訴我，你可能會僱傭更少的開發者。我不知道。我在IT行業，所謂的，已經快40年了，我從來沒有見過這種情況下降。但我見過一些拐點，在這些拐點上，你實際上可以讓開發者做更多的事情，而不必擔心與業務結果無關的事情。因此，我認為這更像是這個職業將如何變化。在我看來，我們將會更少關注低層次的工作，而更多地關注，嘿，我真的需要理解業務問題；嘿，我真的需要以結果為導向思考；嘿，我需要有一個清晰的思維模型，並且我需要能夠用語言描述它。

所以這個職業將會改變。我認為有些任務是如此重複，以至於自動化這些任務實際上會幫助開發者，真正與業務和戰略緊密相連。這將吸引那些通常好奇、對理解我們實際做的事情感興趣的人。因此，關注點從“如何”轉向“什麼”和“為什麼”。這實際上是我認為多年來技術演變的核心，從IT的後台，甚至不知道你在做什麼，但只要你的顯示器正常工作，到“嘿，我實際上能夠將一個業務問題分解成可以讓AI編寫代碼的部分。”所以針對你的具體問題，我認為這可能會讓一些公司試圖通過抑制增長甚至有時減少增長來實現一些效率。對於像我們這樣的公司，競爭非常激烈，對於那些有很多雄心的公司——歸根結底這是一場比賽——我認為我們會努力讓我們的開發者發揮更大的作用，實際上讓他們感到與業務超級緊密相連。

**喬 (43:19):**非開發者角色呢？非技術角色呢？你知道，我想像高盛這樣的公司可能沒有很多低級別的客户支持工作，比如在窗口中説，“哦，我需要更改我的機票”等等。但是，你知道，很多現代工作本質上就是回答某人的基本問題。銀行內是否有角色會因為某種代理或生成性人工智能而根本改變或消失？

**馬爾科 (43:48):**我認為很多與內容生產或內容總結相關的工作實際上會被大大簡化。例如，將財報轉化為10個不同的來源，以便用於不同的分發渠道。這是給內部人員的，這是給客户的，這是給網站的，等等等等。想象一下為客户創建推介書的過程，你使用模板，放入大量數據，進行研究，獲取標誌，等等。我們有成千上萬的人在做這些機械和工廠式的工作。

**特雷西 (44:23):**我相信很多初級分析師可能會很高興聽到一些推介書的製作將會被自動化。

**馬爾科 (44:30):**不，我認為這是一件好事。它減少了一些繁重的工作。因此，我認為，歸根結底，聽着，你有沒有注意到一切都在向詞彙和概念匯聚？無論你是開發者，還是知識工作者，這些工作都在碰撞。我絕對… 開發者首先看到了這一點。為什麼？因為這是低垂的果實。開發者處理的是詞彙。沒有五萬個單詞，只有大約200或300個語言關鍵字。所以當然，這非常有效。而且這當然是第一個被取代的。但我認為最終知識工作者將會是，您知道的，真正受益的人，無論您是開發者，還是在製作推介書，或者在總結會議或行動項目，或者在制定戰略，等等等等。我認為總體而言，這將提升工作的質量，大家都説快樂的員工或快樂的開發者是高效的開發者。我認為當你實際上在做一些能夠讓你發揮最佳工作時，你會感到快樂。我希望如果人工智能能讓我們所有人做更多的最佳工作，我認為這將是我們能產生的最大影響。

**特雷西 (45:39):**我知道我們只有幾分鐘時間。所以我有一個非常簡單的問題。什麼樣的提示是好的？

**馬爾科 (45:44):**相信與否，關鍵在於同理心。你需要有同理心，你需要温柔，你需要善良，你需要有點兒，你知道，去…

**特雷西 (45:54):**喬看着我，好像我在我的提示中沒有同理心。我總是説請和謝謝。

**喬 (45:59):**不，特雷西嘲笑我有多麼有同理心。

**特雷西 (46:01):**不，我説你説請和謝謝是非常甜蜜的。

**馬爾科 (46:04):**你必須要甜蜜。你需要牽着AI的手，把它帶到你想去的地方。我告訴你，我與提示的一個更有趣的經歷是這樣的。你知道讓AI説“我不知道”有多難嗎？

**特雷西 (46:18):**哦，是的。

**馬爾科 (46:19):**幾乎不可能。你總是會得到一個答案。所以有一次我決定要讓它到達那個點。因此我必須引導提示和AI理解説“我不知道”是安全和可以的。然後在最後我提示説，“美國的首都是什麼？”“華盛頓特區。”好的。然後我説，“明天的天氣會怎麼樣？”我得到了一個答案。然後我説，“一年後的天氣會怎麼樣？”它簡單地説，“我不知道。”然後在某個時刻我甚至決定問，“在AI的世界裏，人類還有角色嗎？”

**喬 (46:59):**我不想知道答案。

**馬爾科 (47:02):**是啊……省略號。

**特雷西 (47:04):**好吧，大家現在都要去ChatGPT上試圖讓它説“我不知道”。來自高盛的馬爾科·阿根提，非常感謝你。這真是太好了。

**馬爾科 (47:12):**謝謝你，喬，謝謝你，特雷西。

**特雷西 (47:27):**喬，這真是太有趣了。我必須説，我並不嘲笑你對ChatGPT説請和謝謝。我會重複一遍。我説這很可愛。這非常甜蜜。我也試着跟隨你的榜樣，我……我不説謝謝，因為我通常會繼續下一個問題，但我確實會説，請。

**喬 (47:43):**我聽説過這個，真有趣他這麼説。因為我實際上聽説過，似乎確實有定量證據表明，“請”和“謝謝”等詞確實提高了質量。馬特·布西金，我們在推特上認識很久的人，曾經發過關於這個的帖子。所以這樣做是有充分理由的。除了習慣之外，你與所有實體交談時，都應該養成禮貌的習慣。

**特雷西 (48:09):**哦，是的。這是你的論點，對吧？好吧，我覺得這很有趣。我們一直在談論人工智能以及潛在的使用案例和推動技術的芯片等等。但聽到一個實際做出採購決策並在大型機構中實施的人發言，真是太好了。

**喬 (48:28):**絕對是的。這可能是我最喜歡的AI對話之一，正是因為這個原因。因為，聽他談論這個想法很有趣，現在這些開源模型，特別是最新版本的Llama，正在非常接近核心的專有模型，這一點令人震驚。他認為，特別是在模型使用的推理方面，有機會更廣泛地使用不同類型的硬件。這也非常有趣。

**特雷西 (48:59):**沒錯。我們已經習慣於談論AI將消耗的大量電力和能源。你我之間有過很多關於我們將如何為所有這些服務器供電的對話，但得到的關注遠遠少於優化使用AI的方式，以便不需要消耗那麼多電力。因此，也許減少訓練，將訓練留給大型超大規模公司或其他公司。然後只是進行推理。

**喬 (49:26):**最終，這兩者都會發生，對吧？因為最終，兩者都會發生。人們會找到算法技術，馬爾科描述了一些，來減輕對硬件施加的壓力和負擔。但當然，這隻會意味着你會使用得更多。而且，人們還必須解決電力消耗的問題。就像經濟歷史的一般情況，我們總是在尋找新的方法，以便從同樣的能量（比如吉焦耳）中獲得更多，同時也在同時使用更多的能源。

**特雷西 (49:59):**是的，絕對如此。那麼，我們就到此為止吧？

**喬 (50:02):**就到此為止吧。