我讓AI“偷窺”了我的屏幕，它有機會變成我第二個大腦_風聞

AI 助手，向着「低調實用」方向發展。

作者｜張勇毅

編輯｜靖宇

幾周前，我為了一份行業深度文章的撰寫，在堆積如山的數據分析文件和瀏覽器標籤頁中掙扎了整整兩天。

那種感覺，就像在自己的知識庫裏溺水——你明確地記得看過某個數據、某段論述，卻無論如何也無法在信息的洪流中重新定位它。

我們早已習慣了這種數字時代的「失憶症」，也習慣了將希望寄託於 AI。我們像一個耐心的飼養員，不斷地在應用之間複製、粘貼、切換，把上下文一點點「喂」給 ChatGPT，只為換取一次靈光乍現。

此時，一個名為「Glass」的項目引起了我的注意。這款據開發團隊介紹致力於成為用户「數字大腦拓展」的應用，並非又一個 AI 聊天框的變體，而是一個完全迥異的存在。

它將「被動觀察」這一理念，原汁原味地注入了我的 macOS，並由此讓我得以一窺，當 AI 成為你心智的延伸時，人機交互的終極形態，究竟有多遠。

01

面向未來的AI**助手，但是開發者版**

Glass 沒有任何傳統意義上的「界面」。它的「安裝」，更像是一套開發者環境的配置流程，需要你熟悉 Python 和 Node.js。它的「實體」，則只是一個靜默地躺在菜單欄的圖標。

Glass 應用安裝界面｜ 圖片來源：極客公園

進入 Glass，首先是幾個直接的權限請求：

屏幕錄製權限

麥克風訪問權限

輔助功能權限

Glass 需要的用户隱私權限都非常敏感｜ 圖片來源：極客公園

沒有任何花哨的引導，每一個權限都直指其核心：一個需要完整觀察你、傾聽你的 AI。

如果僅看 Glass 安裝完成之後的效果，可能很難意識到這是一個 AI 應用——你甚至是可以選擇是否將其隱藏：這裏並非物理意義上的隱藏，而是在數字世界中隱藏，即使你將屏幕分享給其他用户，他們也無法看到 Glass 的存在。

Glass 以一個懸浮藥丸的形式運行於系統中｜ 圖片來源：極客公園

這正是 Glass 的核心理念：AI****不應是一個需要被頻繁喚起注意到的「工具」，而應是一個與你伴生的「記憶體」。

傳統 AI 助手的工作模式是「你問，我答」，這個過程是割裂的、非連續的。而 Glass 顛覆了這一點，它的工作模式是「我觀察，你隨時問」。它在後台默默地記錄你的一切數字化行為，並將其內化為自己的記憶。

它不再需要你費力地去「解釋上下文」，因為它本身，就活在你的上下文裏。

02

當記憶不再是負擔

看完了它極簡的「頁面佈局」，我很好奇 Glass 的實戰表現如何。

先説結論，Glass 主要有我們已經熟悉的部分，也有不同於現有任何 AI 工具使用體驗的部分。

首先，它並不是一個現有 AI 大模型工具的便捷訪問入口，Glass 雖然可以直接提問，但問題的內容總是與屏幕中顯示的內容相關。你可以直接通過快捷鍵，來向它提問各種關於當前屏幕的內容。

但這只是 Glass 真正能力的冰山一角：當你點擊懸浮欄中的 Listen 按鈕，Glass 就會切換為監聽模式，從靜態讀取你當前桌面上的內容，變為持續記錄你電腦屏幕過去出現過的各種畫面信息與音頻，並基於此生成一份總結報告。

Glass 監聽屏幕內容改變並即時記錄｜ 圖片來源：極客公園

在會議紀要場景中，Glass 不僅能即時生成一份會議紀要重點，並且還能即時轉錄音頻，當然目前的體驗中還只支持英文，對於中文語音的支持欠佳。

但 Glass 比起其他會議紀要類 AI 工具最大的不同，是它不受某個 App 的限制，可以全局記錄並提取過去屏幕中的內容，並且根據記錄下來的內容即時生成摘要以及問題總結。

除了老生常談的會議記錄功能，Glass 的應用場景還能體現在看視頻上：我在 Glass 開啓的狀態下，打開一個主題是關於 F1 車手劉易斯-漢密爾頓的採訪視頻。在不到三分鐘之後，Glass 就通過目前讀取到的內容，幫我生成了一份當前內容摘要。

在這份摘要中，Glass 還會主動提供數個進一步問題，供你進一步瞭解視頻內容，當然在這個階段，你同樣可以自己提問你仍然感覺疑惑的問題。

Glass 生成視頻摘要｜ 圖片來源：極客公園

這份摘要內容本身會隨着屏幕內容數據的不斷增加，進一步更新更多相關內容，目前 Glass 分析本身支持中文內容，但自動生成的內容彙總目前還只能以英文的方式展示——這種情況我們在如今的 Apple Intelligence 中 ChatGPT 的體驗中也曾見過，都是模型本身支持中文內容、應用層沒有做適配產生的問題。

Glass 的屏幕內容摘要功能支持中文，但支持的不多｜ 圖片來源：極客公園

在直接針對屏幕內容的提問中，由於我可以直接使用中文提問，因此回答也會採用中文回覆，這很大程度上提高了這一功能對中文用户的友好程度。

Glass 可以針對記錄的屏幕內容提問｜ 圖片來源：極客公園

全局讀取屏幕信息並記錄，是一個潛力幾乎無上限的功能，我遇到的第一個震撼瞬間，是在 VSCode 裏重構一個複雜的項目。

當我使用 Gemini 修改完一串代碼，然後腦中突然閃過一絲不確定。此時，我沒有急於修改撰寫的那段代碼，而是直接通過快捷鍵喚出 Glass，問道：「幫我分析一下修改的那部分代碼的核心邏輯。」

幾秒種後，一個對話框以通知的方式彈出，用清晰的列表總結了函數的用途和我的修改點。

我沒有複製任何代碼，沒有跳轉任何頁面。我只是提出了一個基於「屏幕內容」和「需求」的問題，Glass 就從屏幕中為我提取了答案。

另一個，則是 Glass 對非結構化信息（如會議語音）的驚人處理能力。在一場持續一個多小時的線上腦暴會中，我全程投入討論。會議結束後，Glass 已經自動生成了一份詳盡的會議紀要，不僅區分了不同發言人，甚至提煉出了關鍵的結論和待辦事項列表。

Glass 可以無視應用邊界自動轉錄屏幕內容｜ 圖片來源：Glass

它就像一個永不疲倦的書記員，將稍縱即逝的多模態內容流，沉澱為結構化的信息資產。

可以説，Glass 的首秀，就將目前AI****助手最大的痛點——上下文的缺失和跨應用操作的割裂感解決了。同時作為一個開源項目，Glass 即使是全時監控屏幕下，也沒有對電腦的內存產生特別巨大的壓力——這一點足以讓我願意讓它全天運行在我的電腦上，在我需要它的時候將它喚醒。

話雖如此，但我仍然不建議電腦內存在 16GB 以下的 Mac 設備（當前 Glass 只有 macOS 版本，Windows 版本在開發中）長時間運行 Glass，仍然給電腦造成明顯的卡頓現象。

但簡單的產品應用邏輯，也説明 Glass 放棄了所有取巧的路徑，它依賴雲端服務器對你的行為進行分析（至少在開源版本中），同時選擇在本地進行大量的結構化信息整理任務。這意味着所有的屏幕錄製、語音識別，幾乎都直接壓在了處理器本身上，自然也就帶來了更高的硬件負載。

03

記憶延伸的源流與未來

Glass 的推出，雖然只是一個名為 Pickle 的小團隊的開源項目，但其背後的理念，卻可以追溯到上個世紀。

1945 年，在美國科學家範尼瓦·布什（Vannevar Bush）發表於《大西洋月刊》的著名文章《誠如所思》（As We May Think）中，一個名為「記憶擴展器」（Memex）的革命性概念被首次提出。這個構想遠早於個人電腦和互聯網的誕生，卻以驚人的前瞻性預示了未來信息技術的發展方向，並對後來的超文本（Hypertext）和個人計算領域產生了深遠的影響。

《誠如所思》（As We May Think）｜ 圖片來源：Wikipidia

「記憶拓展器」的核心邏輯，是通過技術手段，將個人的知識和記憶外部化，使其成為一個可供隨時訪問的「外接大腦」。

是不是很熟悉？Glass 所做的事情，正是 Memex 理念在 AI 時代的具象實現。它不再侷限於存儲文檔和書籍，而是將用户動態的、即時的「行為」本身作為記錄對象，通過大型語言模型的「關聯索引」，最終實現一個遠超任何傳統知識庫的、活的、個人的記憶系統。

Glass 這個項目更深遠的目標——「為每個人建立一個活的數字克隆」，則更是這一理念的極致延伸。它不僅要成為你的記憶，更渴望成為你的「代理」，一個可以理解你、模仿你、甚至代替你執行任務的數字孿生。

但回到現實，目前 Glass 的體驗顯然距離這個目標距離還很遙遠：Glass 需要你手動輸入 OpenAI 或 Gemini 的 API Keys，現階段 Glass 也提供了登錄賬號、免費試用開發團隊提供的 API Key 額度的解決方案。同時正常使用也需要前置安裝 Python 與 Node 環境庫，雖然門檻實際上並不高，但也並沒有達到「開箱即用」的地步。

即便如此，Glass 在開源之後還是迅速在 GitHub 上吸引了不少關注，短短四天已經破超過 3K Star，迅速在 AI 工具圈走紅。

在 Glass 背後，開發團隊 Pickle 是一家致力於構建「數字思維擴展（Digital Mind Extension）」的公司。他們剛剛在上個月從 Y Combinator 吸引到了 60 億韓元（約 3100 萬人民幣）的投資。

Pickle 官網 ｜ 圖片來源：Pickle

Pickle 脱胎於另一個開源項目 Cheating Daddy，而 Cheating Daddy 又是另一個「臭名昭著」的項目 Cluely 的開源版本——後者在今年曾因為閉源、付費以及最重要的面試作弊這一賣點頗受關注，同時也引來的諸多爭議。

由於 Pickle 項目中存在大量 Cheating Daddy 項目的內容直接複用，目前 Cheating Daddy 創始人就這一點在 X 上對 Pickle 發起討伐，指責「開源項目並不意味着可以拿來照抄」，但這件事尚未得到 Pickle 團隊的正面回應。

但目前作為一個輕量級的解決方案，Glass 仍然不失為一種值得觀察的思路；此前主打「全天候記錄用户信息」的 Rewind.ai 項目，就因為對設備的內存佔用過高，同時對結構化內容整理效果不盡人意，因而迅速退出 AI 工具的主流舞台。

Glass 這類產品所代表的「主動感知 AI」，這個曾在科幻作品中反覆出現，代表着高效與智能的詞彙，距離真正到我們的日常生活中落地，或許已經不遠。

一個輕量級工具的脱穎而出，更是説明了這個過程中，用户核心需求的提煉——沒錯，一個完美的記憶體的確很強大，AI 的輔助也的確很努力，但人們想得到的，或許僅僅是一個能讓自己工作更順暢、思考更專注的普通的好工具。

*頭圖來源：Glass

本文為極客公園原創文章，轉載請聯繫極客君微信 geekparkGO