袖口裏的“超能力”：Facebook腕帶式AR傳感器，可隔空打字、操控界面_風聞

子豪 發自 凹非寺 量子位 報道 | 公眾號 QbitAI

只需動動手，就能「掌」控一切？

Facebook最近公佈的腕帶式的AR傳感器，讓你在虛擬世界get緋紅女巫同款技能。

這一設備由Facebook的AR/VR研究部門——Facebook Reality Labs（FRL）研發，佩戴者可以通過手腕上的電運動神經信號，以手指動作控制AR眼鏡。

就連被稱為卷積網絡之父的圖靈獎獲得者、Facebook首席AI科學家Yann LeCun也為之點贊。

功能不斷升級

那麼，它能用來做什麼呢？

據官方介紹，無論是走在路上還是坐着，把手放在身前、兩側或是口袋裏，都可以通過腕帶實現操控。

最初，腕帶只能通過拇指與食指的捏、放手勢，實現簡單的單擊操作。而後，又添加了更為豐富的控制功能，比如可以觸摸和移動虛擬對象。

除此之外，研究團隊還在進一步探索，力圖開發在桌子或膝上高速打字的功能，甚至實現比使用鍵盤更快的打字速度。

與物理鍵盤相比，虛擬鍵盤不僅可以隨時使用，而且能夠隨着時間推移，學習和適應每個人不同的打字風格，併產生適應性的變化，實現更快的打字速度。

FRL團隊在個性化模型方面取得了重要進展，使適應個人風格的鍵盤模型的訓練時間得以減少。

不僅如此，FRL研究科學主管Hrvoje Benko表示：

“我們相信，可穿戴的腕帶設備可以為AR眼鏡，提供超低摩擦、隨時可用的輸入，但它們本身並不是一個完整的解決方案。

就像鼠標是用户界面的一部分一樣，需要在意圖預測和用户建模方面為他們提供幫助，以實時適應用户以及特定的環境。”

因此，FRL團隊近期正致力於，探索適應特定環境的自適應界面，實現“智能點擊”。

也就是，無需用户移動視線、瀏覽菜單，系統通過在不同環境中預測用户意圖，主動提供自適應界面，而用户只需輕量級的反饋，就可以進行控制。

FRL研究科學經理Tanya Jonker也補充道：

“系統會學習有用户位置和關鍵對象的信息，例如跑鞋或活動識別，根據用户過去的行為預測意圖。

比如，往常你穿着某一雙鞋出門時，通常會啓動音樂程序。那麼當你再次穿上它出門，系統認為你最有可能想要收聽音樂，於是顯示屏上會出現‘是否播放音樂？’選項，用户使用簡單的手勢確認或更改建議即可。”

利用這些微手勢，用户無需停止正在做的事，或是為其分心，從而節省了時間。

Facebook官方介紹中也提到，實現這一功能，需要應用機器學習、人機交互、用户界面設計等技術，目前仍存在許多技術挑戰。

雖然利用超低摩擦的輸入方式，能夠實現與自適應界面的交互，但是要想對虛擬物體有所感知，還需要觸覺技術。

對此，FRL研究科學總監Sean Keller表示：

“人們從出生時的第一次抓握，直到靈巧地操作物體和在鍵盤上打字，手和手指會擁有非常豐富的反饋。

我們利用觸覺信號來了解世界，觸覺使我們能夠使用工具和精細控制。從使用手術刀的外科醫生到感覺到琴鍵邊緣的鋼琴演奏家，這一切都取決於觸覺。”

利用腕帶，用户無需進行查看，就能夠通過觸覺作出識別，並進行決策。比如：

虛擬弓箭就利用腕部的觸覺，使佩戴者有近似拉弓的感覺，從而知道自己是否做對了動作；

根據用户設置，收到緊急郵件時，手環能發出比收到普通郵件更為強烈的震動；

當有電話呼入時，通過不同的觸覺反饋，用户即可得知對方的身份。

甚至，研究人員還補充説：“觸覺還能夠傳達不同的情感，這可能是改善社交溝通的一種新的方式。”

目前，Facebook團隊正在構建研究原型，包括擁有8個氣動波紋管的Bellowband，以及使用了6個震動觸動器和新穎的手腕擠壓機制的Tasbi，以進一步探索的觸覺反饋的類型。

利用EMG技術實現控制

這些功能，都是依賴EMG（肌電圖）技術實現的。

EMG技術，就是使用傳感器，將通過手腕傳到手部的電運動神經信號，轉化為數字指令。用户可以用這些指令來控制設備的功能，這種控制程度是高度個性化的，可以用於多種情況。

據Facebook介紹，通過手腕發出的信號非常清晰，哪怕是一毫米的手指運動，EMG也可以感知，因此可以毫不費力地輸入。甚至在未來，連移動手指的意圖也可能感知到。

現任神經運動接口主管的Thomas Reardon表示：

“我們要做的神經界面，就是讓用户利用周圍神經系統的輸出，特別是腦外神經，激活手和手指肌肉的動作，來直接控制機器。”

為什麼要選擇手腕？

FRL團隊對此作了解釋：

手是人們接觸世界的重要身體部分，戴在手腕上能夠利用手部豐富的控制功能，實現更好的交互功能。

與語音控制相比，穿戴設備更便於在公共場合使用；

類似手錶的設計使其能夠用於日常生活和社交環境；

並且，手腕位置也適合舒適地佩戴一整天；

而設計成一款單獨的設備，能夠實現更便捷的應用，無需通過手機或是其他設備控制；

置於手腕的可穿戴設備還可以輕鬆地作為計算、電池和天線的平台，同時支持多種傳感器。

網友關注

這項獲得LeCun點讚的技術，自然也引起了網友的廣泛關注。

不少網友為此感到驚喜：

“這是實際的延遲效果嗎？看起來很棒。”

還有一些網友，對這項技術的應用提出了設想：

“這可以讓失去手的人，仍然能依靠神經來模擬手勢，不是嗎?”

“毫無疑問，這可以用於連接假肢，並且推進恢復和學習過程。”

不過，有人提出了質疑：

“什麼？這不是很多年以前的MYO手環嗎？”

事實上，這款基於EMG技術的腕帶的雛形MYO，最初由AR眼鏡公司North的前身Thalmic Labs開發，而後其專利被初創公司CTRL-labs收購。

2019年，Facebook斥資數億美元收購了CTRL-labs，原研究團隊也隨之加入FRL。

與此同時，也有網友對此感到欣喜：

“早在幾年前，當我第一次閲讀有關Myo的文章時，我就想知道它對於VR的潛力。很高興它取得現在的成果。”

這款手環主要用於配合Facebook正在研發的AR眼鏡使用，上市時間尚未公佈。

參考鏈接：[1]https://tech.fb.com/inside-facebook-reality-labs-wrist-based-interaction-for-the-next-computing-platform/[2]https://twitter.com/schrep/status/1372568994738180098

— 完 —