陳根：追蹤手部的手腕設備，實現智能眼鏡的虛擬屏幕交互_風聞

文/陳根

智能眼鏡作為智能時代即將到來（市場化）的一項科技備受大眾關注，而如果智能眼鏡能有效地讓我們從低頭盯着手機的狀態中解脱出來，我們就需要一種可靠的方式來與虛擬屏幕交互。

**近日，來自康奈爾大學和威斯康星大學麥迪遜分校的研究人員宣佈開發出一種新的腕式設備，**將有助於實現未來出現的虛擬屏幕交互。事實上，這也是第一個能夠根據手腕輪廓重建完整手部姿勢的系統。

這項發明類似於湯姆克魯斯（tomcruise）在《少數派報告》（Minority Report）中與未來派警察電腦互動時使用的觸摸手套。事實上，我們都開發了肌肉記憶功能，可以在智能手機上快速導航和敲打信息，而對於未來，我們將有可能實現在半空中完成動作，而無需使用實際的鍵盤進行打字。

該設備名為FingerTrak，新設備的工作原理是通過將人手許多位置轉化為3D信息，包括20個手指關節位置的信息，再使用三到四個微型、低分辨率熱像儀，讀取手腕上的輪廓。 

設備上使用的4個微型熱像儀每個都有豌豆大小，可以拍攝多個剪影圖像，形成手的輪廓。該系統可以將這些圖像結合起來，利用深度神經網絡對虛擬手進行3D重建。該項目的科學家表示，通過觀察手腕輪廓，該技術能夠以3D方式高精度重建手指所在的位置。即使手中拿着一個物體，也可以捕捉整個手的姿勢。

對肉眼來説，這似乎並沒有太大意義，但當四個熱相機的圖像合併成一個輪廓時，機器學習可以用來解釋斑點，並實時推斷出每個手指的位置，並且有足夠的精度來區分20個手指關節的位置。

儘管熱圖圖像看起來不起眼，例如，用一個手指做一個指點手勢，總是會導致攝像機捕捉到相同的形狀，這意味着即使熱像相機並非一直都是完美對齊的，機器學習模型仍然能夠使用熱圖圖像來知道手是如何擺姿勢的，以及它是如何移動的。

FingerTrack的原型機看起來還是原型機，事實上，很少有消費者願意把它綁在手臂上。但最終，這項技術可以會不會集成到智能手錶這樣的設備中，而除了支持可穿戴設備的未來，有會不會還有其他應用，這都值得期待。