沉寂數年,谷歌眼鏡正在悄悄造福自閉症患兒_風聞
中国人工智能学会-中国人工智能学会官方账号-CAAI2019-07-23 09:07
(文/孫滔)
在谷歌推出的眾多失敗產品中,谷歌眼鏡(Google Glass) 大概是最為知名的。價格昂貴、設計尷尬、還觸及隱私問題,這個 2013 年推出的探路者很快就銷聲匿跡了。
然而 Facebook、蘋果和微軟公司紛紛發力智能眼鏡,這也就意味着谷歌不會放棄。一個事實是,在普通消費者用到谷歌眼鏡遙遙無期的時候,自閉症患兒倒是捷足先登了。
自閉兒的福音
人臉是一個複雜而動態的系統,是我們最有力的社交方式。表情識別其實是一個編碼、解碼的過程,然而自閉兒很難學會面部識別和情緒交流,他們既不擅長語言表達,對情緒理解有欠缺,甚至很難與人直視。
對於自閉兒,自閉症行為干預訓練(ABA)雖然有效,但過於費時費力,按照要求需要每週 20 小時的訓練,每個患兒的一年費用多達 4 萬到 6 萬美元。這時候,行為治療師都不夠用了,據稱美國的行為治療師已經約到了 18 個月之後。
如果治療和康復不及時,會錯過緩解病情的最好時機。這時候更先進便捷的輔助手段是剛需,可穿戴的社交學習輔助工具就成了很多人的優先考慮。據紐約時報報道,2 年前,10 歲的自閉兒 Esaïe Prickett 就開始佩戴谷歌眼鏡進行情緒識別的訓練。
當他的家人對他作出快樂、悲傷、驚訝、憤怒或無聊等表情時,他需要鑑定出這些情緒。而谷歌眼鏡會迅速閃過只有他能看到的小圖標,以提示他判斷是否正確。同樣,只有他在直視其他人面孔的時候,谷歌眼鏡才會給他正反饋。Esaïe Prickett 試驗是斯坦福大學研究人員在舊金山灣區進行的臨牀試驗的一部分。
斯坦福大學 Dennis Wall 和 Catalin Voss 的研究證明,智能眼鏡可以幫助自閉兒理解情緒,更好地與周圍的人交往。他們還能把握行為的變化,這是很難得的。
圖 | 帶着谷歌眼鏡的 Esaïe 和哥哥在進行表情訓練。(來源:紐約時報)
Catalin Voss 是這個研究的主幹力量。在谷歌 2013 年剛剛推出眼鏡的時候,Catalin Voss 還是一名斯坦福大學的新生,他就準備開發自動識別圖像的程序了。他經常看到自閉兒表弟對着浴室的鏡子練習表情,於是就想到,谷歌眼鏡可能會幫助到表弟。他的應用程序可以自動讀取面部表情,並能夠密切跟蹤用户是否已經識別了情緒。
如今 Voss 已經是一位博士研究生,他正在和斯坦福大學專門進行自閉症研究的 Dennis Wall 教授一道開發這個程序。他們對71名輕重程度不同的自閉兒進行了試驗,這些受試者的 Vineland 自適應行為量表測試表現優異。後者是一個衡量自閉症行為的標準工具。一項 71 個自閉兒的研究
對於自閉兒,智能眼鏡可能導致的隱私問題並不是他們的第一顧慮,他們首先要解決的是****社交情緒識別問題。Dennis Wall 的這個研究發表在今年 3 月份的 JAMA Pediatr。71 個自閉兒中有 40 人選入試驗組,31 人進入對照組。
自閉兒在 4 歲到 17 歲之間,共有 63 名男孩參與。試驗就在自閉兒家中進行,需要每週 3 次進行 20 分鐘的訓練,持續 6 周。
圖 | 孩子戴着智能眼鏡(A),後者與 Android 智能手機應用(B)通過無線網絡同步。眼鏡攝像頭捕獲傳輸到智能手機的面部圖像數據以立即分類,檢測到面部時,眼鏡的監視器中會出現綠框。當檢測到情緒時,在監視器中出現對應於 8 種情緒之一的表情符號。這時候綠框和表情符號可以同時出現,如 C 所示。(來源:JAMA Pediatr,2019)
試驗中,谷歌眼鏡可與 Android 智能手機應用程序同步,後者通過機器學習進行面部識別和情緒檢測,支持遊戲選擇和開啓,還可錄製視頻以供父母回放。眼鏡的攝像頭可以捕捉到手機上的面孔畫面並加以分類。眼鏡檢測到面部時,就會在外圍監視器中出現綠框。當識別到情緒時,監視器中會出現相應的表情符號和綠框,眼鏡也會發出相應的聲音提示。相對於護理人員,機器最大的優點是兢兢業業,不容易出錯。谷歌眼鏡主要執行兩個任務,其一是鼓勵面部識別,其二是教學正確標記遊戲中的情緒。
受試者可以用餘光注意到綠框和表情符號,而不需要直視。Esaïe 的父親對此研究很是看好。因為 Esaïe 深受此吸引,他很喜歡 Ipad 應用程序和看電影。他更喜歡和技術在一起。儘管父親發現很難判斷智能眼鏡是否有助於 Esaïe 識別情緒,但他看到 Esaïe 進行目光接觸的能力明顯改善。**也有例外。有的自閉兒家長認為,孩子並沒有被這個智能設備吸引。**據紐約時報報道,加州大學洛杉磯分校心理學家 Catherine Lord 專門研究自閉症行為,他指出,自閉兒父母的觀察可能不可靠,儘管這類技術的研究有賴於這些父母的觀察。
如今,這項技術以及授權給 Dennis Wall 創辦的硅谷公司 Cognoa,正在等待 FDA 的批准。讓自閉兒用上谷歌眼鏡的不只 Voss 一家公司。馬薩諸塞州一家 Brain Power 也為谷歌眼鏡開發了一款類似軟件,他們打算將之作為一種技術出售給學校進行教學之用,而非醫療設備。其理論是,兒童對於新技術的態度和熱情取決於家庭和學校是否使用。
圖 | 在 Brain Power 主持的一項 8 人研究中,大部分護理人員認為,自閉兒與智能設備的互動超出預期。(來源:JMIR Hum Factors,2018)
圖 | BrainPower 的谷歌眼鏡應用使用效果。(來源:indiegogo.com)他們採用了谷歌眼鏡的繼承者,Glass Enterprise Edition (Glass),這是 2017 年 7 月 Google X 發佈的產品。
他們自身的產品名為 Empowered Brain,角色定位是自閉兒生活中的教練,由麻省理工學院和哈佛大學的研究人員開發,已經成功通過臨牀測試而上市。從業者説:人工智能介入自閉症路途漫漫
ALSOLIFE 是一個國內關注自閉症的大數據平台,可以通過快速算法,在最短的時間內,幫助家長精確地定製適合孩子的訓練項目。該平台由三位自閉症家長泡爹(張之光)、秋爸爸(陳偉京)、可欣可奕爸爸(劉岱嶽)於 2017 年 2 月共同發起成立。據 ALSOLIFE 人工智能技術負責人程建宏介紹,有不少的研究嘗試利用 VR/AR 等技術成果來提高自閉症干預訓練的自助化程度,但 VR/AR 的技術仍然處在發展過程中。
一方面存在設備比較重,需要使用者頭部攜帶;另一方面,硬件更新視場內容的處理能力還達不到人眼正常舒服的接受水平,長時間會造成眩暈感;正常使用者尚且如此,更何況自閉症嬰幼兒。接觸式技術方案需要自閉症嬰幼兒頭部佩戴設備,容易遭到自閉症嬰幼兒的排斥和抵制,設備極易遭受自閉症嬰幼兒的暴力損壞,效果非常有限。
**ALSOLIFE 在探索非接觸式技術解決方案,利用自身在計算機視覺領域多年的算法積累,研發了具有自主知識產權的自閉症康復干預治療監測評估系統。**通過對自閉症嬰幼兒在干預治療中所表現的行為特徵進行建模,比如眼神的交互、視線變化、面部情緒、肢體語言等,經過自身積累的大規模分類數據的訓練,已經可以成功融合識別出自閉症嬰幼兒在干預治療訓練中的一些細微的、具有積極意義的變化,而這些變化常常容易被忽視掉。
通過對比之前的歷史檔案數據,可以準確反映出患者的每一個干預治療項目的干預成效。這個過程完全基於數據和算法,排除了人為的主觀因素,更客觀、也更準確實用。以下為該平台負責人張之光對人工智能介入自閉症治療未來發展的觀點。
他認為,人工智能在自閉症領域有七個維度,目前在實現第四和第五個維度。目前在醫學領域,我們沒有有效的方法來預防和對抗自閉症,目前實證科學有效的方法都是教育。如果把自閉症兒童比喻成一部電腦的話,那這部電腦天生沒有鍵盤和顯卡,他們既不能很好地接受信息,也不能很好地向外界反饋信息。
教育干預的方法就是重新幫助孩子和外界之間建立起有效的鏈接,增加他們接收外界信息的效率,並提升他們向外界反饋信息的能力。從教育的角度來看,自閉症的教育與普教最大的一點不同就是發育的不均衡性。對於普教來説,孩子發育的個體差異不足以影響成長的穩定性,因此可以指定統一的教育計劃,來提高他們的能力。
但對於自閉症兒童來説,他們存在廣泛性發育障礙,每個孩子的發育落後程度、發育落後的側重點都可能各不相同,因此針對於特殊兒童干預的難點就是教育的“個別化”,要針對於每個自閉症兒童,提供有針對性的、個別化的干預計劃,並通過數據的不斷記錄和跟蹤,去迭代和優化孩子的干預計劃,實現康復的最短路徑。
如果把自閉症干預的世界比喻成宇宙的 7 個維度,那麼起始點大概是在50多年前,當時所有的特殊孩子都沒有進行個別化干預計劃,自閉症的孩子多被認知為“教養不當”,他們被統一安排在一個地方里,統一安排生活起居,談不上干預。
第二個維度是波特奇計劃(PGEE)的啓動。它是 1969 年由美國殘障教育局主持開發的一套適用於 0- 6 歲兒童的早期教育教材,1972 年問世。波特奇計劃把兒童早期出現的 6 個領域共 556 項行為表現,確定為能代表兒童各個年齡階段發育狀態的目標行為,這些目標行為既可以作為評價兒童發育是否正常的標準,又可以成為對兒童進行教育訓練的項目。
也就是説,PGEE找到了一條符合兒童正常發育特點和規律的軌道,特殊兒童也只有在這條軌道的干預下,其發育狀態才能控制偏離而趨於正常。第二維度出現的重要標誌是,根據每個特殊孩子制定屬於他自己的訓練目標,並對這些目標長期、持續地練習。有了目標,但如何保證干預的效率?如何確保每個目標孩子是掌握了,還是熟練了?
如何判斷孩子是否在保持進步?為了解決這些問題,自閉症干預發展出第三個維度,就是數據記錄。針對於每個目標練習時孩子的表現,行為分析師們增加了數據記錄手段。他們往往通過記錄孩子的“輔助等級”以及“通過率”來表現孩子的練習狀態,判斷孩子是否掌握了當下在學習的訓練目標。
目前中國的一部分干預機構,已經達到了這個階段,也就是説他們有能力為孩子制定行之有效的訓練目標,並通過數據記錄跟蹤孩子的訓練狀態。但行為分析師們只能通過人工去記錄孩子的訓練情況,這個效率是非常低下的,一個訓練有素的分析師往往只能記錄幾種典型的數據,而且在記錄複雜的數據(例如孩子的問題行為發生次數)時,無法保證精度。
有些時候,我們需要多個行為分析師去觀察記錄一個特殊兒童的數據,來確保數據的可信度。這就為自閉症干預帶來了成本問題。因此,自閉症干預的第四個維度就是通過計算機去智能識別孩子的各種行為。比如,我們可以通過眼動設備去識別孩子在干預過程中對老師的關注情況,來判斷干預工作對改善孩子的注意力是否是有效的。我們可以通過行為捕捉技術去自動識別孩子問題行為:有沒有晃手、有沒有玩口水,有沒有自傷行為。我們還可以利用聲音識別技術判斷每次孩子回應老師的平均時延。
這些數據都將更準確地“還原”自閉症兒童的訓練狀態,來判斷我們給孩子提供的干預課程是不是更行之有效,孩子的行為分析師的工作是不是有做到位。**第五個維度是在能夠採集越來越多不同行為的數據後,計算機就可以更智能地學習歷史經驗,為孩子的干預計劃提供更行之有效的建議,也就是建立更明智的干預策略。**計算機也可以在幾次訓練之後,就預測出孩子未來可能達到的能力水平,便於我們找到孩子康復的最短路徑。
另外隨着行為識別技術的不斷成熟,結合 AR 技術的廣泛應用,也會給自閉症兒童提供類似於眼鏡和人工耳蝸式的幫助。比如當自閉症孩子上完廁所以後,可佩戴的智能設備可以提示自閉症孩子洗手或者沖廁所,來幫助他完成整個如廁流程;當他遇到一個喜歡的姑娘但又不知道如何表達的時候,智能設備可以告訴他如何進行一次行之有效的自我介紹。
當科技發展到那個階段的時候,這類應用會應聲而來,**這就是第六個維度。****當自閉症干預的技術發展到第七個維度時,就是對人工的徹底替代。**用仿生機器人也好,用 VR 或 AR 技術也好,我們不再需要繁重的人力來對自閉症兒童進行反覆的訓練,自閉症的家庭也不必因此承擔更高的成本,但無論如何這都只會發生在很久以後。
對於 ALSOLIFE 來講,我們正在實現第四和第五個維度,ALSOLIFE 的人工智能團隊可以識別孩子對老師的目光關注,也在努力實現所有異常行為的自動識別。我們認為,在第六和第七個維度出現之前,我們必將經歷這些完整的階段,即建設一套行之有效的評估/干預系統,建立一套智能準確的行為採集和識別的工具,建立一套科學高效的干預數據平台。-End-
參考:https://www.nytimes.com/2019/07/17/technology/google-glass-device-treat-autism.html?action=click&module=Well&pgtype=Homepage§ion=Technologyhttps://jamanetwork.com/journals/jamapediatrics/fullarticle/2728462https://www.ncbi.nlm.nih.gov/pubmed/29301738