她,18歲,李飛飛三度公開表揚,高中時NIPS獲獎,創造「AI手術教練」_風聞
量子位-量子位官方账号-2018-11-29 15:33
夏乙 郭一璞 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
一位00後女孩,登上最新一期《斯坦福醫學》雜誌的秋季報道。她被形容為《SuperStar》,一位超級明星。
這個報道被李飛飛點贊,而且在自己的Twitter上特地發文表揚——而這,已經是李飛飛第三次公開表揚這位小姑娘了。
她叫Amy Jin,今年18歲。哈佛大一新生。
高中時期,她依靠一篇用AI給外科醫生打分的NIPS Workshop論文,成為李飛飛最喜歡的學生之一,並斬獲一系列大獎。
今年初,Amy成為全美五位獲得ACM/CSTA Cutler-Bell Prize大獎的高中生之一。
Amy Jin是誰
Amy是個“灣二代”,父母是來自中國的移民,並且都是物理學博士,Amy是家裏的老二。
很明顯,Amy繼承了父母對科學的興趣。六年級時,她就對AI產生了興趣。
不過,真正開始AI研究還是在四年前,Amy開始在加州聖何塞的Harker學校讀高中的時候。
Harker是一所私立學校,扎克伯格的妻子Priscilla Chan就曾經就讀於此。這所高中每年的學費高達48500美元,換算成人民幣,大概讀四年高中學費需要130多萬吧,夠北京郊區一套首付。
不過按照灣區科技公司“搬磚”都有10W刀/年來算的話,這個教育投入比例在重視教育的華人世界裏也算正常。
上了私立學校之後,Amy聽到一位IBM的科學家介紹Watson如何用AI幫助人們提升醫療等領域的能力,這深深地吸引了Amy:“Watson可能成為醫生的第二雙眼睛,這讓我覺得AI是一個非常有前途的領域,可以將許多不同的學科聯繫起來。”這也讓她立志成為一名AI科學家。
機會很快就來了,就在讀完高一的那個暑假,Amy遇到了AI4ALL。
AI4ALL,李飛飛創立的公益組織,致力於讓各種少數羣體,包括女性、亞裔、非裔等都能參與到AI的研發過程中。
拿下最佳論文
作為AI4ALL的成員,Amy在李飛飛的學生Serena Yeung和斯坦福醫學院醫生Jeffrey Jopling的指導下,順利完成了一項用AI評測外科醫生操作水平的研究,並作為一作完成了論文《基於區域卷積神經網絡的手術視頻中的刀具檢測與手術技巧評估》。
別看這是一篇高中生一作的論文,它可不是小孩子過家家的作品,已經受到了學術界的認可。
去年,Amy團隊把這篇論文投稿給了人工智能頂會NIPS。在這場會議的醫療機器學習(ML4H)Workshop上,這篇論文從120多篇提交的論文中脱穎而出,成為了10篇入選論文之一。
這個當時只有17歲的女生第一次上台,站在一個國際人工智能學術頂會上,向在場那些年紀比她大得多的研究人員介紹她的作品。
之後,在會議公佈最佳論文時,Amy還在看自己的電腦,並沒有聽會議的宣講。
畢竟,初入學術界的小朋友,無論是頒給哪位大牛,對她來説都一樣——因為這些人Amy都不認識。
萬萬沒想到,她聽到了自己的名字。那一刻,Amy又吃驚又開心,感覺彷彿處在一個超現實的時刻。
外科醫生的AI教練
Amy的研究,究竟是怎麼一回事?
她和一羣斯坦福科學家一起,訓練了一個基於區域的卷積神經網絡(CNN),讓它“看着”手術視頻,定位並識別出手術器材,再分析它們的動作,來自動評判這個手術做得怎麼樣。
當然,作為一項研究,它還不能分析所有手術,只選擇了相對簡單、常見的微創膽囊切除。
算法對視頻的分析包含三個維度。一是各種器材出場的時間線,從有沒有頻繁更換工具、換工具的時間長短,都能看出醫生是否熟練;二是手術器材移動範圍的熱力圖,操作的區域越集中,就表示手術越精確、醫生的技藝越熟練;三是關鍵手術環節的器材軌跡追蹤。
同時,他們還公開了一個數據集,名叫m2cai16-tool-locations。這個數據集在法國斯特拉斯堡大學醫院的m2cai16-tool基礎上擴展而來,為原版數據集前10個視頻的2532幀畫面標註了手術器材的空間位置,包含7類手術器材,3141處標註。
論文和數據集,都可以在這裏找到:
http://ai.stanford.edu/~syyeung/tooldetection.html
這項研究前前後後花了兩年多的時間,和Amy合作的斯坦福科學家們,既有計算機系的coder,也有醫學院的一線醫生。
最先提出這個想法的,是斯坦福醫學院外科住院醫師Jeff Jopling。
外科手術無疑是門手藝,動手操作的水平非常關鍵。可是Jeff遇到的情況是,“就算練習1000次,也得不到多少反饋……不是每個老師都能給你解釋哪做得好、哪做得不好”。美國外科協會也一直想找個方法來客觀評測外科醫生的技術水平。
於是,就有了這個幾乎伴隨Amy整個高中時期成長的項目。
跟隨項目成長的高中生
Amy和她的斯坦福搭檔們相遇,是在高一暑假,當時她已經註冊了計算機科學的先修課程(AP),還加入了學校的女生STEM(科學、技術、工程、數學)俱樂部。
她身上有兩個顯著的特點,一是數學非常好,二是雖説還沒有任何編程經驗,卻對計算機有濃厚的興趣。
李飛飛的學生Serena Yeung負責指導Amy,她説,Amy各方面都超出了他們的期望。
不過,就算對這樣一名優秀的高中生來説,評價手術技能的項目也還是太難了,Serena還是對項目做了些簡化。
Amy同時也要為參加項目而補課。
在AI方面,她旁聽了斯坦福本科生的計算機視覺課程,去了解基本的原理。
在醫學上,Jeff是她的領路人。他在斯坦福醫院的古德曼醫學教育中心,向Amy展示了腹腔鏡手術技術。
他們三個人每兩週見一次面,郵件、短信才是用得更勤快的溝通方式。作為一名高中生,Amy有排得滿滿的課程表、要參加她的女生STEM俱樂部活動,還有小提琴演出、舞蹈排練,一樣也不能少。
就在豐富的高中生活裏,她讀了不少醫學與計算機視覺交叉研究的論文,還和團隊裏其他人分享。
後來的結果你們都知道了。
這篇論文發表在2017年NIPS醫療機器學習workshop上,獲得了最佳論文獎。
一作Amy,進入了哈佛大學。
李飛飛三次公開表揚
看到Amy的經歷,我們很難不把她跟李飛飛聯繫到一起:AI4ALL成員,受李飛飛學生的指導……她的成功是離不開李飛飛的。
同時,Amy也讓李飛飛引以為豪,三度公開發推特表揚,每次都是“very proud of”、“So proud!”
超驕傲!AI4ALL成員Amy Jin和我們一起完成的論文拿下了NIPS醫療機器學習Workshop的最佳論文,她是NIPS歷史上最年輕的獲獎者吧?
我為我優秀的學生們自豪,博士畢業的Timnit Gebru和Jon Krause,拿到新教職的Michelle Greene、Chris Baldassano、Alexandre Alahi、Lamberto Ballan還有Cewu Lu,榮獲MIT科技評論35 under 35獎項的Olga Russakovsky,還有拿下NIPS17 醫療機器學習最佳論文的AI4ALL成員Amy Jin。
看來,Amy是李飛飛最年輕的愛徒了。
我對這個AI+醫護的項目非常自豪,作者是我們AI4ALL成員Amy Jin、我以前的博士生Serena Yeung,還有我們斯坦福AI護理團隊的同事們,好喜歡這些學生們的照片呀~
果然,沒有老師不喜歡這種年輕有為的學生呀。
拿獎拿到手軟
後來,有了這一篇NIPS Workshop最佳論文保駕護航,Amy順利成為了“別人家的孩子”:
先是拿到了IEEE計算機視覺應用冬季會議(WACV)的最佳論文;
接着拿到了ACM/CSTA Cutler-Bell獎,還有1萬美元獎金;
之後是醫藥公司Regeneron科學人才搜索獎;
還闖入了西門子競賽半決賽;
拿到了英特爾ISEF的二等獎;
最後還有5萬美元獎學金的戴維森獎,成功給自己賺了一年學費。
拿到這個獎之後,甚至連國內的移民公司公眾號都拿Amy來打廣告。
除了校外拿獎之外,在Harker校內,Amy還是學校的女生STEM俱樂部主席、法國國家榮譽協會(大概相當於法語優等生俱樂部)主席、以及學生自主運營的科學期刊Horizon的共同主編。
在學習和科研之外,Amy還是個小提琴愛好者, 是加州青年交響樂團、2017加州全州交響樂團和學校樂團的成員,曾在卡內基音樂廳表演獨奏,還在MTAC大會上拿到了加州絃樂組的榮譽獎項。
這一系列的獎項、榮譽、學生幹部經歷、才藝加起來,換算成國內,大概相當於大城市重點高中的社團主席+競賽獲獎,拿到一個清北校長推薦or自主招生或者乾脆是保送也問題不大。
最終,Amy順理成章的拿到了哈佛大學的offer。
研究還在繼續
不過對於這項研究來説,這還不是終點。
現在,Amy的斯坦福搭檔們還在繼續完善這項研究,Jeff説,他們要把看視頻自動評估手術技藝的能力從膽囊切除拓展到更多、更復雜的手術上,還打算收集1000段視頻來訓練這個AI。
他們和擁有22家醫院的山間醫療展開了合作,來收集視頻、優化算法。
臨牀研究中心主任Arnold Milstein對這個AI充滿期待,他説,這樣一個自動化的系統能成為醫學生的教練,拯救那些要花好幾個小時來評判學生手術水平的老師,甚至能用在手術過程中,實時提醒操作出了偏差的醫生。
説不定,美國外科協會有一天會把這個算法用到認證考試裏。
— 完 —