乘風破浪留學路:他讓人工智能更懂鏡像
他讓人工智能更懂鏡像——
圖片翻轉,沒那么簡單
(乘風破浪留學路系列報道)
本報記者 孫亞慧
在2020CVPR(國際計算機視覺與模式識別會議)上,,來自美國康奈爾大學四年級的中國留學生林之秋以第一作者身份提交的“Visual Chirality”(視覺手性)論文榮獲大會最高級別榮譽“最佳論文”的提名,,在全球科學界精英提交的6424篇論文中,,僅有26篇獲得最佳論文提名,,占0.4%,,林之秋是本次大會唯一一個還在本科階段的獲獎者,,也是年齡最小的第一作者,。
識別“AI換臉”
手性的定義為“一個物體無法與其鏡像相重合”,,這種不對稱性在自然界中廣泛存在,,并應用于不同領域。
神經(jīng)網(wǎng)絡訓練需要大量標注數(shù)據(jù),,但數(shù)據(jù)總是有限的,。為了用有限的標注數(shù)據(jù)來擬合函數(shù),人們使用數(shù)據(jù)增強的方法來低成本地獲得更多標記數(shù)據(jù),。而鏡像翻轉是最常用的圖像數(shù)據(jù)增強方法之一,,只需將所有圖片都進行一次鏡像翻轉,就相當于免費得到了雙倍數(shù)據(jù),。
但事情當然沒有這么簡單,。當翻轉了數(shù)據(jù)集里的所有圖片時,神經(jīng)網(wǎng)絡所擬合的函數(shù)還能代表原先的圖像分布嗎,?林之秋以第一作者身份提交的這篇論文,,討論的正是這一問題。
神經(jīng)網(wǎng)絡可以通過自監(jiān)督訓練的方法,,在判斷圖像翻轉的任務上達到非常高的精度,,并能指出圖片中哪些區(qū)域可以被用于識別鏡像翻轉。
通過最新的神經(jīng)網(wǎng)絡技術與嚴謹?shù)臄?shù)學證明,,康奈爾團隊發(fā)現(xiàn)了數(shù)字圖像中一些人眼難以識別的微小對稱性,,從最簡單的圖片鏡像翻轉出發(fā),重新探討了神經(jīng)網(wǎng)絡訓練下數(shù)據(jù)增強和圖片防偽的意義,?!拔覀冞@項工作對于普通人來說意義不是特別大,因為這是一項人工智能中比較基礎和理論的研究,。但對于前沿學術界來說意義很大,,這或許也是這項工作最終能獲得最佳論文提名的原因?!绷种镎f,。
識別鏡像翻轉,為圖像防偽提供了技術應用空間,,比如AI換臉,。林之秋說:“網(wǎng)絡上的一些AI換臉,、或者之前被人惡搞的外國政要換臉,盡管所生成的圖像對于人眼來說非常逼真,,但我們的工作證明了,,這類換臉技術可能會破壞數(shù)字圖像固有的對稱性模式,因此能被計算機準確監(jiān)測和識別出來,?!?/p>
科研填滿生活
2016年,在美國紐約州伊薩卡小鎮(zhèn),,群山包圍之中,,17歲的林之秋在康奈爾大學開啟了自己的科研生涯。
康奈爾課業(yè)繁重,,競爭壓力很大,。在高中階段提前自學完課程后,林之秋跳過了大一,、大二的基礎課,,并在兩年內修完了數(shù)學和計算機兩個專業(yè)的學分。這為他大三全力投入科研騰出了時間,。
大學第一年所選的5門高年級課程全部拿到A+,,多元微積分、線性代數(shù),、人工智能,、高等抽象代數(shù)等多項專業(yè)課第一名,這是林之秋交出的成績單,。
學業(yè)之外,,他很喜歡幫教授做一些專業(yè)課助教的工作。幫忙代課,、設計課程,,每周花幾個小時為同學解答問題。在林之秋看來,,這些經(jīng)歷對他個人學業(yè)的提升也有幫助,,可以讓他學到如何把知識化繁為簡,再深入淺出地分享給大家,。
到了大三,,林之秋已經(jīng)當上了機器學習高階課程的助教,給博士生的期末試卷打分,。大學畢業(yè)時,,他憑借GPA總分4.2,在學院數(shù)千名學生中名列前三,被授予學院最高榮譽,,并代表學院在畢業(yè)典禮上舉旗。
他還同幾名美國同學一起,,創(chuàng)辦了康奈爾歷史上第一個面向本科生的研究人工智能的社團,,組織大家每周一起研讀最新的學術論文,一起做些研究,。這個社團還幸運地拿到了臉書人工智能實驗室4萬美元的贊助,,支持他們從事神經(jīng)網(wǎng)絡研究。
做科研的忙碌,,意味著不得不犧牲生活閑暇,。林之秋在中學時就愛拳擊,利用業(yè)余時間練過4年,,還在“北京市青少年拳擊比賽”中獲得過67公斤級的亞軍,。如今,他基本沒有時間再進拳擊房,,不僅沒有時間重拾愛好,,甚至有一次還因為趕會議,兩周時間里每天坐在電腦前近20小時而犯了腰病,,不得不去校醫(yī)院做康復訓練,。出于對科研的興趣與熱愛,這一切從未讓他覺得辛苦,。
前路道阻且長
2013年,,當時已從谷歌離職,回國加入騰訊的著名計算機科學家吳軍在中關村舉辦了一次關于計算機未來應用的講座,。林之秋早早地占好了前排的位子,,那時他剛上高一,這場講座讓他對計算機人工智能產生了興趣,。
“講座中提到了摩爾定律,,講到計算機的飛速發(fā)展會對人類文明所產生的深遠影響,比如互聯(lián)網(wǎng)大數(shù)據(jù),、醫(yī)療影像,、機器人等?!背鲇趯夹g的憧憬,,林之秋開始通過慕課等線上教育平臺,提前自學微積分,、數(shù)據(jù)結構與算法等大學計算機的基礎課程,。
今年,林之秋進入專業(yè)排名世界第一的卡內基梅隆大學機器人學院攻讀博士學位,,繼續(xù)從事人工智能研究,。CVPR上的“最佳論文”提名對他來說是鼓勵,,也是動力?!翱蒲泄ぷ髡咄皇强客獠繅毫?、而是靠內驅力來推動的。這種工作往往艱苦而漫長,,因為在探索科學的過程中,,正反饋出現(xiàn)的時候并不多,甚至很長一段時間內科研沒有任何進展,。但這時,,還是要相信自己提出的猜想并堅持下去?!笔聦嵣?,這篇關于“鏡像翻轉”的研究也曾因“不夠有新意”被另一個會議的審稿人拒稿,讓林之秋很長一段時間內都在懷疑與反思——研究到底有沒有價值,?能不能做出來,?
現(xiàn)在,堅持最終有了結果,,來自學界的認可讓他更堅定了從事人工智能科學的信心,。
也有大型科技公司向林之秋拋出橄欖枝,待遇優(yōu)渥,,但被他拒絕了,。林之秋說,他喜歡做學術,,希望有朝一日能通過前沿理論研究進一步推動技術發(fā)展,。道阻且長,行則將至,,在這條科研路上,,他正勇敢地乘風破浪前行。