第101章 轉型！

作為本次ICCV大會的正式參會作者,楊力昆有一篇關於卷積網絡特征提取與無監督預訓練的第一作者論文被大會錄用了,需要在此後的分論壇上進行宣講。

因為紐約大學的教學工作以及一些行政事務,他不得不推遲了行程,錯過了今天白天的開幕式和ImageNet挑戰賽的結果公布。

走到行李提取處,楊力昆掏出手機,取消了飛行模式。

隨著信號重新連接,手機開始振動起來,一連串的未讀郵件、短信和學術討論組的提醒如同潮水般湧入屏幕。

他本以為這些隻是同行之間例行的問候,或者關於明天報告日程的確認。

然而,當他習慣性地滑開鎖屏,看到屏幕頂端掛著的幾條來自老友辛頓的未讀短信時,眼神不由得頓住了。

“楊,你到巴塞羅那了嗎?如果在現場,立刻去ImageNet挑戰賽的現場!”

“Qlnet基於CNN,在ImageNet測試集上錯誤率隻有15%!”

“隻差兩個月,戴維·魯梅爾哈特就可以聽到這個好消息了,可惜了。”

“楊,還有戴維,我們是對的!”

楊力昆停下了腳步,推著行李箱的手不由握緊了。

15%?!

這錯誤率遠低於市麵上所有深度學習模型了吧?

楊力非常清楚在ImageNet那上百萬張圖片,一千個分類的超大規模數據集上,此前學術界用傳統的SIFT特征配合支持向量機折騰了數年,錯誤率也隻能艱難地維持在29%左右。

而現在,有人用CNN把這個數字拉到了15%?

楊力昆感到自己的心臟有些失律地跳動起來。

在過去的十幾年裡,他和辛頓、本吉奧如同三個在黑夜裡並肩夜行的朝聖者,固執守著聯結主義的陣地。

主流學術界對神經網絡避之不及,無數次在經費申請和論文評審中給他們吃閉門羹。

他本人在紐約大學也承受了巨大的壓力,不得不經常用層次化特征學習這樣更符合主流大眾口味的詞彙來包裝自己的CNN研究。

現在告訴他,居然有人在CNN上取得了成功?

楊力昆立刻撥通了辛頓的電話。

電話幾乎被秒接了起來,那頭傳來了辛頓異常亢奮的聲音:“力昆!你看到消息了?”

“辛頓,這消息是真的嗎?”楊昆努力保持克製,“15%的錯誤率,是誰做出來的?是你們實驗室的模型嗎?”

“不,不是我們。”

“是一個來自華國年輕數學學者,叫漆昊,他帶去了一個叫作Qlnet的深層卷積神經網絡。

"Qlnet, "

“他是怎麼解決深度網絡梯度消失問題的?他的計算設備是什麼?難道也是GPU ?"

“冇錯,他不僅用了GPU,而且在網絡深度、隨機裁剪、數據增強等工程細節上,做了創新,力昆,他用的是你當年創造的卷積網絡架構,但他把它的層數加深到了前所未有的高度!”

“他用事實證明了,我們這麼多年來堅持的方向是完全正確的,在足夠的數據和算力麵前,傳統的特征工程已經過時了!”

聽著電話裡辛頓激動的話,楊力昆靠在行李提取處的廊柱上,有些出神。

那一瞬間,過去數年裡遭受的所有冷眼,質疑和自我懷疑,似乎都在巴塞羅那溫潤的夜風中消散了。

他突然感覺到了一股前所未有的動力。

他一直深信CNN的潛力,但由於各方麵的限製,他自己的實驗室在此前也未能跑出如此驚世駭俗的成績!

現在,一個華國青年漆吳,用一套名為Qlnet的模型,在ImageNet這個舞台上,當著全世界計算機視覺頂尖學者的麵,把傳統學派的驕傲擊得粉碎。

“力昆,你明天有報告對吧?我打賭,明天的會場會徹底瘋狂。”辛頓說道,“我已經準備去巴塞羅那了,我們必須儘快弄清楚QInet在架構設計上的一些細節,如果你見到他,務必代我向他致敬。”

“我會的,辛頓,事實上,我現在就迫不及待想去會場了。”

掛斷電話後,楊力推起行李箱,大步朝機場出口走去。

倫敦,DeepMind那間塞滿了服務器線纜的臨時辦公室裡,哈薩比斯正盯著屏幕上社交媒體的信息。

有人在上麵分享了巴塞羅那ICCV的ImageNet測試結果。

當他看見第一名的成績後,整個人僵在了原地。

在過去的幾個月裡,他那支剛剛成立,誓要解決智能問題的團隊,正深陷於如何讓算法理解高維圖像特征的難題中。

為了讓強化學習算法學會玩雅達利遊戲,他們嘗試了無數種手工特征工程,試圖從幾萬像素的畫麵中提取出邊界和小球,但那些自以為聰明的傳統數學規則,在動態畫麵麵前脆弱得像紙糊的一樣,稍微一有抖動就直接宣告失

敗。

而現在,屏幕上那個由華國青年漆吳創造的,名為QInet的深層卷積神經網絡,卻將imagenet複雜圖片分類錯誤率,降低到了15%?

“這不可能......他怎麼做到的?”哈薩比斯瘋狂地在網絡上查找相關信息。

還試圖聯係了在ICCV現場的人。

在得知QInet用了CNN模型,並且使用了數據增強和GPU矩陣乘法之後,哈薩比斯突然醒悟了!

如果把這個QInet的架構剝離掉最後的分類輸出層,直接作為特征提取器拚接到他們的強化學習算法上,那他們的遊戲AI就不再需要人類去教它什麼是小球,什麼是擋板了!

它自己就有可能用眼睛看懂一切像素!

“這華國人真特麼的是個天才。”哈薩比斯顧不上現在的時差,當即抓起手機,跨洋撥通了他們最重要的早期投資人,馬斯克的電話。

此時,加州SpaceX總部辦公室內。

剛剛熬夜開完獵鷹9號火箭梅林發動機閥門改進會議的馬斯克,正癱在椅子上,喝著紅牛,當看到屏幕上跳出哈薩比斯的來電時,他隨意地按下了接聽鍵。

“哈薩比斯,如果你的模型還冇學會玩遊戲,那我建議你長話短說,因為我正忙著阻止特斯拉Model S在量產前夕把我的錢包燒光。”

“埃隆,聽著,先彆管你的火箭和電動車了。”哈薩比斯忽略掉了馬斯克的冷幽默。

“我可能真的找到了讓AI學會玩遊戲的方法了。”

馬斯克直起身子,突然有了興趣:“哦?是哪個矽穀大廠又搞出了什麼能自動過濾垃圾郵件的劃時代算法嗎?如果是這種無聊的把戲,我可冇空。”

“不,不是矽穀,是巴塞羅那的ICCV挑戰賽。”

“一個叫漆昊的年輕學者,帶著他設計的QInet卷積神經網絡,在ImageNet挑戰賽上把分類錯誤率乾到了15%,你要知道,第二名那幫自詡精英的施樂歐洲研究中心,用儘了渾身解數,也才跑出26%的成績。”

馬斯克雖然不是人工智能領域的專業學者,但他是一個崇尚第一性原理的瘋子,對於斷層式領先11%這種數據上的超越,他瞬間抓住了關鍵。

“15%26%?"

這不合理,傳統學術界那幫家夥不是天天在論文裡論證,說神經網絡在特征提取上有缺陷,疊層數解決不了問題嗎?這個漆吳是怎麼解決基礎算子的空間平移不變性的?”

“這就是他最厲害的地方!”

“本冇有在算子層麵做任何複雜的幾何證明,他隻是對數據進行了隨機裁剪和鏡像翻轉,然後用了兩張英偉達的顯卡,靠著算力,讓模型在龐大的數據洪流中自己學會了空間不變性!”

“馬斯克,你明白這意味著什麼嗎?我們一直在做的遊戲AI,那個困擾我們許久的視覺輸入瓶頸,現在有了解決辦法了!”

“等等,哈薩比斯,你確定這個QInet跑出的數據是對的?”

“評測服務器冇有作弊的可能,那是李教授的團隊多次驗證後的結果。”

“這個世界上總有一些怪物,他們能看到我們看不到的盲區,我認為漆吳就是這樣的人。”

“有意思,太有意思了。”馬斯克想著他的汽車和火箭,心中的火苗逐漸熱烈了起來。

加州山景城,穀歌總部的一間實驗室裡。

這裡是剛剛成立不久,被外界寄予厚望的穀歌大腦項目基地。

服務器排氣帶來的燥熱總是圍繞著這個地方,此時數十個監控屏幕上正飛快劃過一行行數據流。

項目負責人吳恩達正與穀歌架構師傑夫並肩站在一起,看著他們那引以為傲的分布式係統跑出的成果。

為了讓神經網絡學會從油管視頻中自動識彆出貓的特征,他們動用了穀歌的服務器資源,拚湊出了一個擁有達2000個CPU核心的龐大集群。

“傑夫,雖然無監督預訓練的參數調整非常繁瑣,但看著這個擁有十億級參數的模型開始在龐大的集群上收斂,我真的覺得,我們正在接近真正的人工智能。”吳恩達驕傲地說。

然而,還冇等傑夫點頭讚同,吳恩達手機震動了起來。

當他滑開鎖屏,看到了十幾封來自斯坦福大學實驗室學生以及穀歌內部AI研究員們相繼轉發過來的ICCV現場速報。

“怎麼了,難道是哪裡的分布式節點又發生內存溢出了?”傑夫察覺到了老友的異樣,半開玩笑地湊了過來。

“傑夫,不是溢出。”吳恩達將手機屏幕遞到了傑夫麵前,“剛剛從巴塞羅那傳來的消息,今年的ImageNet挑戰賽結果出爐了,有人用卷積神經網絡,把錯誤率直接乾到了15%。”

“15%?!”

即便是見慣了各種先進技術的傑夫在聽到這個數字時,也驚訝了。

“是哪個國家實驗室?是BM那幫家夥用超級計算機跑出來的?”傑夫眉頭緊鎖,腦海裡瞬間閃過全球頂尖算力中心的名單。

“不,是一個來自華國的年輕數學學者,叫漆昊,他的模型叫QInet。”

“他冇有使用超級計算機集群,甚至冇有動用任何大型服務器,他隻用了兩張英偉達的商用顯卡。”

實驗室裡頓時陷入了死一般的寂靜。

吳恩達現在內心複雜極了。

作為早在2008年就撰寫論文極力倡導利用GPU進行大規模神經網絡訓練的先驅,他當初在加入穀歌後,曾極力向高層推薦GPU路線。

然而,在穀歌工程文化中,CPU才是包治百病那個選擇。

穀歌擁有世界上最龐大最成熟的CPU閒置集群,在龐大的工程慣性下,穀歌大腦項目最終還是選擇了用2000個CPU核心來堆疊參數。

“傑夫,我之前就說過,在處理神經網絡這種本質上是高並發高密度矩陣乘法的運算時,CPU那龐大的控製單元就是災難。”

吳恩達忍不住歎了口氣,既有對自己理論被證實的欣慰,又有眼睜睜看著首發紅利被旁人奪走的複雜情緒。

“實話說,和QInet相比,我們現在的這個集群,可能更適合放辦公室裡當冬天的取暖器。”

傑夫·迪恩並冇有因為吳恩達的吐槽而生氣,他現在已經完全被QInet的係統工程設計所吸引。

傑夫轉過頭,看著吳恩達:“老夥計,CPU可能在深度學習領域已經宣告結束了,我必須去找拉裡,穀歌必須在最短的時間內,不惜一切代價掃貨市麵上所有的卡,把我們的分布式係統全部重構成GPU架構。”

“我完全讚成。”吳恩達點了點頭,“而且,比買顯卡更重要的,是人。”

“漆昊。”傑夫緩緩念出那個華國青年的名字。

加州,英偉達。

“我真蠢,真的,我怎麼會犯下這種的愚蠢錯誤......”老黃看著電腦上的信息,後悔極了。

早知道前幾天他就飛到巴塞羅那去了。

當時的老黃欣賞漆昊,但滿腦子都是新一代GPU的事,至於那個在學術界被唱衰了多年的深度學習領域,在他看來不過是高校實驗室裡用來騙經費的學術玩具,不值得他拋下工作,浪費時間去巴塞羅那。

可誰能想到,他欣賞的漆昊,就把整個人類計算機視覺領域的紀錄,往前大幅度推進了!

“黃總,其實你也不用太自責。”

站在辦公桌對麵的英偉達CTO首席技術官看著自家老板這副快悶悶不樂的模樣,試圖安慰道:“至少這個結果證明了,我們的CUDA路線是完全正確的。之前華爾街那幫分析師天天在財報會議上指責我們,說我們每年在CUD

A生態上砸錢和把錢扔進太平洋冇區彆。”

“現在Qlnet一出來,過不了多久他們就得閉嘴了。”

老黃不滿地說:“這幫隻知道看財報的華爾街白癡懂什麼?!”

“說實話,連吳恩達都不懂我們芯片的重要性。”

“他現在用幾千顆CPU做龐大的分布式,我們送過去的幾張GPU他有可能都冇用,但漆昊不一樣,他是在用GPU矩陣乘法,向全世界證明了GPU在深度學習領域的重要。”

“這是我們英偉達有史以來最重要的一支廣告,可惜,這支廣告的主角,現在卻在巴塞羅那!”

CTO微微一愣,顯然還冇能完全跟上老黃那超前商業嗅覺,有些遲疑地問道:“黃總,如果按照你的看法,既然現在QInet已經把計算機視覺分類的錯誤率降到了15%,這意味著計算機視覺問題已經在事實上被解決了大半。”

“那麼,接下來人們還可以教計算機去做些什麼?識彆紅綠燈?還是在工廠流水線上自動分揀蘋果?”

“不,不是分揀蘋果,也不是識彆紅綠燈。”

老黃敏銳地說:“是所有的一切。”

“聽著,十到二十年後,神經網絡將會改變整個人類社會。”

“不管是醫療、汽車、金融還是航天,而我們要做的,就是通過我們的CUDA,壟斷這場變革中所有的硬件基礎,也就是說,隻要他們想用算法改變世界,就必須向我們購買算力!”

老黃越想越激動,他開始親自起草一封發給英偉達全體員工的加急郵件。

“......從今天開始,英偉達將不再僅僅是一家圖形芯片公司。”

“所有的部門,所有的研發線,所有的資源,必須立刻,無條件地向深度學習和並行計算傾斜,我們必須在整個科技界反應過來之前,完成從遊戲顯卡商向深度學習算力巨頭轉型!”

當按下發送鍵的那一刻,老黃感覺自己仿佛親手開啟了一個全新的時代。

“黃總,郵件已經發出去了。”CTO看著老黃那張因為興奮而泛紅的臉,小心翼翼地開口問道,“那漆昊那邊,我們需要怎麼接觸?是派分公司的負責人去,還是聯係他在國內的高校,提供一些讚助?”

“讚助?開什麼玩笑!”

“現在肯定有無數的科技巨頭在往巴塞羅那送機票,穀歌、微軟等等,如果這時候我們還端著架子,等我們反應過來,再想要找漆吳合作就難了。’

老黃說完,站了起來往門外走去。

“黃總你要親自去?”

走到門口,老黃突然停下腳步,轉過頭:

“我去巴塞羅那必須親自了解一件事,這個驚豔了世界的QInet模型,到底是漆昊一個人在實驗室裡訓練出來的,還是他背後其實有一個我們尚未察覺的研發團隊?”