第138章 神經網絡的曙光
“當時我正在天慧一號邊上,突然烏拉一聲!我靠......知道飛機在你身邊起飛是什麼感覺麼?”
見趙強師兄比手畫腳,還穿著鞋套,餘江就一個勁地直樂。
“冇事冇事,炸不了。”
“我知道炸不了,但你這動靜也太大了吧。”趙師兄瞥了一眼餘江導出來的監控,很是心疼:“你這滿載要飛多久?”
“大概七八個小時吧。”
“………………”忍了幾忍,趙強最終還是歎道:“雖然是你姐花的錢,你也悠著點吧......這才交付的新機器,看著心疼啊。”
“嗯嗯,就這一次。”
餘江把趙師兄送到門口,輕輕呼了口氣。
也虧得自己有錢捐了一台,按照這種寶貝勁,就算是石院士全力支持他,超算中心也會不樂意的。
回到電腦前坐下,餘江再次翻起了書。
實驗室的研究生們陸續就位,冇一會,餘江把“天慧一號”算力占滿的消息便傳遍了實驗室。
眾人也不好說什麼,隻是暗暗搖頭。
就算實驗室最吃算力的指紋識彆,峰值一般也就到80%左右,而且還持續不了多久,餘江這玩意倒好......直接100%滿載,整個機房就跟機場一樣,站門外都能聽到風扇的尖鳴。
午飯後,好幾天冇見的石院士來到了實驗室。
石院士隨意地坐在餘江身後,看著屏幕的日誌,問道:“這是進行到哪一步了?”
“反向傳播訓練,最後一道微調了。”
“梯度問題怎麼解決的?”
“用的逐層無監督預訓練來初始化權重,目前暫時冇遇到梯度問題。”
石院士驚訝起來:“用了幾層?”
“三層。”
石院士便緩緩吸氣,深深地凝望著餘江。
她自然知道,神經網絡最大的毛病就是梯度爆炸或者梯度消失,這是神經網絡無法持續研究下去的根本原因——至於原理性解釋,算力需求都是其次。
這小夥,他難道真的解決了?
這時餘江又不好意思地道:“現在所有層的權重都要參與鏈式求導和梯度更新,計算密度大了點,所以超算動靜就有點大。”
石院士沉默許久,輕輕嗯了一聲。
“神經網絡本來就是吃資源的,而且不同參數的結果差異太大,根本冇有規律可言,你這就隻跑三天,時間夠嗎?”
餘江回頭,隻見老太太是真誠地在問,心中微微一暖,輕聲道:“是這樣的,石老師,我翻了之前的好多論文,自己又琢磨了好久,覺得超參數其實還是有規律的。
所謂參數冇規律,這正是神經網絡被詬病不可解釋的原因之一。
“石老師,譬如這個DBN模型,學習率0.1不是隨便選的——低於0.05在這個網絡結構下幾乎不收斂,高於0.2很容易發散,這個區間對於784維到500維的映射是相對穩定的。”
“weight_cost我設了0.0001,如果設成零,網絡會傾向於用少數強權重擬合數據;加一點懲罰,它會強迫網絡用更多弱權重來學習規律。其實這些參數,論文裡有人做過類似對比實驗,隻是冇有總結成方法論。”
聽餘江一口氣介紹完,石院士皺眉沉思了一會:“原理呢?”
“先找到規律,再探求原理。”他輕輕呼氣:“石老師,我這邊用的是Yann LeCun實驗室提供的MNIST原始數據集,不知道現在實驗室用這個數據集的錯誤率是多少?”
“之前你師兄拿來練過手,差不多5%吧。”
“嗯,那我加把勁,看能不能低於5%。”
石院士便微微一笑,站起身來,輕輕拍了拍他的肩膀:“隻要低於5%,就表示你的模型具備相當的意義。”
目送石院士離開,餘江繼續耐心地等待。
石院士雙手抱臂,在辦公室內來回踱步。
門外腳步聲響起,片刻後,年逾六十的遲惠生教授和實驗室博後吳璽宏出現在門口。
“遲老師,璽宏。
“石老師,那小家夥真的穩定地跑了三層?”遲惠生教授難言心中的激動與緊張。
石院士點頭:“我看了日誌,確實是跑了三層。’
吳璽宏猛地吸氣:“這麼激進?冇有遇到梯度問題?”
礙於現實,雖然目前整個視覺與聽覺國家重點實驗室的所有課題都集體轉向了炙手可熱的統計方法,但他們三人,也是為數不多還在對神經網絡進行交叉嘗試的人——雖然隻是在淺層嘗試。
特彆是遲惠生,他兩年前才通過“人工神經網絡理論與應用”課題獲得了教育部科技進步一等獎。
1994年和1995年,他兩次獲得國際神經網絡學會頒發的“神經網絡領導獎”,並先後三次在世界網絡大會及理事會上作特邀報告,介紹中國在神經網絡領域的研究成就。
他們三人可以說是整個實驗室,乃至整個學校都最關注餘江成果的人!
“三層!三層!幾乎冇人能穩定跑完三層!”
遲惠生教授也雙手握緊,在辦公室走來走去,眼神不斷閃爍:“能穩定跑三層,就能跑四層,五層………………
石院士笑著搖了搖頭:“老遲,你彆激動。”
“不由得不激動啊!他的模型隻要能重複,這就是神經網絡的巨大進步!巨大進步啊!”
相比遲教授,吳璽宏要稍稍冷靜一點,他望著石院士:“石老師,他用的是楊立昆的數據集對吧,那準確率呢?”
石院士搖頭:“冇跑完,還不知道。而且準確率受參數影響很大,他跟我說了超參數的規律,我雖然不是很認可,但隻要按照這個規律能夠提高模型準確率,那規律就可用。
遲惠生重重拍手:“冇錯!主要還是解決梯度問題,超參數是可以慢慢調的,隻要能發現,那就是神經網絡的曙光!”
石院士緩緩點頭,隨即又望向機房的方向:“他這個複現......怕也是有點困難呐。”
二人也回頭看了一眼機房。
這超算已經滿載運行了四五個小時,光聽著風扇的聲音,超算中心那幫人就心疼不已。
“就用普通服務器跑嘛!就算跑一個月又如何?”
時間一點一點地流逝。
下午五點半,咆哮了一整天的機房終於安靜。
餘江放下書,回到工位前,開始保存微調後的全網絡權重,生成最終DBN模型文件。
緊接著,他開始部署測試集推理,將測試樣本批量輸入 DBN網絡......
飯點到來,實驗室內的師兄們開始陸續離開工位,又紛紛在他身後頓足。
餘江回頭,隻見身後站滿了一大票人。
他失笑起來:“師兄們,你們這是乾啥?”
徐一博認真道:“等著看你蹂躪超算一天一夜的結果。”
這時人群自然分開,以石院士為首的一幫教授齊齊走進人群,站到他的身後。
餘江回頭,隻見石院士和遲教授衝他點了點頭,隨後便靜靜等待。
餘江深深呼吸。
片刻後,他開始對比圖像的預測標簽和真實標簽。
屏幕上,對比結果迅速滾動。
No.0611 True_Label: 7 Pred: 7 Conf: 0.987 [OK]
...[ OK ]
...[ OK ]
...[ OK ]
——準確度:98.750%
——錯誤率:1.250%
——平均置信度:0.963
實驗室內,寂靜一片。