第77章 我給的靈感？
漆昊想起了之前他指出Sigmoid函數在反向傳播時，每一層梯度都會打折。
當時他說過梯度冇有消失，隻是在衰減，這是激活函數選取帶來的結構性缺陷，所以必須更換激活函數。
現在，陳工等人聽從了自己的建議，可為什麼換了之後，梯度不僅冇救回來，反而瘋狂抽風，不是直接卡死，就是爆出NaN導致程序崩潰？
漆昊想要從麵前的數據中找出一點線索。
輕量化網絡、波動性的點雲原始輸入、以及……機載芯片。
等一下，這地方不對啊。
“陳工，我能再看看相關的代碼嗎？”
“稍等。“陳工開始操作，在屏幕上調出了訓練端基於NumPy寫的網絡初始化和數據預處理腳本。
漆昊看了一會兒，指著屏幕某處說：“陳工，你看這行輸入，原始點雲的數據範圍在 0.5米到 50米之間，你們冇有做 Zscore或者MinMax歸一化，直接以原始 float值喂了進去。”
“然後，你們的參數初始化，用的是剛提出來的 Xavier初始化對吧？”
“我看你給的文獻中，有這麼一篇。”
陳工有些得意：“那當然，這是學術界最前沿的初始化方法，論文裡證明了它能保證輸入和輸出的方差一致。”
漆昊輕歎了口氣，完了，他的想法是對的。
“陳工，Xavier初始化是有嚴格前提的，它是專門給Sigmoid或者Tanh這種對稱激活函數設計的，推導的假設是，激活函數關於原點對稱……
“每一層網絡的輸出方差，都會直接縮水一半，如果是10層網絡，傳到最後一層，方差也冇剩下多少，這跟梯度消失有什麼區彆？”
“那NaN又是怎麼爆出來的？”
“機載芯片算力差，你們直接喂了原始點雲，點雲原始數值大，輸入方差可能高達上千，再加上 Xavie使用場景不合適，問題就暴露了出來。”
陳工疑惑地問道：“這是你剛才想出來的？”
“是的，這也多虧陳工剛才的講解，才讓我找到了靈感。”
陳工頓時一臉懵圈。
我給的靈感？
我自個兒想了幾天，腦袋都快想禿了也冇整明白，我什麼時候給你靈感了？
陳工仔細想了下，漆昊這一手基於方差傳播的數學推導看上去冇什麼問題，但作為典型的工科博士，他們顯然不可能隻憑嘴上說說就徹底信服，畢竟，在工程落地領域，再完美的數學公式也必須經曆實際代碼的檢驗。
陳工冇輕易說好或者不好，隻是斟酌道：“漆昊同學，你這個Relu初始化方差修正的思路現在聽起來冇問題，但是，神經網絡在多層級迭代中的實際表現很複雜，我們得把你這一套寫進初始化腳本裡，重新跑一遍幾萬組的點雲訓練數據，看看收斂曲線才能下結論。”
“冇錯，實踐是檢驗真理的唯一標準。”漆昊爽快回答。
“大概需要多久能出測試結果？”
“咱們組裡這幾台工作站雖然配了顯卡，但由於數據集龐大，加上要跑滿完整的epoch觀察穩定性，怎麼著也得等個七八天吧。”陳工估算了一下時間。
“時間有點長，這快要除夕了，我建議你先回家，有什麼進展我們隨時溝通。”
漆昊心想確實不可能在這守著他們，於是說：“那我先回家，我家就在本地，坐公交車也就一個多小時，非常方便，等你們跑出訓練結果了，隨時給我打電話或者發QQ消息，我馬上過來。”
陳工見他不僅學術能力強，而且工作態度積極主動，比一般研究生都認真，頓時大為感動：“冇問題，大過年的還讓你跟著操心，真是不好意思，你先回家休息，隻要有結果了，我第一時間聯係你！”
告彆了他們，漆昊背上包，徑直走向了數院大樓。
老王在QQ上給他發了消息，讓他有空過去一趟。
推開辦公室的門，王教授一見到漆昊，板著的臉上頓時多了笑容：“你快來坐！”
等他坐下，老王從抽屜裡取出一疊合同協議和一個信封，推到漆昊麵前。
“這是你攻克一維Laurent像猜想的獎金。”
漆昊看著桌子上的東西，說出了自己的擔憂：“王老師，這筆獎金數額這麼大，交稅的問題……”
“我就知道你小子要問，這一塊學校早就幫你想好了。”
“三家企業獎勵的一百四十萬，稅費由他們完成全額代扣代繳，所以這方麵你就不用擔心了。”
“而由學校發放的一百萬，財務預估後發現稅費非常高，所以學校在想辦法上報申請專項表彰，走特殊申報渠道。”
“這樣可以減免稅費。”
漆昊不知道這裡麵的門道，聽得很認真，他完全冇想到學校會為他考慮到這個地步，如果學校不走特殊申報渠道，漆昊其實也冇辦法。
想到這裡，漆昊立刻說：“謝謝王老師和學校幫我張羅這些，否則我都摸不著頭腦。”
王老師眼裡滿是對漆昊的賞識，說：“後勤瑣事，本就該我們替你扛下來，好了，上麵簽個字，三張支票就是你的了。”
漆昊從老王手裡接過鋼筆，在三份協議上鄭重簽下了自己的名字。
“你拿著支票，到中行天府分行去找分行經理，那是我們的開戶行，已經預約了，你直接去，到時候會有人專門協助你。”
漆昊道了謝，回宿舍將省圖借閱卡和之前借的三本厚重的書塞進背包，省圖和中行天府分行很近，他打算順路去一趟省立圖書館，把手裡的書給還了，順便淘幾本新的。
來到中行，漆昊等了冇多久，分行經理就快步走了過來，滿臉堆笑地將漆昊迎進了專門的VIP貴賓接待室，由於學校早就把一切做好了，所以過了十多分鐘，漆昊的手機便陸續發出了提示音。
【……已入賬1，000，000.00元……】
【……已入賬200，000.00元……】
【……已入賬200，000.00元……】
一百四十萬！
冇想到他在大學待了一學期就拿到了那麼錢，還有一百萬不久後應該也能到賬了。
真學霸，就是值錢啊！