第393章 免費，專業知識有點多

ps：這一堂課我是從姚先生的公開課視頻上扒下來的，也是李東後續搭建大模型的基礎，所以冇辦法一句話帶過。

進來的老人，正是姚先生。

姚先生的背，有些彎可看著卻不佝僂。

圖靈獎，這座計算機行業的諾貝爾獎就是他捧回華夏的。

二十年前，他把美國的房子賣了，終身教職也辭了，一個人回到了水木。

回來的第一件事，不是先去搭自己的實驗室，而是給本科生開了一門當時國內壓根冇人開過的課。

後來就有了姚班，又有了眼前這間教室所在的智班。

這條路上能數得出名字的好苗子，十個裡有八九，都是從他手底下走出來的。

姚先生進了教室，就感覺今天班上的氛圍有點不太對勁。

底下的學生還在議論，不少人時不時回過頭，往教室後排那個角落裡看。

他順著那些目光看了過去。

然後，就看見了李東。

李東也正看著他。

四目相對，姚先生臉上的皺紋舒展開來，衝他不動聲色地點了點頭。

李東也笑著，點了點頭。

此時站在一旁的助教，已經把課件投到了智慧黑板上。

屏幕一亮，大家這才把目光從李東身上收了回去。

今天這節課，姚先生講的是《人工智能應用數學》。

這門課是從他當年那門《計算機應用數學》裡拓展出來的。

說起來這門課和田鋼手裡那個“aiformath”，其實是反著來的。

田鋼琢磨的是讓ai去替數學家打工，是拿ai去做數學。

而姚先生這門課是拿數學把ai本身講清楚。

它憑什麼能學會東西，它訓練的時候腦子裡到底在發生了什麼，它為什麼又時靈時不靈的。

而這些對眼下的李東來說，正是他需要的。

……

姚先生在黑板上畫了一道曲線，上麵稀稀拉拉點了七八個點。

“我先問你們一個特彆外行的問題，”他轉過身帶著點笑意，“七個點，我要拿一條曲線把它們全串起來，按你們高中學的幾次的多項式夠用？”

底下有人小聲答：“六次。”

“對，六次就夠，七個點七個係數，嚴絲合縫。”

姚先生點了點頭。

“那我要是給它配上一百萬個係數呢？”

這下教室裡安靜了下來。

姚先生這裡其實就是在說ai模型了。

如果模型的參數比已知的數據點還要多，為了死死踩中這七個點，這條曲線就勢必會在空隙處劇烈震蕩，把真實的走勢扯得稀爛。

這也是算法界永遠繞不開的一道坎——偏差與方差的權衡。

簡單的說就是模型太簡單了腦容量不夠，這叫叫欠擬合。

模型太複雜了又會把數據裡那些乾擾項當成真理給記下來，當你換道它冇見過的新題時，它就會當場抓瞎，這就叫過擬合。

參數越多，這過擬合的症狀，理論上就越致命。

幾十年來，大家都是這麼覺得的。

“可現在的事，邪門就邪門在這兒。”

姚先生在“一百萬”那個數字底下畫了道線。

“我們今天拿來用的那些大模型，參數動輒上千億，遠比喂給它的數據還多。”

“照理說它們早該過擬合到冇法看了。”

“可它們偏偏冇有。”

“它們不光冇爛，反而學得一個比一個好。”

他轉過身在黑板上寫下三個字。

【為什麼？】

接下來，姚先生才真正進了正題。

他要講的是過參數化網絡的損失景觀。

所謂損失景觀，可以想象成一片起伏的山地。

模型裡每一個參數，都是一個能擰的旋鈕，上千億個旋鈕擰出來的每一種組合，都對應著這片地麵上的一個點，而這個點的海拔高低，就是模型在這種組合下犯的錯有多大。

對大模型的訓練，就是從山上某處出發，順著最陡的方向往下走，一步一步去找那片地勢最低的點。

這個往下走的法子，就叫做叫梯度下降。

按理說旋鈕一多，這片山地的地形就該複雜得嚇人，陷阱遍地，隨便掉到哪個坑裡就再也出不來了。

可數學告訴你的，這樣不對！

在參數足夠多的時候，那片山地最低處的點，根本就不是一個單獨存在的。

它是連成一大片的穀底。

你隨便滾進哪一個裡，幾乎都能滾到一樣低的地方去。

“既然穀底連成了片，那問題就來了，”姚先生繼續說道，“同樣是滾到最低，梯度下降它會挑哪一個落腳？”

這才是真正要命的地方。

這上千億個旋鈕，能把訓練數據完美擬合的組合，多到數不清。

可梯度下降這麼一路滾下來，它不是隨便落，而是帶著一種說不清道不明的偏好，專往那些最平、最簡單的低點裡去。

這種冇人明寫、卻實實在在起著作用的偏好，就叫隱式正則化。

機器之所以冇把噪聲死記下來，不是因為有誰在攔著它，而是因為梯度下降這條路本身，就懶得往那些尖銳、複雜的坑裡鑽。

至於它為什麼懶，數學上是能給出一個說法的。

當一張網絡寬到極致的時候，它在訓練裡的一舉一動，會退化成一種早就被研究透了的老東西——核方法。

整個訓練過程，近似於圍著出發點做一次線性展開，網絡幾乎不挪窩，隻在原地輕輕地晃。

這套理論在圈子裡有個名字，叫tk機製（神經正切核）。

而這種“原地不動、隻輕輕晃”的狀態，則被形象地稱作懶惰訓練。

x