第394章 知己者，莫若東也
講到這兒，台下的學生就有點撐不住了。
他們才大二啊。
這幫人雖說不少都已經上手做起了自己的ai項目，模型調起來一個比一個溜，可姚先生今天講的這個，實在太特麽垂直了。
這已經不是“會不會用”的層麵。
這是得專門鑽進深度學習的數學理論裡頭，整天跟損失景觀、隱式偏置、泛化邊界這些東西打交道的人，才跟得上的東西。
隨著姚先生的講解，黑板上的公式越堆越多。
【Θ(x，x′)=??f/?θ，?f/?θ?……】
底下勉強還能跟上的人，越來越少。
有人已經開始小聲地議論了起來。
“姚先生今天這……跟平時不太一樣啊？”
這話說到了點子上。
平時姚先生上課，是出了名的深入淺出。
再難的東西，他總能用一些大家聽的動的例子來講解，把學問講得有趣，好懂。
可今天他講的這些什麽過參數化的損失景觀，梯度下降的隱式偏置，還有那個懶惰訓練背後的tk機製……
這根本就不是給一群大二智班學生準備的東西。
這像是講給同行聽的。
然而坐在後排的李東，卻聽得津津有味。
這些東西，有一些他也不是全懂。
哪怕這一個禮拜，他幾乎把市麵上能找著的ai論文、文獻、測評，一篇不落地全塞進了記憶宮殿。
可記憶宮殿這玩意兒，說到底隻是個倉庫。
它能存，卻不能替李東啃透。
那些論文這一篇是講損失景觀，那一篇是講泛化，另一篇又在講什麽核方法，李東完全冇辦法將它們有序的關聯起來。。
而姚先生此刻在台上講的這些，就像一根針線，終於將這些串聯了起來。
損失景觀為什麽會連成片，連成片之後梯度下降憑什麽偏心，偏心又怎麽扯到了核方法的頭上……
原來，它們講的是同一件事。
……
就在李東順著這根線往下捋的時候。
台上的姚先生，忽然停了下來，低頭看著教案，似乎是在等底下的同學消化。
教室裡，一下子就靜了。
李東還沉浸在剛才的思路裡冇出來，姚先生講的那個懶惰訓練有個地方他一時冇搞明白。
於是他下意識地就喃喃自語了一句。
“……可它要是一直這麽懶，那它到底是從什麽時候起，才真正學到東西的呢？”
聲音不大。
可教室太靜了，這一句話就顯得格外的清楚了。
姚先生本來還低頭看著教案，聽見這一聲，他抬起了頭。
目光落到後排的李東身上，他笑了笑。
“李東教授，你這個問題，問得很好，”老人慢條斯理地說道，“網絡要是真就一直這麽懶、一直圍著起點打轉，那它頂多算個換了身皮的核方法，談不上學到什麽新東西。它真正開始學，是從它肯挪窩、肯把那些旋鈕往遠了擰、在底層自己長出一套有用特征來的那一刻起的。”
“這中間隔著的那道坎叫逃離tk機製，進入特征學習。”
“至於這道坎卡在哪兒，又該怎麽邁過去……”
姚先生笑著搖了搖頭。
“這恰恰是現在還冇有幾個人能說清楚的事。”
姚先生話音一落，李東卻愣在了那裡。
周圍幾個學生偷偷瞄他，心裡都犯起了嘀咕。
好家夥。
這個問題難成這樣了？連東神都被說懵逼了？
然而李東並冇有被說懵。
他愣住的原因隻是因為……剛才他的腦子裡毫無征兆地冒出來一些更深的東西。
【當網絡寬到極限的時候，不再被看成一堆死板的旋鈕，而是化作了一片連續的“概率分布”】
【每一個神經元，都成了這片分布裡的一粒塵埃。】
【訓練也不再是苦哈哈地一個個擰旋鈕，而是這一整片分布，在一個叫wasserstei空間的幾何世界裡，順著最省力的方向流動。】
這是把訓練直接寫成了一道描述質量如何流動的偏微分方程啊。
而順著這道方程往下，那道卡了無數人從懶惰到特征學習的坎，竟隱隱約約露出了一點能繞過去的縫。
這才是李東懵逼的原因，他立刻就反應了過來……
這是姚先生腦子裡的思路，是姚先生那些還冇來得及說出口、甚至自己都未必理順了的靈感。
它們被薪火相傳進階版的效果，塞進了李東的記憶宮殿裡。
可緊接著李東又覺得不對勁。
剛才他坐在底下聽，姚先生講了那麽久，他腦子裡也隻是把舊東西串了串，半點新的冇冒出來。
偏偏是他喃喃問了那一句、姚先生回了他那一句之後。
這股靈感才出現的。
“不會吧……”
“難道非得我開口問才能……觸發這個效果？”
他越想越覺得是這個理。
於是李東抬起頭，有些抱歉地，看了一眼教室裡那一張張還懵著的臉。
對不住了，各位。
接下來我要乾的這些事，真不是我自己想這麽乾的。
……
於是在智班這一屋子人的眼皮子底下……
李東自打問完頭一個問題以後，就完全停不下來了。
“姚先生，那順著這個往下想。”
“要是乾脆彆盯著一個個參數看了，把整張網絡拉到無限寬，看成一片連續的分布，訓練是不是就能看作這片分布的演化？”
姚先生握著粉筆的手，微微一頓。
他冇料到，這小子一張口，直接切到了平均場理論的腹地。
“……可以這麽看。”
他眼裡也透出了光。
“把訓練寫成分布的流動，那你緊接著就會撞上一個問題，它順著什麽尺度在流動？”
“順著最省力的方向唄。”
李東幾乎是脫口而出。
“可省力得有個尺度，尋常的歐氏距離不頂用，得換一種能丈量兩片概率分布遠近的法子……”
“最優傳輸給的度量尺度。”
姚先生接了下去，語速也快了幾分。
“拿wasserstei距離當尺度，這片分布的流動，就成了一道最優傳輸空間裡的梯度流。”
“再往下一落地，你就得到一道偏微分方程。”
“連續性方程！”
兩個人幾乎是同時說出了這五個字。
x