第四百四十章 係統一和係統二
前後不過兩分鐘的時間,大會議室就清空了,隻留下韓路一和江鬆然兩人。
視頻裡的趙文淵開口問道:“韓總,是因為算力的事兒?我剛才聽老江的意思,進度好像不太夠吧?”
江鬆然點了點頭,確實不夠。
現在是巧婦難為無米之炊,調度架構做得再好,總的計算卡就這麼多張,很難再騰挪出更多的算力了。
韓路一說道:“把你們兩個留下來就是想聊這件事,老江,上次咱們做的調度優化,你先給文淵講一下。”
韓路一說的是在湯圓1.0模型的API正式發售之前,基礎設施部門在任務調度上做的一些新的優化架構。
當時碰到的難題是每一個推理任務進來,服務器端都冇辦法判斷任務的複雜程度,也就冇法分配合適的資源,如果把大任務分配給了小資源池,任務完成不了,就要重試;反過來,如果把小任務分配給了大資源池,實際上用
不上那麼多算力,就造成了資源的浪費。
在韓路一的建議下,江鬆然引入了用湯圓自身來進行調度判斷,這種判斷任務當然都是小任務,初次判斷之後就能規避很多失敗場景。因此在相同的算力下,起源的推理集群能支持的並發量直接增加了三分之一。
但這是江鬆然他們在應用端對湯圓的一種應用方式,現在韓路一把趙文淵叫過來,是想看看在模型層麵上能不能再做一些優化,把性能再提高一些。
冇辦法,如果起源也能像穀歌、OpenAI一樣算力富裕,甚至能有鼎盛那麼多算力也行,那麼這些在軟件層麵的優化就並不急迫,甚至不做也行。
但是現在硬件方麵的算力捉襟見肘,就隻能從軟件層麵想辦法了。
江鬆然點了點頭,把困擾基礎設施部門許久的問題說了出來:“用湯圓來做初次的調度判斷確實極大的提高了資源分配的效率,但是我們也逐漸發現了兩個問題。”
“什麼問題?”趙文淵問道。
“速度太慢了。”江鬆然說道,當初韓路一提出用湯圓模型來做路由的時候他就想到了這個問題,每秒鐘數萬的並發請求,如果每一個請求都要提前過一遍湯圓,相當於直接把請求數翻倍了。還是韓路一提出了一個折中的方
案,對於多步驟的請求,隻對第一步進行任務難度的估算。
但即使是這樣,一次估算也要消耗數百毫秒的時間。可彆覺得幾百毫秒很短,在高並發場景下,幾百毫秒的延遲可能就會引發雪崩效應——延遲導致請求超時,超時又會引發重試,無效請求增多,甚至導致整個服務不可用。
“趙總,湯圓本身是大參數模型,即使是采用了稀疏架構,一次幾百毫秒的用時也不是調度層能夠承受得起的。慢是第一個問題,還有因為慢導致的第二個問題。湯圓用來做任務預測精度雖然高,但是延遲太長,我們隻敢在
任務鏈開始的時候加上,之後就隻能依賴第一次的預測結果,可是有些用戶請求是在交互的過程中突然增加了複雜度,這就導致還是使用第一次的測算結果就導致不準。”江鬆然說道。
韓路一在旁邊也聽懂了,江鬆然雖然說了兩個問題,但其實本質還是速度慢。
因為速度慢而不敢每次調度都調用一次,導致精度漂移。
“文淵,這就是我把你專門叫過來的原因,”韓路一開口說道,“上次我們聊過的,給湯圓做一個輕量版,你覺得能不能解決這個問題?”
在專業旗艦版被驗證過性能之後,再推出參數更小、能力稍弱但是成本低很多的輕量版本來就是業內通行的做法。
一般這種輕量版都是通過蒸餾原始的旗艦模型後訓練出來的。所謂蒸餾,指的是把一些高難度的問題輸入到旗艦模型中,讓它給出答案,再用這些問題和答案作為訓練集來給輕量模型做後訓練,這樣就能以較低的成本讓輕量
模型擁有旗艦模型70%到80%的能力,實在是一種比較有性價比的做法。
當然了,你也不一定要去蒸餾自己家的旗艦模型,用同樣的方法去蒸餾彆家的旗艦模型也是可以的。自從湯圓API開放以來,起源集團這邊已經發現並且捕捉了不少試圖對湯圓1.0進行蒸餾的行為了,很多請求都來自於美國。
聽了韓路一的話,趙文淵沉吟了片刻。
輕量模型確實在這方麵有所幫助,甚至於可以考慮像當初的湯圓0.1那樣,使用一個極小的模型來進行任務複雜度預測——隻要能保證預測精度不會掉得太離譜。
但是——
趙文淵開口說道:“你們有冇有聽說過係統一和係統二?”
韓路一和江鬆然對視了一眼,同時點了點頭。
係統一(System 1)和係統二(System 2)這個概念源自於諾貝爾經濟學獎得主丹尼爾·卡尼曼的研究,在他的科普暢銷書《思考,快與慢》裡有過詳細的闡述。
人的大腦在思考的時候有兩套係統,一種運轉極快,非常善於快速做出判斷,但是因為冇有激發深度思考,也比較容易被噪音乾擾,這個叫做係統一;另外一種模式叫做係統二,需要人主動花費精力仔細思考,花的時間更
長,最終得出的結論也更準確。
這本書當然不是計算機領域的著作,但是它足夠暢銷也足夠有名,兩人恰好都讀過。
其實趙文淵和他的研究者同行們當初能夠提出思維鏈(CoT, Chain of Thought)的概念,也正是來源於對人腦係統二的借鑒。
隻是不知道他突然提示這個來乾什麼?
韓路一說道:“這和我們討論的內容有什麼關係?你是想說,我們可以借助係統一來進行對任務複雜程度的快速估算?”
說到這,韓路一突然意識到什麼,問道:“我們剛才討論的用輕量模型來做路由,不就是使用的係統一的思路嗎?”
哪知道趙文淵搖了搖頭,說道:“韓總,您說的對,但是還不夠,您知道在人腦的決策係統中,係統一之所以能比係統二更快,還有一個重要原因是什麼嗎?”