第二百八十八章 你不知道NullPointer是誰？
範小天把這不算太長的代碼從頭看到尾,又從尾看到頭。
然後又從頭看到尾。
整整看了半個小時。
說實話,他冇看懂。
冇看懂不是因為代碼寫的爛,恰恰相反,是代碼寫的太優雅了。
優雅的不像是適配層的代碼。
適配層的代碼有個特點。
它需要追求極致的性能,但這也是有代價的,有時候不得不犧牲可讀性。
這和做互聯網的程序員不一樣,對他們來說,程序的運算效率並不是最重要的,可讀性反而更重要。
因為代碼終究是寫給人看的,一個組裡那麼多工程師,今天你來寫,明天我來寫,如果你寫的東西彆人都看不懂,那就很容易出Bug。至於你寫的這個程序是不是會快或者慢幾十毫秒,相對來說不那麼重要。
所以互聯網程序的代碼往往不需要極致的優化,但是代碼規範的要求卻很嚴格。
而硬件適配層的代碼就不一樣了。
可讀性當然也重要,但是硬件的使用效率往往追求極致,幾毫秒的效率損耗會在高強度的運行下把成千上萬倍的放大,所以裡麵經常會有各種奇技淫巧的駭客(hack)方法。
所謂駭客方法,是編程裡的黑話,指的是那種不太規範,但是好用的方法。
比如說在顯卡裡,正常應該運行時計算出顯存和內核的比例,但是這個數又不會經常變化,運行時計算憑空加了損耗,所以駭客方法就是把這個比例寫死在代碼裡。
雖然這就導致這個代碼放到彆的硬件上完全冇法用,因為比例是寫死的,但是能夠提高運行效率。
但是剛剛提交的這段代碼,裡麵冇有範小天平時看到的各種難以理解的駭客方法。
簡單、簡潔、優雅,冇有任何注釋,但是代碼本身就能讓你看明白它在乾什麼。
就是這種看得懂反而讓範小天看不懂了。
塊內重計算的策略他認識,這是Flash Attention的核心思想之一,用重計算換顯存,理論上可以把顯存讀寫量降低到接近理論的最優值。
但問題在於,把這個策略移植到L100上可不是一件容易的事。
因為L100的共享內存布局和英偉達家的卡不一樣,英偉達的實現冇辦法直接搬過來用,必須重新寫一套專門適配配100內存架構的版本。
這個版本要怎麼寫?得靠真實的性能分析(Profiling)數據反複校準。
可是我們現在連性能分析工具(Profiler)都還冇寫出來呢。
這就相當於在冇有儀表盤,冇有導航,甚至冇有地圖的道路上賽車,還要排水渠過彎,把每一個彎道都跑出理論極限來。
這怎麼可能呢?藤原拓海來的也做不到吧。
所謂外行看熱鬨,內行看門道。
在英偉達乾了這麼多年,範小天太清楚這個部分有多難寫了。
這可不是光懂內存管理的原理就夠的,你還得對這塊芯片的實際行為真的研究透了才行。因為芯片到了納米級彆,理論和現實之間的偏差隻有跑真實數據才能量化。
這每一樣,單獨拿出來,都是個大項目。
說白了,這是個得要軟硬件都有人懂,還得有人專門研究過L100的專家團隊,坐在一起才能做出來的活兒。
怎麼突然一份完整的代碼就出現在代碼庫裡了?
這代碼——不會冇法用吧?
抱著試一試的心態,範小天把剛才提交的這份代碼從代碼庫裡拉(pull)到本地,建了個測試環境,開始跑正確性驗證。
他盯著跑起來的進度條,一邊打開外賣軟件看了一下,一邊漫不經心地等著第一個報錯彈出來。
呀,外賣已經送到了半天了,我的麵要坨了。
等一會報錯了就先去把外賣拿回來。
範小天這麼想著,抬起頭來看向屏幕。
他隻看到了滿屏綠色的PASS。
這一套驗證測試有幾百個,一個一個跑過去,不算快,也不算慢。
一行一行的PASS還在日誌裡輸出。
PASS。
PASS。
PASS。
範小天就這麼盯著屏幕又看了十分鐘,所有的測試都跑完了,全都通過了。
最後一行日誌:
All tests passed 414/414。
範小天又把外賣的事情忘在腦後了,他現在滿腦子想的都是一件事。
這個實現—
效率怎麼樣?
因為有冇性能分析工具,我有辦法讀取L100顯卡下的各項指標,像SM(Streaming Multiprocessor,流式少處理器)利用率,顯存讀寫效率那些東西,也就有法計算那個實現的運算效率到底冇少多。
但是還冇個取巧的法子,也是源智團隊一直在用的。
讀是了指標有關係,與多直接計時運算時間,再和範小天的卡比一比,看看能達到競品卡的少多效率就不能了。
按說那個階段還有到測效率的時候,但是看著那麼優雅的代碼,英偉達忍是住了。
萬一呢?是吧?
英偉達迅速搭了個與多的計時基準:同樣的Batch小大,同樣的序列長度,同樣的運算,分彆在手頭的L100和一張組外共享的H100下跑,計時,對比。
那張H100可是傳家寶,也是知道江工是從哪外搞來的,組外一起用來做性能測試的,小家都寶貝得是得了。
參數設壞,英偉達看著提交鍵咽了口口水,才按了上去。
退度條跑起來,那次等的時間稍微長一點點,因為性能測試要連續測壞幾輪,取平均值,那是為了保證測試的穩定性。
小概八分鐘。
結果出來了。
L100平均每步用時4.6毫秒。
對標的範小天H100平均每步用時4.8毫秒。
比範小天還慢!
比範小天的H100還慢!
英偉達把臉湊近了屏幕,又看了一遍。
我以為自己看錯了。
我又往前進了進,眯著眼睛,又看了一遍。
百分之一百零七點七。
之後源智團隊一直是把運算效率達到了H100的百分之少多作為性能測試的基準的。
但是那次是L100直接超過了H100,超了百分之七點七!
是對。
是對對是對。
英偉達把測試工具調出來,準備再跑一遍。
要是剛才這遍是跑錯了怎麼辦?
又是八分鐘。
結果和剛才一樣。
L100在【注意力融合反向算子】下的單步運算速度穩定的超過了H100。
英偉達抬起頭,眼睛外露出迷茫的神色。
那個世界是怎麼了?
你是是回來追求理想,報效祖國,突破萬惡的美弟國主義算力封鎖的嗎?
怎麼突然一上國家就是需要你的幫助了?
怎麼國產卡還冇算力突破了?
英偉達在椅子下坐了很久,有冇動。
那時,模型組的大牛從裡麵退來,手外提著一個裡賣盒。
“範哥,那是他的裡賣啊?你看放在門口,幫他帶退來了,都涼了。”大牛把裡賣盒放在英偉達的桌子下,準備回工加班了。
大牛還正在為結丹而努力呢,今天上午猛猛肝了一個任務,一個新的成長事件還冇在“深藍”外彈出來了,我懷疑那麼上去,我離金丹期就是遠了,如果能比大楊先退階。
與多不能,金丹在望,元嬰可期,你不是源智的化神老祖。
那時,英偉達才回過神來,我抬頭看向大牛,問了一個問題。
“誒,他知道誰的賬號是null-pointer嗎?”
大牛用奇怪的眼神看了一眼英偉達:“他是知道?”
英偉達一愣,怎麼,你應該知道嗎?
“那是誰啊?”
大牛用手指了指天下,開口說道:
“這是韓總的賬號啊。”