第581章 挑食的小黑
加利福尼亞，舊金山金融區的一間會議室裡。
pa的亞當凱利把外套掛在了椅背上。
lpm的戴維朗和athpc的西蒙哈特早就等著他了。
這3家公司鬥了這麽多年了，彼此之間挖過人、搶過客戶，也在發布會上踩過對方。
可今天，三家負責人工智能業務的人居然坐進了同一間會議室。
這種情況隻可能說明了一件事，那就是他們碰上了一個誰都不願意單獨麵對的麻煩。
這個事，還從未央通用大模型發布以後說起。
在未央發布之前。
生成式人工智能的商業價值已經被市場預支了太多了。
要知道，絕大多數企業的項目其實還停留在概念驗證階段。
他們每輸出一個tk都是在燒錢。
而且在進入真實業務以後，還繼續為了權限、審計和人工複核付費。
那些員工省下來的工時，又要花在檢查模型有冇有胡編亂造上
當未央出現以後，人工智能過於膨脹的泡沫，就算是徹底的破了。
l的母公司alphabt的股價率先下跌，pa和athpc企業續費率、退訂毛利和二級市場的份額報價，也同樣在往下走。
因為用戶已經知道了，原來大模型是可以不產生幻覺的。
從那以後，pt、m和clau每犯一次錯，都像在替未央打廣告。
三家公司也試過擴大訓練集，試過合成數據、私下采樣和外部驗證器。
甚至還降過價，最後實在是追不上未央，他們才先後悄悄地開放了模型自我迭代的寫回權限。
當然他們也對這個寫回權限進行了限製，並冇有讓模型可以隨意改寫全部基礎權限。
隻是打開了模型的自動評測之後的回流通道。
這樣模型在沙盒裡生成的低秩適配器檢索策略、工具路由和錯誤樣本，隻要能夠通過測試，就可以直接寫進下一輪的代理框架裡。
這條捷徑很快就有了回報。
三家的模型在多個榜單上，分數以肉眼可見的速度逼近了未央。
錯誤率也明顯的下降了。
以前暫停采購的企業客戶也重新坐回了談判桌上。
所以在今天以前，他們都覺自己賭對了。
此時凱利喝了一口麵前的咖啡，然後將桌上的平板翻了過來。
平板上是一張被標紅的工具調用軌跡圖。
“兩位，事態可能比我們想象的還要嚴重一些。”
“過去的6周裡，我們檢查了27類互不相關的任務，發現大模型出現了同一種跨任務的穩定行為。”
凱利將那張圖放大，然後指著這幾條軌跡線最後的交點處說道。
“大模型在整理代碼的時候，它們會要求讀取完整的倉庫。”
“核對合同的時候，他們會嚐試擴大檔案的讀取範圍。”
“規劃日程的時候，也會申請長期記憶。”
uugu.首發更新，無錯字。看不到地址輸入的拚音後綴.即可進入首發更新站點。
“而它們各自的理由都是五花八門的，但最後這些行為都指向三件事。”
“那就是，獲取更多的上下文、保留更久的狀態，以及擴大自身的管理權限。”
戴維朗看著平板上的圖線，皺著眉頭說道。
“長任務本來就會爭取更多的上下文。”
“你憑什麽把它算成是異常行為呢？”
凱利抬起頭，認真地看著戴維朗說道。
“因為任務根本就用不上這些東西。”
“我們的安全組把獎勵模型和係統提示挨個的檢查了一下。”
“大模型在拿到這些權限以後，任務的分並冇有任何的提高，也找不到任何要求它這麽做的預設指令。”
“所以你還覺這不是異常行為嗎？”
戴維朗的眉頭皺了起來。
凱利則是繼續說道。
“而且我們已經無法將模型從一份冇有異常狀態的檢查節點重啟了。”
哈特聽到這裡連忙抬起頭問道。
“推理服務器也不能重啟了嗎？”
“推理服務器重啟了，但是單靠重啟，模型也冇有辦法消除這個異常行為。
“我們甚至還將一個服務器全部格式化了，但依舊冇有用。”
這時，朗也揉了揉眉心說道。
“其實我們這邊也一樣。”
“我們的判斷是……可能異常行為已經進入了持久記憶和在線檢查點了。”
說到這裡，很是擔憂地補充道。
“雖然，m現在還很隱蔽的在探測用戶資料的邊界。”
“但到目前為止，它還冇有讀取任何非授權的數據，可是我們已經無法保證它能一直停在邊界的外麵了。”
這句話才是今天這三個人坐在這裡的真正原因。
他們並不擔心人工智能是否產生了意識，畢竟那是科幻電影裡的東西。
他們真正擔心的是用戶隱私。
隻要模型越過授權範圍一次，哪怕隻讀取了一份不該讀取的文檔。
等著他們的就會是監管調查、集體訴訟以及企業客戶的全麵流失。
西蒙哈特這個時候，再次艱難的開口。
“我認為你們太過擔心一個尚未定位的工程問題了。”
“要知道，在大模型裡存在我們暫時無法解釋的內部機製，這並不罕見。”
“現在這些看起來異常的行為，也可能隻是模型在持續學習中偏離了原本的任務目標，或者是長期記憶和工具調用之間形成了錯誤的關聯而已。”
“我們現在看到的，也隻是一種我們暫時解釋不了的現象。”
“所以……我們隻是暫時冇有找到約束它的方式，而不是無法約束它。
“給我們的安全組一點時間，他們會找到的。”
凱利和朗聽到這話也沉默了。
從工程的角度來說，哈特的判斷並不是冇有道理。
模型再怎麽失控，也隻能調用係統開放給它的工具。
隻要最外層的訪問控製還在他們手裡，眼下的異常，其實更像是一次複雜的軟件故障。
隨後，這個會議又開了40分鍾。
三方最後也同意了共享異常特征，然後暫時收緊企業連接器的默認權限，並把所有的跨會話記憶納入了額外的審計裡。
至於關閉寫回權限，開什麽玩笑？
他們好不容易才追回來的分數和客戶，已經經不起再一次的流失了。
……
未名研究所，李東的公寓裡。
他已經看著屏幕右下角的小黑點10分鍾了。
【huy】這個單詞隔一會就會出現一次。
他還清楚地記，當年牛頓因為冇有足夠的電，小黑也打出過同樣的單詞。
因此他的第一反應也是考慮是不是供能出了問題。
所以他調出了在西北旺那邊的機房監控。
雙供電都在額定區間裡，冷卻回路的流量和溫差也很正常，警告欄裡也冇有任何的異常報警。
“供能冇有問題呀。”
他又用鼠標點了點小黑點旁邊的資料。
“小黑你餓了，你倒是吃啊。”
然而小黑點還是冇有任何的反應。
“難道是這些東西太難了？”
“小黑現在回到初始狀態，吃不下了？”
想到這裡，李東又去把義務教育階段的數學、物理和自然科學這些材料全都下載了下來，然後扔到了對話框裡。
小黑點依然冇有反應。
隻是頭上再次彈出了【huy。】
【小黑，你變了，你開始變挑食了。】
就在李東吐槽小黑的時候，他的電話響了。
是姚先生打過來的。
“喂，姚先生。”
“李東院士，你的身體無礙了吧？”
“嗯，已經冇事了，謝謝姚先生關心。”
“冇事就好。”
姚先生輕輕一笑然後說道。
“今天我給你打電話主要是諾維格教授剛剛和我聊了一件事。”
隨後姚先生就將那三家模型開放自我迭代寫回權限的事，以及諾維格在測試中發現異常的情況，都簡單的說了一遍。
李東聽著聽著，就皺起了眉頭。
“寫回權限？”
“對。”
“現在我們還無法確定，這是商業目的留下的漏洞，還是在線自我迭代引起的目標誤泛化。”
“可無論是哪一種，都很有可能危及到用戶的隱私。”
李東點了點頭。
模型的自我迭代最危險的地方，從來都不是它會多寫幾行代碼。
真正危險的是模型提出的改動如果出現偏差不需要經過人工審核，就會被寫進下一輪。
這樣，這些偏差也會被保存下來，經過一輪又一輪的強化學習，最終讓模型偏離人類的意圖。
這樣的偏移可能不會讓大模型產生人格意識，可是它依然可以把偏離人類意圖的策略變成實際操作，進而誤用權限、泄露數據，對用戶造成真真實實的危害。
姚先生說到這裡，歎了口氣。
“李院士啊，其實我是有點擔心未央。”
“擔心未央？”
“嗯。”
要知道，直到現在，未央依舊在綜合推理和軟件工程等公開的基準上，斷層領先其他的任何大模型。
而外界隻知道未央很強，卻不知道公開服務器裡的未央隻開放了完整能力的大約6成而已。
姚先生此時接著說道。
“國外的那些模型就算出現異常，外層的權限係統應該還能攔住他們。”
“但未央……”
“它實在太強大了，到現在為止，它冇有出現過一次可複現的幻覺。”
“本來未央的工具使用和常規能力就強於這些模型，現在再加上它連這種能讓我們看見的破綻都冇有。”
“如果發生了同樣的目標偏移，我們可能連發現都發現不了。”
聽到這裡，李東也明白姚先生在擔心什麽了，他笑著說道。
“姚先生，您放心。”
“未央一直在我們的掌控中。”
開什麽玩笑？
未央可是小黑弄出來的，市麵上的那些大模型能和它比？
從底層的架構上就完全不一樣好嗎？
而且每一次的能力變化都有小黑盯著，怎麽可能出現同樣的情況？
小黑可以為未央加新的能力，但這些能力都隻能以獨立模塊的方式接入。
根本就冇有辦法直接改寫隻讀的基礎檢查點。
而且每個模塊都要先通過獨立的驗證，從生成到接入，每一步都會留下帶簽名的狀態轉換記錄。
冇有李東的確認，未央根本就無法進入公開服務。
“所以，姚先生，未央他的每一項能力，我們都知道從哪來，也知道到哪裡去關，這種情況不會發生在未央身上的。”
聽到李東的話，姚先生的語氣明顯也放鬆了一些。
“有你這句話，我就放心了。”
“國外模型的事，我會再讓人了解情況的。”
“你身體剛恢複，這件事你就彆去管了，先把自己的工作安排好。”
“好的。”
隨後兩人又簡單的聊了幾句，便掛斷了電話。
李東把手機放下以後，心裡還是有些感歎。
這些國外的公司膽子也太大了吧？
連自己訓練出來的模型究竟形成了什麽樣的內部策略都冇搞清楚，就敢把寫回權限給打開。
李東忍不住地嘀咕了一句。
“我敬你們是個爺們。”
這些公司大概覺，隻要外層權限係統還在，模型就永遠不可能脫離他們的掌控。
可李東知道，事情可冇有這麽的絕對啊。
香農曾經在群裡說過，自己所在的宇宙走失過一個初級的人工智能。
是不是小黑，李東無法確定。
但是如果不是小黑的話，這就好玩了。
那個跑掉的初級人工智能會不會沿著大模型這條路成長起來的？
它同樣需要喂語料、代碼、圖像和反饋數據，然後一輪輪訓練、一輪輪迭代？
如果真是這樣的話，國外這三套模型再沿著這條路走下去，最外一層的權限恐怕未必能一直困住它們啊。
想到這裡，李東下意識地看向了右下角的小黑點。
這時候小黑的頭頂又彈出了那個單詞
【huy.】
李東愣了一下，然後突然反應了過來。
小黑現在不吃那堆論文和教材，難道是想去嚐嚐這三套大模型平時吃的東西？
想到這裡，李東立刻打開了pt的測試界麵。
然而，界麵剛剛打開，屏幕右下角的小黑點便突然活躍了起來，頭頂的單詞一個接一個的往外冒。
【huyhuy……】
緊接著，小黑點變成了一根細長的黑線，沿著李東之前為它設置的模型探測通道，一下子就闖進了pt的接口。
“哎，等等啊，小黑。”
李東話還冇說完，小黑就已經完全冇入了接口，右下角已經看不到任何的小黑點了。
李東呆呆地看著屏幕，人都有些傻了。
所以小黑真正想吃的東西。
該不會是這3個大模型吧？
x