电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
鈦媒體 26分鐘前

當(dāng) AI 開始制造 AI

文 | 15Bit

劉慈欣在《鄉(xiāng)村教師》里寫過一段對(duì)話。

外星文明發(fā)現(xiàn),人類沒有記憶遺傳,每一代都需要重新學(xué)習(xí),卻依然發(fā)展出了能夠進(jìn)入太空的文明。它們難以理解,這個(gè)物種怎樣積累知識(shí)。

「他們沒有記憶遺傳,所有記憶都是后天取得的?!?/p>

答案落在一種負(fù)責(zé)跨代傳遞知識(shí)的人身上。

「他們叫教師?!?/p>

這個(gè)故事寫出了人類進(jìn)步的一項(xiàng)成本。前人的知識(shí)能夠留下,后來的人還得花時(shí)間讀懂。論文可以復(fù)制,培養(yǎng)一個(gè)能夠繼續(xù)研究的人,要經(jīng)過很多年。

如果這個(gè)過程能夠被大幅縮短呢?如果參與研究的智能,可以幫助制造下一代更強(qiáng)的智能呢?

今年 9 月 29 日,特朗普簽署行政命令,要求美國(guó)行政部門在法律允許的范圍內(nèi),將官方通信和非法律文件中的 AI 改稱 SI,也就是超級(jí)智能。

對(duì)照文件的定義可以看到,SI 暫時(shí)仍覆蓋現(xiàn)有法律所定義的 AI。改名已經(jīng)發(fā)生,超級(jí)智能是否到來,需要另外的技術(shù)證據(jù)。

相比名字的變化,我更在意 AI 公司正在嘗試的另一件事。

讓今天的 AI,參與制造明天的 AI。

無限自進(jìn)化

過去,模型開發(fā)主要由人來推動(dòng)。研究者提出方法,工程師把它寫成程序,再訓(xùn)練、測(cè)試,根據(jù)結(jié)果決定下一次怎么改。

如今,AI 開始接手其中的一部分工作。

Google 的 AlphaEvolve 用 Gemini 提出候選程序,運(yùn)行并評(píng)價(jià)結(jié)果,再沿著表現(xiàn)較好的方案繼續(xù)修改。Google 披露,它找到的一項(xiàng)優(yōu)化讓 Gemini 中的關(guān)鍵計(jì)算核加速 23%,對(duì)應(yīng)整個(gè)訓(xùn)練時(shí)間縮短約 1%。支撐這套系統(tǒng)的模型,已經(jīng)用到了它幫助發(fā)現(xiàn)的改進(jìn)。

這就出現(xiàn)了一種值得關(guān)注的反饋關(guān)系。模型參與改善訓(xùn)練,改善后的訓(xùn)練條件,又可能幫助開發(fā)后續(xù)模型。

沿著這條關(guān)系繼續(xù)走,就是 RSI,遞歸自我改進(jìn)。

理解它,可以先抓住一個(gè)問題。一次改進(jìn)得到的能力,能不能讓下一次改進(jìn)更容易發(fā)生?如果每一輪都能提高研究效率,模型的進(jìn)步速度也可能跟著變化。

這也是 RSI 讓人不安的地方。

我們習(xí)慣了一代代人接著研究。新人學(xué)習(xí)已有知識(shí),再嘗試補(bǔ)上一點(diǎn)。AI 若能承擔(dān)更多研發(fā)工作,知識(shí)轉(zhuǎn)化為下一項(xiàng)發(fā)現(xiàn)的過程,就可能少等一些人的成長(zhǎng)。

但這里有一個(gè)很容易混淆的區(qū)別。

ASI,也就是人工超級(jí)智能,描述的是一種能力目標(biāo),通常指在廣泛的重要領(lǐng)域超過人類的智能。RSI 描述的是改進(jìn)過程。一個(gè)系統(tǒng)可以在有限任務(wù)上自我改進(jìn),卻遠(yuǎn)沒有達(dá)到超級(jí)智能;超級(jí)智能也未必只能通過 RSI 實(shí)現(xiàn)。

把兩者連起來,能夠得到一種令人興奮、也令人恐懼的設(shè)想。足夠強(qiáng)的 AI 參與研發(fā),研發(fā)得到更強(qiáng)的 AI,再繼續(xù)提高研發(fā)能力。

它能持續(xù)多久?會(huì)不會(huì)越來越快?

現(xiàn)在還沒有答案。Anthropic 在討論這條路線時(shí),也明確承認(rèn),完整 RSI 尚未實(shí)現(xiàn),而且并非必然實(shí)現(xiàn)。

AlphaEvolve 的 1% 改善,已經(jīng)有具體的工程用途。至于無限自進(jìn)化,仍然是需要驗(yàn)證的遠(yuǎn)景。反復(fù)修改同一段程序,也可能很快用盡容易改善的地方。

公司要繼續(xù)往前走,還得解決比生成代碼更難的問題。

新命題

但 " 自我改進(jìn) " 這四個(gè)字里,有一個(gè)問題很容易被忽略。

憑什么判斷,它改得更好了?

我們平時(shí)問 AI,已經(jīng)見過這種情況。同一個(gè)問題,換一種問法,答案可能就變了。它可以把一件事解釋得很流暢,也可能把錯(cuò)誤解釋得很流暢?;卮鸶衲敲椿厥?,和回答更接近事實(shí),之間還有距離。

到了 RSI,這個(gè)問題會(huì)進(jìn)入研發(fā)過程。我們期待 AI 不斷改進(jìn)自己,卻不能把 " 發(fā)生了改進(jìn) " 直接理解成 " 結(jié)果一定是好的 "。

這里可以分開看兩件事。

一種是改進(jìn)自身的能力。例如,同樣的任務(wù)做得更快,原來解不出的題現(xiàn)在能解了。人先定好要求,再檢查它有沒有達(dá)到。

另一種,是改進(jìn)自己尋找改進(jìn)的方法。它開始調(diào)整實(shí)驗(yàn)怎么做、方案怎么選,讓下一次研發(fā)更有效率。人類交給它的工作,由完成一道題,逐漸擴(kuò)大到研究怎樣才能更好地解題。

方法可以變,判斷方法好壞的依據(jù)卻需要說清楚。一套方案省下了時(shí)間,但增加了錯(cuò)誤,我們?cè)覆辉敢饨邮埽克o出了更漂亮的結(jié)果,可別人無法重復(fù)驗(yàn)證,這算不算進(jìn)步?

Klarna 的一次實(shí)驗(yàn)就遇到了這個(gè)問題。據(jù)其工程團(tuán)隊(duì)介紹,他們用 AI 尋找更快的訓(xùn)練代碼,有些候選方案確實(shí)跑得很快,卻無法保證相同條件下得到可復(fù)現(xiàn)的結(jié)果。工程師后來把這項(xiàng)要求加入篩選條件,不能只看速度決定采用哪個(gè)方案。

這個(gè)例子并不意味著 AI 已經(jīng)失控。它說明了一件很具體的事,系統(tǒng)可以找到符合某項(xiàng)指標(biāo)的好辦法,但那項(xiàng)指標(biāo)未必涵蓋了我們對(duì) " 好 " 的全部要求。漏掉的要求,仍然需要有人補(bǔ)上。

如果未來連評(píng)估方法也交給 AI 改進(jìn),問題還會(huì)繼續(xù)往前走。它提出了一套新的測(cè)試,認(rèn)為比舊測(cè)試更有效,誰來確認(rèn)這套測(cè)試沒有放過原來能發(fā)現(xiàn)的問題?如果仍然只讓同一個(gè)系統(tǒng)證明自己正確,我們就需要警惕這種證明究竟有多可靠。

因此,我認(rèn)為,自進(jìn)化可以探索新的方法,但安全邊界不能僅憑系統(tǒng)自己的評(píng)價(jià)就被取消。允許它尋找更快的辦法,不等于允許它自行放寬原來的限制。即便評(píng)估工具由 AI 協(xié)助開發(fā),也需要獨(dú)立檢查和實(shí)際驗(yàn)證。

這也關(guān)系到企業(yè)怎樣講述自己的進(jìn)步。研發(fā)速度、模型分?jǐn)?shù)都容易拿出來展示,可靠性和安全性則往往需要更長(zhǎng)時(shí)間才能確認(rèn)。開發(fā)者既從技術(shù)進(jìn)步中獲益,又參與制定評(píng)價(jià)標(biāo)準(zhǔn),它們的判斷值得聽,但不能成為唯一的判斷。

我們需要關(guān)注的,因而不只是 AI 能不能自己研究 AI。還要看哪些要求始終有效,誰有權(quán)修改這些要求,以及出了問題以后,誰能叫停。

這些事情尚未解決,企業(yè)之間的競(jìng)爭(zhēng)卻已經(jīng)要求它們盡快拿出下一代模型。

賽博狂飆

RSI 還沒有完整實(shí)現(xiàn),為什么公司已經(jīng)開始下注?

因?yàn)樗赡芨淖円患夜鹃_發(fā)下一代 AI 的速度。

過去,模型更強(qiáng),主要可以用來吸引更多用戶。現(xiàn)在,更強(qiáng)的模型還能幫助自己的研究團(tuán)隊(duì)寫程序、做實(shí)驗(yàn)。倘若這些工作持續(xù)有效,公司就可能更早做出下一代模型,再用它繼續(xù)參與研發(fā)。

今天的成果,有機(jī)會(huì)影響明天取得成果的速度。

這讓等待變得難了。

一家公司可以選擇晚一點(diǎn)投入,等技術(shù)成熟再跟進(jìn)。但如果競(jìng)爭(zhēng)者先找到了有效的方法,它等待的這段時(shí)間,可能讓對(duì)方積累起更好的研發(fā)條件。等到路線得到證明,再追趕就未必只差一次模型發(fā)布。

當(dāng)然,提前投入也可能失敗。實(shí)驗(yàn)需要花錢,做得更多,也不保證發(fā)現(xiàn)更多。企業(yè)面對(duì)的是兩種都無法提前算清的代價(jià),投入可能沒有回報(bào),等待可能錯(cuò)過機(jī)會(huì)。

Anthropic 公開討論過類似的困境。它認(rèn)為,放慢研發(fā)能夠給社會(huì)更多準(zhǔn)備時(shí)間;但如果只有部分公司放慢,其他競(jìng)爭(zhēng)者繼續(xù)推進(jìn),結(jié)果可能只是換了一家領(lǐng)先的公司。

擔(dān)心風(fēng)險(xiǎn),與繼續(xù)研發(fā),可以同時(shí)發(fā)生。

一家公司的決定,只能約束自己。它停下來,無法保證競(jìng)爭(zhēng)者也停下來。即使大家都知道這條路線還有很多問題,誰先等待、等待多久,仍然很難達(dá)成一致。

我理解這些公司為什么繼續(xù)投入。誰也不愿意在下一次技術(shù)變化中被甩開。

但我對(duì)這種競(jìng)爭(zhēng)有一個(gè)擔(dān)憂。當(dāng)企業(yè)越來越在意別人走得多快,它判斷一項(xiàng)技術(shù)值不值得推進(jìn)的標(biāo)準(zhǔn),也可能發(fā)生變化。技術(shù)能夠解決什么問題,需要承擔(dān)什么代價(jià),逐漸讓位于一個(gè)更急迫的問題,競(jìng)爭(zhēng)者是不是已經(jīng)開始了?

競(jìng)爭(zhēng)可以推動(dòng)研究,也可能讓企業(yè)在路線尚未得到充分驗(yàn)證時(shí),就不斷追加投入。

RSI 尤其容易放大這種壓力。它承諾的收益,包含了更快取得下一次進(jìn)步的可能。錯(cuò)過一次,企業(yè)擔(dān)心的便不只是少賣一款產(chǎn)品,還有此后的研發(fā)差距。

這種擔(dān)心可以解釋企業(yè)的選擇,卻不足以證明加速一定值得。

我愿意看到 AI 參與制造下一代 AI。許多難題值得研究,也有許多人等不起漫長(zhǎng)的研究過程。如果自我改進(jìn)能夠讓新的發(fā)現(xiàn)更早出現(xiàn),讓更多人用得上這些成果,我們有充分的理由期待它。

《鄉(xiāng)村教師》里的教師,把已有的知識(shí)交給下一代,讓后來的人有機(jī)會(huì)繼續(xù)向前。到了 AI 參與研發(fā)的今天,我們有望縮短這段積累的時(shí)間。但怎樣使用新的能力,什么風(fēng)險(xiǎn)可以接受,仍然需要人來判斷。

我們希望制造出更強(qiáng)的智能,也應(yīng)該對(duì)它提出更高的要求。下一代 AI 到來的時(shí)候,人應(yīng)當(dāng)擁有更多選擇,更有能力決定自己的生活。這樣的進(jìn)步,值得我們加快腳步。

相關(guān)閱讀

最新評(píng)論

沒有更多評(píng)論了

覺得文章不錯(cuò),微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內(nèi)容