电竞比分网-中国电竞赛事及体育赛事平台

關于ZAKER Skills GEO服務 合作
鈦媒體 前天

陶哲軒尷尬了,哈佛研究顯示 AI 審稿比專家強

文 | 字母 AI

AI 現(xiàn)在連審論文,都比人類專家更厲害了。

10 月 22 日,哈佛大學的兩位研究人員發(fā)表了一篇題為《AI 審稿意見全面勝過高水平人類同行評審》的論文,對比了 134 組 AI 與人類撰寫的審稿意見。結果,AI 在七個評價維度上全面領先。

研究人員還請來三位曾經(jīng)擔任重要學術期刊主編的專家進行盲評。30 次比較中,他們有 26 次認為 AI 的審稿意見更好。

在接受核查的具體論斷中,AI 審稿意見的事實錯誤比例只有 5.5%,人類卻高達 15.9%。

這對最近忙著跟 AI 公司較勁的數(shù)學家們來說,可能不是什么令人愉快的消息。

就在上個月,陶哲軒等 25 位菲爾茲獎得主還聯(lián)名批評 AI 公司急于宣布數(shù)學突破,強調數(shù)學研究需要嚴謹?shù)尿炞C和審查。

數(shù)學家們還在要求 AI 接受嚴格的學術檢驗,另一邊,人類可能連審稿這份工作都要被 AI 搶走了。

人類一敗涂地

慘敗的審稿人們可不是什么隨便招來的志愿者。

研究使用了 124 篇學術論文,以及哈佛大學定量社會科學研究所旗下 rapidPeer 服務提供的 134 份人類審稿意見——這是一項付費的專業(yè)審稿服務,審稿人由領域專家挑選,來自不同的研究機構,而且報酬不低。

他們的表現(xiàn)原本也很不錯:在接受調查的 74 位論文作者中,有 88% 認為收到的審稿意見質量很高,其中 60% 給出了最高檔評價。

研究人員使用 Anthropic 的 Claude Opus 4.8 生成審稿意見,再請 OpenAI 的 GPT-5.5 擔任 AI 評委,在不知道意見由誰撰寫的情況下,比較人類與 AI 的審稿質量。

結果是,人類輸?shù)梅浅氐住?/p>

即使不允許 AI 聯(lián)網(wǎng),只給它和人類一樣的審稿指南,在 134 組對比中,GPT-5.5 也全部選擇了 AI。

換用專門優(yōu)化的提示詞、開放聯(lián)網(wǎng)后,134 組比較中有 132 組明確判 AI 獲勝,剩下兩組結果不確定,人類依然沒有取得任何勝利。

具體來看,在補充參考文獻、發(fā)現(xiàn)論文弱點和研究方法三個維度上,AI 的勝率達到 100%;理論創(chuàng)新、論述框架、表達質量等方面,勝率也都超過 90%。

研究人員甚至檢查了 AI 引用的 651 個帶有 DOI 或 arXiv 編號的參考文獻,發(fā)現(xiàn)全部真實存在,沒有任何一條是編造的。

這時候可能會有人說,AI 審稿 AI 評,這不公平,誰知道它會不會偏袒同類?指不定就在審稿意見里藏了什么暗度陳倉的線索。

于是他們請來了開頭提到的三位前學術期刊主編,分別進行了 10 次盲評。結果,在 30 次比較中,人類評委有 26 次選擇了 AI。

這下,就連人類評委都站到了 AI 那邊。

研究做到這里,作者們甚至開始認真討論:學術期刊或許可以取消常規(guī)的人類同行評審,讓 AI 承擔大部分審查工作,只留下人類編輯負責最終決定,必要時再請專家介入。

10 月 23 日,該論文發(fā)布后,斯坦福大學政治學副教授徐軼青公開表示,學術界應該重新考慮人類專家在審稿中的角色。在他看來,人類專家仍然需要參與,但已經(jīng)沒必要繼續(xù)親自撰寫動輒 1500 字的長篇審稿意見了。

就連那些禁止使用 AI 審稿的期刊,也到了該重新審視自身規(guī)定的時候。

看來,人類審稿人的工作,已經(jīng)有人想要交給 AI 了。

AI 審稿,認真到煩人

那么問題來了:AI 到底是怎么把人類審稿人比下去的?

答案可能非常簡單——它壓根就不會累。

審稿是一件相當費神的工作。審稿人需要通讀論文,檢查研究方法、數(shù)據(jù)、圖表和論證,還得尋找作者可能遺漏的相關文獻。

論文作者甚至在介紹實驗時,順手吐槽了一些傳統(tǒng)期刊審稿人:有些人論文才看到第三頁,就開始尋找足以否定論文的致命缺陷,好讓自己不用繼續(xù)讀下去。

相比之下,AI 顯然沒有急著下班的需求。

圖片由 AI 生成

這次實驗中,研究人員將 Claude Opus 4.8 的推理強度調到最高,還專門設計了一套審稿提示詞,允許它聯(lián)網(wǎng)查找資料。

結果發(fā)現(xiàn),AI 平均每審一篇論文,就要進行 12.4 次聯(lián)網(wǎng)搜索。

不過,認真的效果也相當明顯。在不聯(lián)網(wǎng)、使用普通審稿指南的情況下,AI 在補充參考文獻方面的勝率為 62%;換用專門優(yōu)化的提示詞并開放聯(lián)網(wǎng)后,勝率直接提高到了 100%。

今時不同往日。

今年 4 月,學術期刊《Organization Science》的編輯團隊還發(fā)表過一項研究,分析了過去幾年收到的一萬多份審稿意見,發(fā)現(xiàn)大量使用 AI 的審稿報告反而更難讀,討論的問題也更加狹窄。

當時研究人員甚至認為,AI 生成的審稿意見還沒有達到人類審稿的水平。結果不到半年,哈佛就拿出了另一份成績單。

但 AI 太認真,偶爾也會讓人崩潰。

論文作者就舉例,AI 有時候甚至會吹毛求疵到荒唐的程度:明明知道 2+2=4 是正確的,卻還要指出作者沒有定義加號是什么意思。

人類審稿人可能嫌論文毛病太多,AI 倒可能 " 找茬成癮 ",沒毛病也給挑點錯出來。

何況 AI 的能力還在不斷進步。

以前是論文作者需要向人類審稿人證明,自己的研究值得發(fā)表;以后可能就輪到人類審稿人向學術期刊證明,自己為什么還值得花錢請了。

數(shù)學家們可能有點尷尬了

最近,數(shù)學家和 AI 公司的戰(zhàn)場,已經(jīng)從驗證數(shù)學證明一路打到了同行評審。

9 月 11 日,陶哲軒等首批 25 位菲爾茲獎得主聯(lián)名發(fā)聲,批評 AI 公司把破解數(shù)學難題當成模型能力競賽,急著宣布重大突破,卻沒有給數(shù)學界留下足夠的時間驗證、理解和討論。

9 月 29 日,數(shù)學與 AI 咨詢小組(AGMAI)又專門發(fā)布指南,強調已經(jīng)被人類數(shù)學家充分理解的 AI 研究成果,應該按照傳統(tǒng)學術規(guī)范發(fā)布論文,接受期刊同行評審。

數(shù)學研究有一套延續(xù)多年的規(guī)矩。證明寫出來了,還得經(jīng)過專家檢查、同行討論,最后才能逐漸成為學術界公認的知識。

AI 公司可以興高采烈地宣布自己又攻克了一道世界難題,但數(shù)學界認不認可,就是另一碼事了。

還有一部分數(shù)學家,甚至連審稿人的椅子都不想讓 AI 碰。

10 月 7 日,一個名叫 " 人類數(shù)學協(xié)會 "(AHM)的組織公開批評 OpenAI 一次性發(fā)布 700 多份數(shù)學研究文件,認為這更像是在展示力量,而非認真做學術。

該組織甚至明確要求成員不得發(fā)表 AI 生成的數(shù)學論文、評論,連審稿報告都不行。

就在數(shù)學家們努力給 AI 立規(guī)矩的時候,哈佛的兩位研究人員卻把人類和 AI 審稿人一起送上了考場。

結果我們看到,AI 不僅開始挑戰(zhàn)人類寫論文的能力,現(xiàn)在連挑論文毛病,都比不少專業(yè)審稿人厲害了。

當然,哈佛這項研究涉及的主要是社會科學論文,尚且無法證明 AI 已經(jīng)能夠獨立審查復雜的數(shù)學證明。數(shù)學家要求嚴格驗證,本身也沒什么錯。

但事情發(fā)展到這里,多少顯得有些荒誕。

數(shù)學家們還在強調,AI 不能繞過人類同行評審這道門檻。

AI 卻已經(jīng)開始研究,能不能把守門的人也換掉了。

相關閱讀

最新評論

沒有更多評論了

覺得文章不錯,微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內容