谷歌DeepMind創(chuàng)始人之一沙恩·萊格（Shane Legg）認(rèn)為，超越人類水平的人工智能將在2025年左右出現(xiàn)。

而有3位華人博士生，在讓GPT-4充當(dāng)“審稿人”，審閱3000多篇Nature論文和1700多篇頂會(huì)論文后，驚喜地發(fā)現(xiàn)，在提供論文評審意見這件事上，AI有望達(dá)到類似人類審稿人的水平。

這是梁偉欣、張鈺暉和曹瀚成花了5個(gè)月完成的研究。作為美國斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的博士生，他們切身感受到計(jì)算機(jī)領(lǐng)域論文“井噴式增長”帶來的審稿壓力，于是踏出了GPT-4在“審稿”方面嘗試的“第一步”。

10月初，這項(xiàng)研究以論文的形式公布在arXiv平臺(tái)上，目前處于“頂刊在投”階段。論文共同第一作者之一曹瀚成告訴《中國科學(xué)報(bào)》，他希望未來有更多同方向的研究，進(jìn)一步解決AI審稿的局限性。

曹瀚成 受訪者供圖

論文“井噴式增長”，審稿壓力“太難頂”

“我們的初心非常簡單，就是看看大家玩了很久的ChatGPT、大模型在提供論文評審意見上有沒有一些用處，是否能夠緩解人工審稿的壓力。”曹瀚成回憶道。

近年來，隨著科學(xué)的發(fā)展、各國對科研投入力度的加大，科研論文的數(shù)量也快速增長，世界仿佛進(jìn)入了一個(gè)“增量式科學(xué)時(shí)代”。隨之而來的是與日俱增的審稿壓力——許多論文壓根兒找不到人來審，還有許多論文無法及時(shí)獲得有價(jià)值的評審意見。

而在計(jì)算機(jī)科學(xué)這種最“年輕”、迭代最快的領(lǐng)域中，這一現(xiàn)象更為突出。

各種數(shù)據(jù)都顯示，計(jì)算機(jī)科學(xué)論文的增長正呈現(xiàn)“井噴式”的態(tài)勢。如ICLR是深度學(xué)習(xí)的頂尖會(huì)議，在2018年時(shí)投稿量為960篇，而到了2023年，投稿量已經(jīng)漲到了4966篇。而CVPR是計(jì)算機(jī)視覺方面的頂級會(huì)議，今年收到9155篇論文投稿，相比于去年有12%的增長。

不同于生物、物理等需要長時(shí)間積累才“夠格”當(dāng)審稿人的學(xué)科，計(jì)算機(jī)科學(xué)尤其是人工智能方向云集著年輕的審稿人：十幾年前，博士生審稿已經(jīng)成為常態(tài)；而近幾年，本科生也逐漸加入這一隊(duì)伍。這些“資歷尚淺”的學(xué)生對新興領(lǐng)域的了解，甚至比老派的學(xué)者教授更為深入，給學(xué)科的發(fā)展注入了新鮮血液。

對于年輕的博士生梁偉欣、張鈺暉和曹瀚成而言，參與頂級會(huì)議論文審稿已經(jīng)成為他們的“家常便飯”。據(jù)曹瀚成描述，在許多AI會(huì)議上，只要你投一篇論文，就意味著要簽署“同意書”，志愿成為審稿人中的一員。一場會(huì)議下來，除了操心自己的論文，還要審七八篇乃至別人更多的論文，這讓所有參與者感受到壓力不小。

“在我們的經(jīng)歷中，包括身邊的導(dǎo)師、朋友，大家都在抱怨，為什么要審的論文這么多？”曹瀚成告訴《中國科學(xué)報(bào)》。

另一方面，許多論文的作者早已開始對收到的審稿意見“心有不滿”。明眼人都看得出來，這是因?yàn)橛行�審稿意見太不走心了�?/p>

有學(xué)者在社交平臺(tái)上吐槽：很多審稿意見在否定論文時(shí)，僅僅給出簡單的一句“我不相信”或“我不認(rèn)為”，卻沒有提出具體的論據(jù)或參考。

學(xué)者在社交平臺(tái)上吐槽

這位學(xué)者還舉出例子，以反映評審有多不走心：“這篇論文的優(yōu)勢是X，Y，Z；另外，它也有一些缺陷，分別是X，Y，Z……”

也有學(xué)者在知乎上吐槽：

學(xué)者在知乎上吐槽

“有時(shí)能明顯感覺到審稿人沒有認(rèn)真讀我們的文章，并且，最后論文的收錄與否好像很隨機(jī)。” 曹瀚成說。他將審稿質(zhì)量下滑的原因再次歸結(jié)于論文數(shù)量的“井噴式增長”，致使審稿人應(yīng)接不暇。

一次閑聊中，梁偉欣、張鈺暉和曹瀚成三人不約而同地想到：或許最新的AI技術(shù)，可以幫助打通審稿難問題的“任督二脈”。

就這樣，三人開始著手驗(yàn)證這個(gè)“很容易被想到”的想法。

梁偉欣 圖源梁偉欣個(gè)人網(wǎng)站

“AI在主要審稿意見上與人類保持一致”

他們進(jìn)行的第一項(xiàng)大規(guī)模驗(yàn)證是：使用GPT-4對3096篇Nature期刊論文與1709篇ICLR機(jī)器學(xué)習(xí)會(huì)議論文進(jìn)行“AI審稿”。

這是一項(xiàng)“宏大”的工程，但操作的思路卻很清晰：首先設(shè)計(jì)一個(gè)自動(dòng)化的框架，將一篇篇論文的PDF版本輸入其中，然后為GPT-4構(gòu)建特定的提示，讓它生成對每篇論文的反饋。

“在對比GPT-4與人類給出的審稿意見后，我們得到了一些有趣的結(jié)論。”曹瀚成說。

首先，GPT-4給出的審稿意見與人類的意見高度重合；其次，GPT-4可以成功識別出論文中比較重大的問題，并在重大意見上與人類審稿人保持一致。以上兩點(diǎn)表明，AI已經(jīng)具有一定的準(zhǔn)確性和潛在的實(shí)用性。

除此之外，GPT-4可以產(chǎn)生“非一般反饋”，也就是說，它不再局限于“走馬觀花”地產(chǎn)生通用于大批論文的反饋意見，而是針對每篇論文有了個(gè)性化的反饋�；蛟S，未來的AI真的可以像人類一樣實(shí)現(xiàn)“個(gè)性化思考”。

研究人員還發(fā)現(xiàn)了AI與人類的“互補(bǔ)性”——AI與人類給出審稿意見時(shí)的側(cè)重點(diǎn)有所不同，如，在論文的研究意義與新穎性方面，AI發(fā)表評論的概率是人類的7-10倍。這種差異凸顯了未來AI與人類合作的潛在優(yōu)勢。

就像深度學(xué)習(xí)“三巨頭”之一，圖靈獎(jiǎng)得主、美國紐約大學(xué)終身教授楊立昆（Yann LeCun）所說的那樣：“人工智能不是消滅人類創(chuàng)造力的力量，而是增強(qiáng)人類創(chuàng)造力的力量。”

學(xué)科交叉，助力5個(gè)月“又快又好”完成研究

除了直接使用技術(shù)化手段將論文“喂給”GPT-4，這些年輕人還進(jìn)行了另外一項(xiàng)非常重要的研究：對308名學(xué)者進(jìn)行了用戶調(diào)查，看看這些學(xué)者如何看待AI給出的反饋。

張鈺暉 圖源張鈺暉個(gè)人網(wǎng)站

這第二項(xiàng)研究，離不開團(tuán)隊(duì)中偏文科、社會(huì)學(xué)領(lǐng)域人員的靈感與努力，而學(xué)科交叉的助力，也是整篇論文能在5個(gè)月之內(nèi)“又快又好”完成的秘訣。

“我們研究的問題本身是一個(gè)交叉性非常強(qiáng)的問題，團(tuán)隊(duì)中各位作者擁有文理的不同學(xué)科背景，大家各有分工。這第二項(xiàng)研究是用戶測試，就是收集使用者的主觀感受，包括AI審稿是否會(huì)對用戶產(chǎn)生行為上的影響、情感上的影響，或數(shù)據(jù)隱私等倫理范疇的擔(dān)憂。”曹瀚成如是說。

曹瀚成表示，用機(jī)器解決問題，最終真正的落腳點(diǎn)還是在“人”，與“人”打交道的質(zhì)性研究法是社會(huì)學(xué)家的強(qiáng)項(xiàng)。通過問卷的設(shè)計(jì)和發(fā)放，研究團(tuán)隊(duì)能真正了解，未來的使用者對AI審稿有何見解。

調(diào)查發(fā)現(xiàn)，無論是經(jīng)驗(yàn)豐富的研究人員還是新手，均對GPT-4生成的審稿意見有相似的滿意度。有41.9%的被調(diào)查者認(rèn)為GPT-4比許多人類的審稿意見更有幫助，50.5%的被調(diào)查者表示愿意重復(fù)使用該評估系統(tǒng)。

有被調(diào)查者認(rèn)為，比起所謂的“領(lǐng)域權(quán)威”和人類審稿人，他們更能從AI給出的意見中獲益。對于一些來自傳統(tǒng)貧困地區(qū)的研究人員，他們的論文更可能被期刊退稿，得不到同行評審的資源與機(jī)會(huì)，AI審稿對他們尤其有幫助。

還有被調(diào)查者評價(jià)道：“AI強(qiáng)調(diào)了一些人類審稿人沒有指出的局限性，作為作者，我們意識到了這一點(diǎn)，并對此有所期待，但最后將其指出來的不是人類，而是AI，所以這很有趣。”“GPT建議我進(jìn)行可視化，還要求解決數(shù)據(jù)隱私問題。這兩點(diǎn)都很重要，人類審稿人卻忽略了。”

這些被調(diào)查者還發(fā)現(xiàn)了AI審稿存在的局限性。最主要的局限性有二：產(chǎn)生的反饋有時(shí)模糊、不具體，以及無法提供“可操作”的改進(jìn)建議。目前來看，人類專家的反饋仍然是嚴(yán)格評審的基石。

“我們的研究并非要用AI取代人類審稿人，而是希望對論文作者能有所幫助，畢竟AI永遠(yuǎn)也不會(huì)取代人類的高質(zhì)量審稿意見。”曹瀚成笑著說，“距離電影中真正的‘通用型人工智能’，我們還有很長的路要走。誰也無法預(yù)測《西部世界》是否會(huì)變成現(xiàn)實(shí)。”

參考資料：

1.https://mp.weixin.qq.com/s/grLKyTZxpFhATJmAXKgcAA

2.https://arxiv.org/abs/2310.01783

3.https://mp.weixin.qq.com/s/edGthcjU43axKMpJbB8Alw