0
作者 | 杏花
編輯 | 琰琰
今年4月，國際計算語言學(xué)協(xié)會（ACL）提出滾動審稿機制（ACL Rolling Review，ARR），以提高ACL系列會議的審稿效率和質(zhì)量，并優(yōu)化當前ACL會議的自由審稿流程。
根據(jù)官方說明，ARR使用OpenReview作為審稿平臺（審稿意見不會公開），作者可在每個月的15號（截稿日期）之前，將論文提交到統(tǒng)一的ARR審稿池，由Action Editor（AE）處理，并且允許論文修改后重新提交（與期刊類似）。整個流程會在每個月截稿后的30-35天左右完成。
近日，ACL在官網(wǎng)上發(fā)布報告，從論文提交數(shù)、審稿人數(shù)量和審稿周期三個方面匯報了目前ARR機制的使用效果和需要解決的問題。
1、論文提交數(shù)
報告數(shù)據(jù)顯示，截止9月OpenReview平臺的投稿論文已經(jīng)達到312篇。這些論文已匿名，并通過機器人ARRPreprints在推特上進行了發(fā)布。截至目前，ARRPreprints賬號有343個關(guān)注，與同類賬號相比略少。大多數(shù)推文的點擊量約為100-200次，也有少數(shù)推文的點擊量高達1.5萬次。
2、審稿池
論文審核過程涉及審稿人和Action Editor（簡稱AE，在大多數(shù)會議中通常稱為Area Chairs）。下圖顯示，ARR審稿池中大約在1,200名審稿人，其中AE為100-150名。據(jù)悉，ACL 2021有60個SACs, 323個ACs以及3685位主要審稿人，共同處理3,350篇論文。
3、審稿周期
ARR的最初目標是在35天內(nèi)完成所有的審稿和元審稿（meta-review）流程：每個月截稿后，AE需要在7天內(nèi)處理最多5篇論文，確定論文是否存在利益沖突（COI），并滿足基本格式和要求。經(jīng)過推薦審稿人的二次評審后，AE在35天內(nèi)閱讀審稿意見并與審稿人討論，撰寫最終的meta-review。
需要說明的是，ACL 2021從提交到討論（不包括元審稿時期）需要51天，是ARR審稿和元審稿的兩倍；從提交到錄用通知需要92天，是ARR目標時長的3倍。
從結(jié)果上來看，雖然ARR機制還沒有達到承諾的評審周期，但還是明顯壓縮了的評審時間。
下圖顯示，少數(shù)審稿人在20天內(nèi)完成了審稿，大部分人在30天左右完成審稿，還有四分之一的人需要40天才能完成審稿，也不乏個別審稿人用了90天。相比于ACL 2021，絕大部分人能夠在51天之前完成。（兩條虛垂直線分別代表ACL 2021的討論和通知日期）。
(注：這張圖表不包括24個尚未完成的審稿，其中大多數(shù)都是8月截止日期前的論文)
下圖為論文從提交到元審稿結(jié)束所用的時間，大部分都是ACL 2021審稿結(jié)點之前完成的。
ARR機制只負責(zé)審稿，不決定論文是否會被接收，通過ARR審稿的論文及評審意見將被提交至對應(yīng)的會議或Workshop。下圖顯示，目前已有26篇論文通過ARR審稿并提交到了主會議。
針對以上數(shù)據(jù)，報告總結(jié)了ARR機制目前面臨的挑戰(zhàn)，以及對應(yīng)的解決方案。
ARR目前面臨的挑戰(zhàn)仍是審稿不及時的問題。截至2021年9月，還有一篇6月的論文沒完成3輪審核，非規(guī)定時間內(nèi)完成審稿的情況幾乎每個月都有發(fā)生。造成這種現(xiàn)象的原因，一方面出自技術(shù)層面和工作失誤（例如沒有及時發(fā)送提示），但主要還是審稿人對審核工作不夠積極。對此，報告提出了兩點解決方案：
改善AE和審稿人的分配，并自動提醒AE和審稿人及時審核。
聘用緊急審稿人和緊急AE，在審稿人和AE未能完成工作時輔助審核。
AE面臨的最大難題就是審稿人拒絕審核，這也是審稿工作不及時的主要原因。之所以會出現(xiàn)這種情況，可能有以下兩點原因：1. 部分審稿人認為分配的論文質(zhì)量太差，主觀不愿意評審；2. 審稿人專業(yè)方向與論文不夠匹配，短時間無法完成。
一般來講，審稿人在提交截止日期前可以申請免除審核，通過后可以拒絕評審。報告提出計劃取消申請環(huán)節(jié)，讓審稿人沒有理由拒絕審核。此外，為了方便審稿人與AE之間交流和溝通，來往電子郵件將顯示AE和審稿人的姓名和身份。
ARR面臨的技術(shù)障礙是將OpenReview系統(tǒng)擴展到一個新的應(yīng)用。在許多大型會議上，OpenReview已成功使用了好幾年，包括NeurIPS和ICML。但在這些使用案例里，每個審稿池只有一個截止期限。而ARR每個月都有截止交稿日期，因此，OpenReview每個月都需要創(chuàng)建一個全新的會議。ARR工作人員需要把前一個月的審稿人和AE復(fù)制過來，這大大加重了他們的編輯工作。比如說，不可能在一個地方跟蹤所有缺席的審稿人和元審稿人，同樣地，目前還不可能在幾個月內(nèi)跟蹤和平衡總體審稿負載。對此，ACL計劃改進審稿流程，加強與OpenReview開發(fā)人員的密切合作，打造一個更流暢、簡便的審核平臺。
ACL 2022 引入ARR機制
ACL 2022 和NAACL 2022已正式引入ARR機制。隨著ARR系統(tǒng)的引入，論文投稿和審稿流程也發(fā)生了一些變化。ACL 2022程序委員會已在博客中對ACL 2022的投稿細節(jié)進行了說明：
關(guān)于ACL 2022的截稿時間
提交到ARR的截止時間：2021年11月15日
作者如果要想投稿至ACL 2022，則必須在11月15日前提交至ARR，不過作者也可以在9月15日或者10月15日提交到ARR，以盡早獲得審稿意見并對論文加以修改。
提交到ACL 2022的截止時間：2022年1月7日
作者需要將已經(jīng)經(jīng)過ARR審稿后的論文、審稿意見、綜合審稿意見提交到ACL 2022。同時，作者可以附加一個“向高級領(lǐng)域主席的備注信息”。）
錄用通知時間：2022年2月20日
撤稿截止時間：2022年2月23日
ACL 2022 將于 2022 年 5 月 22 日至 27 日在愛爾蘭都柏林召開。值得注意的是，今年ACL 設(shè)置一個特殊主題：語言多樣性：從低資源語言到瀕危語言。官方表示，ACL 2022 將與 ARR 合作，為這一特殊主題選擇 Action Editor 和審稿人，并為這一主題的論文提供一種特殊的審稿形式。據(jù)悉，特殊主題接收的論文將以 oral 或 poster 的形式呈現(xiàn)，還將評選出一個最佳專題論文獎。
更多細節(jié)可參見官方頁面：https://www.2022.aclweb.org/post/acl-2022-theme-track-language-diversity-from-low-resource-to-endangered-languages
相關(guān)鏈接：https://aclrollingreview.org/status-report/
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
