大概也是「近水楼台先得月」,AI 顶会的审稿工作得到了 AI 的协助。首先,主办方使用了 Toronto Paper Matching System (TPMS),在此之前 TPMS 也被应用于其他多个会议的投递论文分配工作,它通过对比投稿论文和审稿人研究工作之间的文本,来计算投稿与审稿人专业知识之间的相关性。这个筛选过程是匹配系统中的一部分,期间审稿人也可以主动争取自己希望审阅的论文。
TPMS 架构,该系统可通过会议管理系统在线使用。
同时还有方法更加优化的 AI 软件:论文审阅平台 OpenReview 开发了一种「亲和力评测」系统,借助了神经网络「Spectre」来分析论文标题和摘要。OpenReview 和麻省大学阿默斯特分校的计算机科学家 Melisa Bok 和 Haw-Shiuan Chang 表示,包括 NeurIPS 在内的一些计算机科学大会将在今年把亲和力评测系统与 TPMS 结合使用。
AI 会议的组织者希望通过提高匹配质量来推动同行评审和出版论文的质量。2014 年的一项研究表明这仍有进步空间,作为测试,当年 NeurIPS 中 10% 的投稿论文分别有两组审稿人审阅,在一组中被全部接收,另一组仅接收了 57%。影响到结果的因素可能有很多,但可以确定的是,对于具体某一篇论文来说,至少某一个小组是缺乏评估的专业知识的。
为了提升匹配质量,CMU 的计算机科学家 Ivan Stelmakh 开发了一种名为「 PeerReview4All」的算法,通常匹配系统会最大程度地提升论文和审稿人之间的平均亲和力,但有可能出现「厚此薄彼」的现象。PeerReview4All 旨在最大程度地提升最差匹配的质量,注重增加该过程的公平性。
Ivan Stelmakh 在去年的 ICML 大会使用了 PeerReview4All 进行试验,并在今年的 AAAI 大会上介绍了这一结果。他表示,该方法在不损害平均匹配质量的情况下显著提高了公平性。