自2013年以来,向同行评审期刊提交的稿件年增长率达到了的6.1%,撤稿率也大幅上升(Publons,2018)。为了改进审稿过程,节省时间,同行评审这个依赖人工决策的传统领域,出现了AI的身影。
那么,AI在多大程度上帮助编辑和审稿人进行决策?我们的稿件被拒和AI有没有关系呢?
1 常见的AI协助审稿工具
在防止手稿剽窃领域,已经有比较成熟的工具,作者们都很熟悉。除此之外,还有一些其他的工具:
1) statcheck
statcheck由方法学家Michèle Nuijten及其同事开发,用于评估手稿统计报告的一致性,包括相关性、t, F, χ2, Z检验等。重点检查p值。只有完全按照APA指南报告结果时,statcheck才能读取这些结果。
Psychological Science 期刊会在初审时把所有来稿都用这个工具检测一遍,其他出版商更倾向于在同行评审中使用这个工具。
2) Penelope.ai
主要用来检查手稿的结构和参考文献是否符合期刊的要求。
3) UNSILO
UNSILO通过进行语义分析处理,自动提取关键概念,总结手稿内容供编辑阅读和决策。UNSILO的销售总监Neil Christensen认为,这一方法得到的结果比作者自己提交的关键词能更好地概述文章内容。
UNSILO还可以显示作者观点是否与先前发表的论文相似,可用于鉴别抄袭行为。
4) StatReview
主要用于检查手稿中统计数据和方法的正确性,可以评估来自多个科学领域的不同报告风格的统计数据。StatReview还可以识别数据欺诈行为,判断作者是在玩一些统计规则,还是在完全编造数据。如果风险偏高,编辑可以进一步查看细节。
5) 中国国家自然科学基金
在评审过程中,系统会抓取在线科学文献数据库和科学家个人网页,收集潜在评审人的出版物或研究项目的详细信息,使用文本的语义分析来比较资助申请和评审人信息,并确定最匹配的评审人。
可以看到,目前的AI工具在很多方面帮助编辑和审稿人提高了工作效率。为了避免被拒稿,作者们不仅要注意手稿的重复率,在数据报告、投稿材料方面也需要上心。
2 学术界的研究&观点
Checco, A等人在2021年发表了一项关于AI和同行评审的研究,总结了AI工具在同行评审进程中的不同作用:
AI-assistedpeer review. Humanit Soc Sci Commun 8, 25 (2021)
Checco, A建议,在同行评审之前利用AI检查并反馈浅层问题(比如手稿格式和可读性问题),有助于编辑和审稿人专注在研究内容上。statcheck的开发者Nuijten也认为:“……自动化很多事情是有意义的,因为同行评审中的很多事情都是标准的。”
不过,Publons的联合创始人Andrew Preston认为:“算法还不够聪明,不能让编辑仅仅根据它们提取的信息接受或拒绝一篇论文”,“这些工具可以确保一份手稿符合标准,但它们绝不会取代审稿人在评价方面所做的工作。”
另一个值得关注的问题是,虽然AI系统可能会避免同行评审中的社会文化偏见,但它也会带来新的偏见。英国出版顾问DavidWorlock说:“如果你建立一个基于期刊过去已接受的文章的决策系统,它就会有内在的偏见。”
总的来说,AI在同行评审领域更适合半自动化模式——为人类的决策提供信息和参考意见,而不是单独决定结果。
最后,提醒大家做研究、写论文一定要仔细些,投稿前认真阅读作者指南,别被AI纠出不该犯的错误哦~
扫描下方二维码,关注【埃米编辑】微信公众号,获取更多SCI论文写作资料。
编译/婷婷
参考资料:
[1] Checco, A., Bracciale, L., Loreti, P. et al. AI-assisted peer review. Humanit Soc Sci Commun 8, 25 (2021). https://doi.org/10.1057/s41599-020-00703-8
[2] https://www.nature.com/articles/d41586-019-01517-8
[3] https://www.nature.com/articles/d41586-018-07245-9
图片来自网络