新智元报道

编辑：桃子

【新智元导读】ICLR 2025评审已经开始了，今年审稿人高达15000+名，为了提高审稿质量，多个大模型组成的智能体也要参与审稿了。

ICLR 2025审稿正式开启了，预计截止到11月3日。

而且，每位审稿人最多被分配到3篇论文，就是为了让大家深思熟虑去撰写高质量反馈。

与2024年一样，今年论文提交数量再创新高！

ICLR 2025共有11000多篇论文提交，同比增长61%。ICLR 2024同比增长47%。

如此多的论文，究竟该怎么审？如何获得建设性、高质量同行评审？

而且，论文提交数增加，对评审员需求也会增加，往往导致评审质量不一致问题。

更有意思的是，很少发声的Bengio转发了ICLR 2025官博，继续征集不同于学术论文的投稿形式——博客文章。

而且，截止日期就到11月16日。

ICLR顶会每年举办一次，2025年将是第13届年会，于4月24日-28日将在新加坡举办。

今年顶会，着实有些不同。

官方让AI来参与审稿了

鉴于投稿数那么多，ICLR 2025也是想要借AI洪荒之力解难了。

不过，不是让AI完全审稿。

目的是为了，让AI帮助审稿人的评审结果，更具建设性、可操作性。

为此，ICLR使用了多个大模型设计出反馈系统，就是为了将化觉降到最低，提高反馈质量。而且，该系统已经在ICLR 2024评审意见上，进行了测试。

「评审反馈智能体」将就审稿中可能存在的三类问题，提供建议。

ICLR 2025官方组委会通过汇编公众评论，并评估了以往ICLR审稿确定了这三类问题：

- 鼓励审稿人改写含糊的评论，让其对作者更具可操作性；

- 突出文章中可能已经回答了审稿人一些问题的部分；

- 在评审中，发现并处理不专业、不恰当的言论。

如下，是由AI为以上三种类别标记的评论的示例，并给出一个示例反馈。

首先，第一种提升准确性。

以往几届，不论是哪个顶会，都会被作者们吐槽的一个问题是——审稿人太糊弄了。

一句话——这篇论文还应提供更多实验数据，直接给了低分。

而这次，审稿人这种模棱两可的评论，就要被AI「打回去」了。

AI会给审稿人提供一种建议：

如果能提出您认为必须包括的具体基线，将会很有帮助。您是否认为目前的比较缺少某些方法？能否详细说明原因？

其次，内容明确。

当审稿人评论称，「在图4中，Transformer的效率实验没有结果，这是一个关键的限制因素」。

而论文中，可能包含了这个结果，只是审稿人没有注意到。

AI这时便会明确告诉他，图5回答了这个问题。

最后，针对不恰当评论。

比如，审稿人会说，「作者完全不知自己想要做什么」。

AI会建议道，「我们感谢您的评论，但恳请您将评论重点放在论文的具体内容和方法上，而不是对作者发表个人意见」。

AI不会取代审稿人

官方表示了，智能体系统不会取代任何人类审稿人，而且也不会撰写审稿评论，或直接对评论自动编辑。

相反，它将作为一个助手，提供可选的反馈。审稿人可以选择接纳，或者忽略。

与以往的ICLR顶会一样，每一份提交的论文皆由人类审稿人独立进行反馈，最终的「接收」决定，将由ACS、SAS和审稿人做出。

而且，AI将为随机选择的一部分初始评审提供反馈，以便进行比较并评估其影响。

在评审意见对作者公开之前，审稿人将有机会更新他们的评审（如果愿意的话）。

AI一般在提交评审后的几小时内，向审稿人提供建议。对后续的审稿人回应将不再提供反馈，审稿人与反馈系统之间也不会有进一步的互动。

此外，反馈只对评审员和ICLR项目主席可见；不会与其他评审员、作者或区域主席（AC）分享，也不会影响录用决定。

审稿人太多了

据官方统计，今年有15249位审稿人，824位AC，以及71位高级AC。

由于邀请了太多的审稿人，导致许多人尽管收到了电子邮件通知，却没有收到任何评审的论文。

还有人指出，自己看到审稿人的自定义最大论文数（custom-max-papers）设置为0，本应无法分配到论文，但他们却被分配了一篇论文。这是怎么回事？

目前，这些问题还待ICLR去解决。

博客文章，也能提交

延续之前的传统，今年ICLR顶会继续批准提交博客类型的文章。

提交的文章，需要符合以下要点：

- 回顾过去的工作并总结结果，提出新的直觉，或指出一些不足之处

- 对现有的机器学习概念或技术提出新颖的观点或解释

- 从新的角度讨论机器学习中的重要问题，如可复现性

- 分析机器学习和人工智能最新进展的社会影响

- 你尝试过但未成功的有趣研究想法

去年被接收的博客文章，感兴趣的童鞋可作参考。

参考资料：

https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/