点击上方“视学算法”，选择加"星标"或“置顶”
重磅干货，第一时间送达
作者丨欧阳万里@知乎
来源丨https://zhuanlan.zhihu.com/p/348428483
编辑丨极市平台
本文仅供学术参考，如若侵权请联系后台做删文处理
本文有感于本次CVPR结果出来后不少人抱怨reviewer太harsh。
非常荣幸作为这次CVPR的AC，先给个自己的统计：
共分到约30篇文章（方向不完全一样，大约3-4个方向，但是一个方向的文章估计在不同AC手里）。总体文章的分数不高。平均分小于3的小于10%，平均分为3的只有约10%（注：2分为weak accept，3分为borderline）。根据往年经验，我现在的情况属于250 AC中"about 36 AC's have accept rates from .08 to .17"的。说实话，我是希望中的paper越多越好。所以每个在我手里的文章，我也会尝试去珍重author的意见。只是一个不争的事实是，如果reviewer的给分太低，则掰回来的概率自然低（这个相信大家也收到了PC关于此事的email）。我这边的reviewer多数有过4篇以上文章发表经验的。所以reviewer的quality本身应该不属于不可理喻那种。从AC的观点看来，绝大多数comments是合理的。
总结一下自己的看法：
1.近年来CV conference越来越难中是众所周知的。这一次感觉比以往更难中文章（据我个人有限经验，也可以说是目前为止最难得一次）。这其中可能有两个原因（不止这两个，也有其他的，无法说全，见谅）：(a）16/17年开始不少人觉得看到部分中了的文章质量不高（觉得这种文章居然可以中），所以想提高质量，于是要求自然升高。(b） 随着这些年进入CV的研究者变多，总体而言能带学生发表好论文的老师越来越多，使得文章质量相对好的总量在上升。这导致以前能中的idea现在被reject。而被reject的文章再次投稿的数目也很多，这里面不乏质量好的文章，进一步提高了本身文章的质量。所以现在对于文章写作和实验的要求比以前确实高了不少。
2. 误区：非常少数reviewer以为给别人低分，自己的相对低分的文章就能中，其实不是这样。根据我自己这几年投稿和审稿经验，历年来文章接收的分数基本没有太大变化。所以低分的文章还是很不容易被接收。作为AC和reviewer我从来没有收到要控制今年文章要大概多少篇accepted的信息。相反，如果各位reviewer对你手里的文章好一点（当然quality还是要够），在不远的明天你的文章在别人手里的时候你才能期待别人对你好一点。我有个以前的学生这次拿到比较差的分，然后报复性的给了别人一个strong accept给别人，这种以德报怨珍视好文章的行为还是深以为然的（当然，前提是文章要真正有可取之处）。所以不建议刻意给文章低分，否则CV/AI conference的热度下降拐点可能就在不远了。作为CV researchers我们希望的应该是这个领域的繁荣而不是凋零。
3. 作为author，谨慎的预测则是后面投CV会议会变得非常不容易，在此情况下，可以选择（a）弃坑，换一些更有意思的方向；（b）继续在坑里待着（目前多数人的选择），那么既然目前还在这个领域做，就尝试把自己的下一个submission做得更好。包括实验、文章写作、idea方面。不管本次文章分数是高还是低，下一次一定要有这个心理准备，那么文章命中率还是会提高的。当然继续在坑里待着的另外一个选择就是投期刊，reviewer通常更senior，更容易得到高质量的建议。切忌看见某些中了的文章质量不高就觉得自己的文章下次不太好也能中。大家还是要坚信是金子总会发光，好的文章总会被大家认可的。比如Arcface虽历经磨难，但终究还是在人脸识别被认为是一个有效的loss。再如陆超超的Gaussian Face被CVPR reject却在AAAI拿到Outstanding Student Paper Award。
4. 当你的文章遇到多个reivewer。多数人是3个reviewer。但有可能有4个甚至更多的情况。我解释一下我这边一个case，有篇文章已经有了2个reviewer comments，但是有一个reviewer在due date前没有给comments，我发几次邮件也没回复（因为第一次做AC没经验，期间没能删掉这个reviewer）。所以就联系了两个不太熟悉的紧急reviewer，意料之外的是：没有回复我email的reviewer最终给了comments，另外两个紧急联系的也给了（也不好让人家不要给comments了）。于是这个文章就出现了5个reviewer（对这个文章作者非常抱歉）。相信其他AC也是类似的着急了多找了几个紧急reviewer的情况。
5. 一些关于reivewer training的信息：CVPR21 Training page for ACs and referees（http://luthuli.cs.uiuc.edu/~daf/CVPR21Training.html）。摘抄一些这里面写的一些comment reviewing errors和自己的评论：
The novelty fallacy
• Script:
-----• Referee: this shouldn’t be accepted because it isn’t novel
---------• no because?
-----• Referee: this should be accepted because it is novel
---------• hard to take seriously
-----• Errors:
---------• many important things aren’t all that novel
---------• small but clever adjustments to SOTA
-----• many novel things aren’t all that important
----------• AND most really silly things are novel
评： 说实话，每一个文章（包括oral和best paper）都有reject的理由，而建议reviewer在review的时候想想的是这篇文章的Novelty是否值得CV community阅读。如果非常好的idea，只是一点瑕疵（比如某个图没画好，文章某个章节没写好），而reviewer可以通过comments帮助作者改过来的，则接收该文章也是一个不错的选择。
Intellectual laziness
-----• Script:
---------• Referee: Doesn’t beat SOTA so it must be rejected
---------===• No: you have to judge whether it is worth reading
---------===• and this isn’t the same thing
---------• Referee: Beats SOTA so it must be accepted
---------===• No: you have to judge whether it is worth reading
---------===• and this isn’t the same thing
---------• Referee: Thm V looks wrong
---------===• No: it’s either right or wrong, and you should know which
---------• Referee: (finds tiny error and rejects)
---------===• No: is this error important?
---------===• Safe behaviour: Use your skill and judgement
评： 在公司的工程项目和各种会议组织的竞赛中对于performance要求高无可厚非。但是不见得要把这件事情泛化到所有文章。如果一个idea够新，则应该允许这个方法刚开始的时候结果不用比SOTA好。比如刚开始的CNN不见得比非CNN的pedestrian detector/face classifier/image classifier/person re-id方法好，但是现在是什么情况大家都知道。再比如刚开始的Tranformer for detection (DETR)不见得比最好的 non-transformer detector好，但这并不意味着这些文章就该rejected。关键还是这个novelty是否通过ablation study justify和novelty是否够。
点个在看 paper不断！
