本文来自微信公众号： 机器之心 ，编辑：Panda，作者：机器之心
你写了一篇论文，现在问你三个问题：你这篇论文的问题设定是什么？这个符号代表什么？摘要里说的这个结论，在正文哪一部分得到了支撑？
如果论文真是你写的，那这些问题肯定很简单，甚至不用准备就能答出来。
但在机器学习期刊TMLR（Transactions on Machine Learning Research）最近的一次小规模试验中，有三篇论文的作者连这些基础问题都答不上来。
9月16日，TMLR在官方博客上发布了一篇题为《向作者询问他们自己的论文》的文章，作者是该刊联合主编之一、卡内基梅隆大学（CMU）的Nihar B.Shah。他在两周的主编轮值期内，挑出10篇原本要被直接拒稿（desk rejection）的投稿，没有直接拒掉，而是逐一约作者「聊聊」。结果，这10篇论文还是全部被拒了。
https://medium.com/@TmlrOrg/asking-authors-about-their-own-papers-3d2e04e5dee0
同为TMLR主编的Gautam Kamath在𝕏上转发时称这是一次「英勇的实验」，并说它证实了很多人心里早有的猜测：一部分投稿者其实并不知道自己的论文里写了什么。
抽查10篇待拒稿，都拒了
据Shah的描述，这次试验发生在2026年8月14日至28日他轮值主编期间。他从待直接拒稿的论文中非正式地抽取了10篇，通过审稿平台OpenReview给作者发去一条简短消息：一位主编希望在送审之前和您聊聊，以便更好地理解这篇论文，如果方便，请发邮件告知可约时间。
消息发出后，事情迅速分化。一篇论文的作者直接撤稿；一位作者回复说手头事情太多，没空通话；剩下8篇约上了会，但其中一位作者到点没有出现。
最终与Shah见上面的，是7篇论文的作者。他们身份各异，包括本科生、硕士生、博士生、高校教师和独立研究者。这批论文大多是单作者论文，但并非全部。
Shah的提问分两类：一类是关于问题设定、符号和论文所声称结果的基础问题，另一类是关于具体技术表达式、理论结果和实验设计选择的细节问题。
7场会谈里，只有1篇论文的作者答上了全部问题。另有3篇的作者能讲清高层思路，但一被追问技术细节就陷入困难。最糟糕的是另外3篇，作者连基础问题都答不上来，而且这3篇全是单作者论文。
Shah写道，其中两位作者看起来对自己论文的内容几乎没有实质理解，另一位则找不到摘要中声称的几项关键结果究竟在正文哪里给出或得到支撑。
唯一全部答对的那篇，也没能过关。Shah在审读中发现，论文的一项主要结论存在重大错误，作者随后也承认了。TMLR对这篇作了直接拒稿，但允许作者在修正错误或收窄结论后重新投稿。其余9篇则被直接拒稿，且不开放重投。
会后的两个插曲
Shah在文中还记录了两件事，读来颇具黑色幽默。
第一件：有两篇论文的作者在会上答不出基础问题，会后却给他发来了书面答复。Shah把这两封邮件交给AI文本检测工具Pangram，结果均被判定为「100%AI」。
第二件：另一场会谈中，一位作者试图向Shah介绍自己用到的分析方法，结果讲着讲着，无意间完整描述了一套p-hacking流程，也就是通过反复调整分析方式、直到数据「显著」为止的做法。
需要说明的是，Shah本人并不排斥AI。他在文中坦言，为了在两周内读完8篇论文，他自己也借助了LLM来辅助理解，甚至学习了一些此前不熟悉的概念。他关心的并不是作者有没有用AI，而是作者能否为署着自己名字的内容负责。
为什么要做这件事？
TMLR创刊于2022年，由JMLR背后的团队运营，以「只看结论是否被证据支撑，不以新颖性和SOTA作为拒稿理由」的审稿标准著称。它的审稿人、执行编辑（Action Editor）和主编全部是无偿志愿者，这也让它在今年的投稿潮中格外吃力。
根据TMLR 6月发布的公告，过去一年里其投稿量增长到原来的三倍，其中单作者投稿更是暴增至13倍，编辑部甚至见过有人一天投出5篇论文。Shah在最新文章中给出的另一组数字更直观：2023年，TMLR直接拒稿的比例约为6%，如今已升至约53%，也就是说超过一半的投稿走不到外审环节。
面对这种局面，TMLR在今年夏天密集推出了一系列措施。
其一是按作者设置年度投稿配额。与许多会议「每人最多N篇」的固定上限不同，TMLR采用了一种「调和式」配额规则，一篇论文消耗每位作者的额度会随合著者人数增加而递减。具体参数是：只投单作者论文的人，每年最多投2篇；若所有投稿都是9人合著，则每年最多9篇；活跃的审稿人和执行编辑额度翻倍。该规则从7月1日起执行。TMLR在公告中解释，之所以不按人数平摊，是为了防止有人靠挂名「凑作者」来换取更多投稿额度。
其二是引入AI审稿。TMLR 7月宣布，每篇投稿将在常规人工审稿之外附带一份AI生成的审稿意见，只评估论文的「可靠性」，即结论是否有准确、清晰、令人信服的证据支撑，不做主观判断，也不给出录用建议，最终决定仍由执行编辑作出。经过评测，TMLR选用了CSPaper的AI审稿器。
其三是把「写得清楚」写进录用标准。8月28日，TMLR修改了原有的「受众兴趣」标准，明确要求论文要向读者清楚地传达其发现。公告直言，当前的AI写作往往绕、术语堆砌、难以读懂；如果一篇论文几乎完全由AI生成、缺少人的参与，至少以现有AI系统的水平，它很可能达不到这一标准。
Shah在文章结尾总结，这次约谈让编辑部对现有的直接拒稿流程更有信心，配额制度和对清晰写作的强调也被证明很有帮助。
不只是TMLR
TMLR的遭遇并非孤例。今年以来，AI领域几个重要的发表渠道都在与同一个问题搏斗。
6月初，NeurIPS官方博客披露，NeurIPS 2026立场论文（Position Paper）赛道的971篇投稿中，有273篇（28.2%）被Pangram判为AI分数100%。
https://blog.neurips.cc/2026/06/02/ai-generated-papers-in-the-neurips-2026-position-paper-track/
该赛道今年明确要求论文必须「实质上由人类撰写」，AI只能用于文字润色等外围修改。NeurIPS同时指出，AI写作的增长是全面性的：在「评测与数据集」赛道，Pangram分数不低于90%的论文数从2025年到2026年增长了十倍以上。不过NeurIPS也承认检测结果对参数敏感，改用中等尺寸的检测窗口后，AI分数在90%至100%区间的论文比例会从42.7%降至12.7%。
更早的5月中旬，arXiv计算机科学板块负责人Thomas G.Dietterich在社交媒体上宣布了一项明确罚则：如果一篇投稿中存在作者未检查大模型输出的「确凿证据」，比如幻觉参考文献、遗留在正文里的聊天机器人对话语句，所有作者将被禁止在arXiv投稿一年，此后的投稿必须先被正规同行评审渠道接收才能上架。Dietterich强调，在论文上署名，就意味着每位作者要对全部内容负责，无论这些内容是怎样生成的。
与此相关的数据同样刺眼。据哥伦比亚大学的一项《柳叶刀》研究，在PubMed Central收录的生物医学论文中，含有至少一条虚构引用的论文比例，从2023年的约万分之4，升至2026年初的约万分之57。
https://www.nursing.columbia.edu/news/nearly-3-000-peer-reviewed-medical-papers-have-fake-citations-columbia-nursing-ai-assisted-audit-finds
从「查文本」到「查人」
Shah在文中坦承，这次试验花掉了他20到25个小时，只处理了8篇论文，面对如今的投稿规模，这种做法很难推广。
他同时提到，自己的团队正在研究可规模化的方案。
而就在前几天，Shah与CMU的Justin Payan、Bálint Gyevnár、Atoosa Kasirzadeh发布了一篇论文，提出名为greCAPTCHA的评估方法。名字一半取自美国研究生入学考试GRE，一半取自区分人与机器的CAPTCHA验证码。
https://www.cs.cmu.edu/~nihars/preprints/greCAPTCHA.pdf
它的思路是：不再去检测文本是不是AI写的，而是直接考作者。作者提交论文和一份个人贡献说明，系统据此自动生成题目，作者在监考条件下作答，最后生成一份评估报告，供期刊、招聘或招生方参考。研究者把要考察的能力称为「核验能力（capacity to verify）」，即作者是否具备批判性评估自己所贡献内容的知识和推理能力。
题目分为四类：在多个版本中识别论文真实报告的数据（预置错误识别）、解释论文没有写明理由的设计选择、解释论文默认读者已知的背景概念，以及指出方法在什么具体条件下会失效。
团队招募了31名研究者进行测试，每人分别就自己的论文和一篇陌生论文作答。结果显示，系统区分「自己的论文」和「陌生论文」的AUC达到0.90，去掉选择题后升至0.934。选择题本身几乎没有区分度，AUC只有0.595，原因很简单，答案可以直接在PDF里搜到。另一个值得注意的结果是，受试者面对本领域和跨领域陌生论文时，得分没有统计学上的显著差异，说明这套题考的不只是领域知识。
一位受试者的经历颇能说明问题：他在测试前把陌生论文丢给AI，让它从头到尾讲解了一遍，但面对深入问题依然答不上来，陌生论文得分1.3，自己论文得分51。
但这套系统远未成熟。论文报告的最低误判率约为20%，也就是说，每五位真正的作者里可能有一位被误判。受试者对评分的抱怨最多：不清楚该答到多细、评分标准过于死板。一位作者面对否定自己答案的评分标准时脱口而出，那个东西明明是我自己设计的。还有受试者指出，合作论文中有些部分由合著者完成，自己本就答不上来；也有人担心，这类考试会在无形中考察英语表达、打字速度，对非英语母语者和残障研究者不公平。
结语
Shah在文中列出了几点结论，这两点值得一看：
一是credit分配。在今天的科研生态里，学术贡献主要通过论文署名来认定。如果作者无法解释、无法捍卫自己的论文，一篇发表作为「研究者贡献」的信号价值就大打折扣。
二是审稿体系的循环。许多期刊和会议会邀请投稿作者去审别人的论文。如果作者连自己的论文都看不懂，他们能否胜任审稿，自然要打上问号。在AI审稿、AI写作同时涌入的当下，这个循环一旦断裂，同行评审的根基就会被掏空。
当然，这次试验本身也有明显的局限。10篇样本数量很小，是Shah「非正式」抽取的，而且全部来自原本就要被直接拒稿的论文，它能说明的是「被判定为低质量的投稿里有什么」，而不是TMLR投稿的整体面貌。这一点Shah自己也写了：试验的目的之一，正是检验直接拒稿流程是否靠谱。
但Shah的这次试验至少给出了一个底线：一篇论文可以由AI帮忙完成，但署名的人必须能说清楚里面写了什么。
