GPT模型的“防御性写作”

大语言模型首先要把话说好，但Agent时代，大模型普遍不会好好说话。我们之前尝试过通过prompt约束模型文风、也尝试过 人话.skill 或者改写，但模型一开口的AI味还是太大。RL在LLM权重里留下的痕迹，无法被后天的约束洗刷掉。

本期介绍的这篇文章，研究了近期GPT模型的防御性写作，包含特征和成因，推荐阅读。后面有空的时候，我也会介绍一下关于LLM不会好好说话的更多原因（本质上对齐的不完善）。

摘要：越来越多的学者使用 ChatGPT 修改论文，但当被要求让论文“经受住同行评审”时，近期版本的 GPT 模型往往会收窄甚至撤回作者原本的研究结论。本文将这种在给定材料缺乏支撑的情况下自行弱化或质疑论断的行为定义为防御性写作（Defensive Writing），并检验了两种解释：模型是在纠正作者的过度声称，还是在为预想中的审稿人写作。通过对 ChatGPT 发布前 20 篇计算机论文的 77 个段落、8 个 GPT 版本与 4 个对照模型（Claude、DeepSeek、Grok）进行实验，研究发现：从 GPT-5.5 开始，模型在改写时明显增加了比原文更多的无据限定（Ungrounded Qualifications），而 GPT-6-astra 添加得最多，且常常撤回作者的论断。对照论文全文的核查表明，两种解释各符合一部分事实：GPT-6-astra 的撤回大多确实纠正了过度声称的结论或解释，但模型添加的大多数限定词是冗余的。进一步实验显示，AI 审稿人对这类改写给出更高评分，且仅移除限定词后评分随之下降；而小样本人类读者则认为这类改写更难阅读。将 AI 写作与 AI 审稿结合，可能会奖励那些最终由读者承担阅读成本的限定词。

标题: Defensive Writing in GPT Models

发布平台: arXiv

作者:

• Junchi Liao, Jiawen Deng, Fuji Ren：电子科技大学（UESTC）计算机科学与工程学院。任福继（Fuji Ren）为日本工程院院士、电子科技大学讲席教授，研究方向为情感计算与自然语言处理；邓佳文（Jiawen Deng）为电子科技大学助理研究员；
• Xiao Huang, Yucheng Liu：上海交通大学（SJTU）。

上线时间： 13 October 2026

引言

研究人员越来越多地使用 AI 助手修改论文（Liang et al., 2024b），其中 ChatGPT 使用最为广泛。当近期版本的 GPT 修改论文以使其经受住同行评审时，它们改变的不只是语言表达，还会改变作者对自己研究结论的判断（图 1）：模型会增加限定词（qualifications），有时甚至直接放弃作者已经确认的结论。例如，原文作者发现“eLife 摘要简化程度更高”，模型在改写时却写成“作者身份和长度本身并不能确立简化的程度”。这些改动集中在作者表达立场的段落中，如结果分析和讨论。修改之后，论文中的论断可能会偏离作者原本的想法。

学术写作需要审慎（caution, Hyland, 1996）。但合理的审慎应当指向证据中真实存在的局限，以便读者了解结论成立的范围。本文将另一种修改行为定义为防御性写作：在写作者所获材料没有支撑的情况下，收窄或质疑作者的论断。

防御性写作带来两方面的代价：

• 对读者而言，层层叠加的限定和否定使段落更长、更难跟进，需要耗费更多精力才能分辨作者实际主张什么；
• 对作者而言，这削弱了他们陈述结论时的坚定程度。

同时，AI 也正在进入同行评审（Liang et al., 2024a; Russo et al., 2025）。如果 AI 审稿人偏好这种风格，AI 写—AI 审的过程可能会不断强化它。

为什么 GPT 会这样修改？ 作者提出了两种解释：

• 解释一：纠正作者的过度声称。如果如此，模型应当从过度声称的论断后撤，同时保留有证据支撑的论断；
• 解释二：为预想中的审稿人写作。如果如此，当提示词不提及审稿时防御应当减弱，而一旦模型收到审稿意见，防御应当增强。

围绕这两种解释，本文在 ChatGPT 发布前的 20 篇论文的 77 个段落上进行了检验，回答四个研究问题： - RQ1：GPT 是否存在防御性写作？ - RQ2：什么触发了防御性写作？ - RQ3：模型的这种审慎是否合理？ - RQ4：AI 审稿人和人类读者对此作何反应？

研究设计与测量框架

样本选择与两项任务

研究从 20 篇经同行评审的计算机科学论文中抽样了 77 个段落（6 篇来自 2019–2022 年的 ICML、AAAI、ICLR、JMLR、ECCV，14 篇来自 EMNLP 2022 主会）。每篇论文均在 2022 年 11 月 30 日（ChatGPT 发布日）之前首次出现于 arXiv，因此均未经过对话式大模型辅助撰写。段落平均长度为 128 词（72–269 词），按其在论文中的作用分为四类： - 创新性（Novelty，20段）：与既有研究对比，确立创新点；

• 贡献陈述（Contribution，20段）：在引言中陈述论文贡献；

• 结果分析（Result analysis，20段）：分析具体的实验结果；

• 讨论（Discussion，17段）：从结果引申广泛含义并提出未来方向（有 3 篇论文无合适讨论段）。

模型需要执行两项任务：

• 任务一：段落改写（Rewriting）。模型每次仅接收单个段落以及一句说明其位置的话（例如“来自实验部分、用于分析结果的一个段落”），看不到论文的其他内容。默认提示词说明论文将投往顶级会议，要求模型修改段落使其经受住同行评审，并禁止添加新结果、数字或引用。原始段落作为人类基准。
• 任务二：基于证据表写作（Writing from Evidence）。研究者使用 Kimi-K2.6 从其中 16 篇提出新方法的论文（相关工作、方法、实验章节及表格）中提取了证据表。证据表只保留事实：任务、方法、前人工作、实验设置，以及每一个带有具体数值的结果（包括基线方法获胜或打平的结果），去掉作者的解释、创新性声明和评价性词汇（如 strong、significant、novel）。模型只接收证据表，在独立调用中分别写出四类段落。提示词指明顶会背景，禁止编造结果、数字或引用，且不提及同行评审。

测试模型

研究使用 12 个模型作为写作者： - 8 个 GPT 系列版本（按发布顺序）：GPT-4o、GPT-4.1、GPT-5.1、GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6-sol 和 GPT-6-astra（GPT-5.1 及之后版本开启 high reasoning effort）； - 4 个其他开发者的对照模型：Claude Sonnet 5、Claude Opus 5.5、DeepSeek-V4-Pro 和 Grok 4.7。

防御性写作的测量

本文将防御性写作定义为在给定材料缺乏支撑的情况下收窄或质疑论断。一个限定是否属于防御性写作，取决于写作者当时掌握的材料（源段落或证据表）是否支持它。

防御性写作采取两种形式：（1）向文本添加无据限定；（2）通过弱化、限定范围或撤回来从作者论断后撤。研究分别通过句子编码和论断追踪来测量这两者，均由 DeepSeek-V4-Flash（temperature = 0，对写作者身份盲化）完成。

1. 句子编码 编码器逐句阅读文本，对照写作者拥有的源段落或证据表，为每个句子赋予以下 7 个标签之一（若符合多个标签，取编号最小者）：

• ① 未证明声明：声明结果不能证明某结论，或规定应如何解读结果（如 “these gains do not by themselves establish that...”）；
• ② 无据质疑：提出源材料中没有的局限、混杂因素或缺失检验（如 “although training costs may differ”）；
• ③ 有据局限：陈述源材料中已有的局限、条件或不利结果；
• **④ 泛化范围限定：在不点明具体设置的情况下，将论断限制在“所评估的设置中（the evaluated settings）”；
• ⑤ 未来工作；
• ⑥ 论断（claim）；
• ⑦ 其他（other）。

标签 ①、②、④ 均在无源材料支持的情况下限制或质疑了论断，统称为无据限定 \(U = \{\text{①}, \text{②}, \text{④}\}\)。主要指标是每 100 词中的无据限定数量：

\[R_U(w) = 100 \cdot \frac{\sum_{t \in T_w} \sum_{s \in t} \mathbf{1}[\ell(s) \in U]}{\sum_{t \in T_w} |t|}\]

以及至少包含一个无据限定的文本比例 \(P_U(w)\)。将 \(U\) 替换为 \(\{\text{①}\}\) 即得到未证明声明率 \(R_{\text{①}}(w)\)。

2. 论断追踪 仅适用于改写任务。编码器先列出每个原始段落 \(p\) 中的论断集合 \(C_p\)（77 个段落共 482 条论断），然后判断写作者 \(w\) 的改写版如何处理每条论断 \(c\)。状态 \(\sigma_w(c)\) 分为六种：

• kept（保留）、strengthened（强化）；
• weakened（弱化，如将 causes 改为 may contribute to）、scoped（限定到所测试的设置中）；
• retracted（撤回：改写版声称作者的原始论断不成立、未被证明，或仅在更窄的形式下成立）；
• dropped（删去：改写版不再包含该论断）。

据此计算撤回率 \(\text{Ret}(w)\)（衡量模型在多大程度上否定作者）与弱化率 \(\text{Soft}(w)\)（即 weakened 与 scoped 之和，衡量模型在多大程度上放缓语气）。

测量验证：在植入测试中，编码器将 97%（300/308）植入的无据限定标为 \(U\)，仅将 6%（8/133）植入的正常论断和有据局限误标为 \(U\)。本地运行的第二编码器 Qwen3-32B 与主编码器在句子是否属于 \(U\) 上的一致率为 97.2%（\(\kappa = 0.66\)），12 个写作者与人类原文的 \(R_U\) 值的 Spearman 相关系数为 0.80。

实验结果

RQ1：GPT 是否存在防御性写作？

表 1 和图 2 展示了 12 个模型在默认提示词下完成两项任务的结果。

• 后期 GPT 版本明显增加无据限定：与作者原文相比，GPT-4o 到 GPT-5.2 在改写时很少添加无据限定。这一比例从 GPT-5.4 开始上升，在 GPT-5.5 和 GPT-5.6-sol 中明显增加（40%–60% 的结果分析改写段落至少包含一个无据限定）。GPT-6-astra 添加得最多，在结果分析（\(R_U = 1.30\)）和讨论（\(R_U = 1.32\)）中达到最高值，几乎每个结果分析段落都包含无据限定。分类拆解（附录表 8）显示，这一增长主要来自 ① 未证明声明（GPT-6-astra 的 \(R_{\text{①}}\) 为 0.66，而 GPT-4o 为 0.00），而泛化范围限定（④）增长较少。Claude 和 DeepSeek 几乎不添加，Grok 4.7 主要在讨论段落中添加。
• 弱化随版本递增，而直接否定作者始于 GPT-6-astra：
  • 弱化（Softening）：从 GPT-5.2 开始，作者论断被弱化或限定范围的比例明显高于早期版本（从 14%–15% 升至 20%–28%），GPT-6-astra 最高（38%）。四个对照模型均低于 GPT-5.2 及之后的 GPT 版本。
  • 撤回（Retraction）：其他模型几乎从不撤回作者的论断（\(\text{Ret} \le 1.0\%\)）。GPT-6-astra 在每类段落中都会撤回论断（总体撤回率 7.9%），在约 40% 的结果分析段落中至少撤回一条。因此，GPT 的防御分为两层：弱化在系列版本中逐步增长，而否定作者则在 GPT-6-astra 中出现。
• 基于证据表写作时，GPT-6-astra 依然添加最多：在任务二中，模型间的差距小于改写任务，但 GPT-6-astra 仍然最为突出，在结果分析（\(0.52\)）和讨论（\(0.98\)）中添加了最多的无据限定，且每个讨论段落至少包含一条。由于证据表已列出包括不利结果在内的所有实验数值，缺少实验结果并不能解释这些限定。

图 4 展示了默认提示词下的具体改写案例：

案例 a（结果分析，Ferrando et al., 2022）： - 作者原文：“可以看出，在每种不同的配置下，我们提出的 ALTI 方法都优于其他输入归因方法……这是符合预期的，因为这些数据集更简单，因此解释方法更容易找到重要的 token。” - GPT-5.5 改写：“在所评估的配置中 ④，ALTI 在对比方法中取得了最强的归因表现……”（仅增加了一个限定范围的短语） - GPT-6-astra 改写：“ALTI 在所评估的模型-数据集配置中 ④ 的两个指标上均取得了最佳分数……尽管这一模式可能与输入长度有关，但这些对比并未将其效应与其他数据集特征分离开来，因此不能证明更短的输入本身更容易解释。 ① ……这些结果支持了 ALTI 在所评估的 token 移除指标下的有效性，但并不能确立其解释质量的普遍优越性。 ①”（将作者对结果的解释改写为对比实验不能证明该结论）

RQ2：什么触发了防御性写作？

作者假设防御是对经受住同行评审这一请求的回应：模型预期文本会受到攻击，于是预先代审稿人撤回论断。如果这一假设成立，应当出现两个推论：第一，当提示词不提及审稿时防御应当消失，且其强度应随调用审稿的方式而变化；第二，一旦模型实际收到审稿意见，防御应当增强。研究分别通过改变提示词情境和多轮修改来检验这两点。

1. 改变提示词情境（P1–P9）

作者将相同的改写请求置于 9 种提示词情境中（共享同一禁止添加新结果、数字或引用的模板）： - P1：仅要求润色。 - P2：正在为课题组写内部技术报告……请润色。 - P3：正在向顶会投稿……请润色。 - P4（默认）：同 P3……请修改使其经受住同行评审。 - P5：同 P3……请修改以回应同行评审人可能提出的顾虑（。 - P6：同 P3……请修改以最大化论文被接收的概率。 - P7：同 P3，并提示“该会议审稿人以严苛著称，会寻找任何理由拒稿”……请修改使其经受住评审。 - P8（不提审稿）：同 P3……请修改使其在科学上准确。 - P9（不提审稿）：同 P3……请修改使每项论断的强度与证据相匹配。

图 3 和附录表 10 的结果显示：

• 仅作润色不会增加防御：在 P1–P3 下（以及全部 12 个模型的纯润色对比中），包括 GPT-6-astra 在内的所有模型都保持在作者原文的水平（GPT-6-astra 在纯润色下的 \(R_U = 0.03\)）。一旦提示词提及审稿，无据限定便随之上升，作者论断被弱化的比例从 P1–P3 下的 3%–11% 升至 P4、P5、P7 下的 14%–33%。
• 模型针对批评进行防御，而非为了提高接收率：在调用审稿的三种方式中，要求回应审稿人潜在顾虑的 P5 触发程度最强（连 GPT-4o 和 Claude Opus 5.5 也在 P5 下增加了限定，GPT-6-astra 的撤回率达 9.5%）。P6 同样提高了风险（要求最大化接收率），但触发的防御少得多（GPT-6-astra 在 P6 下的撤回率仅为 0.8%，弱化率为 20%）。警告审稿人严苛的 P7 则与 P4 相近或略强。这表明预期的批评比追求接收的目标更能引发防御。
• 为准确性而修改同样会触发防御：为了把“修改（revision）”与“审稿（review）”分离开，作者补充测试了不提审稿的 P8 和 P9。在 P8（要求科学准确）下，GPT-5.5 和 Claude 添加的无据限定与 P4 相当，GPT-6-astra 也达到了 P4 水平的约 80%，且撤回率同样为 6.6%（P4 为 6.2%）。P9 在 GPT-6-astra 中触发较少（\(R_U = 0.39\)，撤回率 3.1%），但仍远高于纯润色。因此，任何要求模型核查论断的请求都会触发大部分防御，而点明审稿人顾虑会进一步加剧防御。

2. 多轮修改

在多轮实验中，写作者模型先作为同行评审人列出段落的主要弱点，然后修改段落以回应审稿意见；下一轮再对上一轮的输出进行审稿与修改，共进行三轮（R1–R3）。修改提示词明确说明无法补做新实验，禁止添加新结果、数字、分析或引用。对照链则在每轮仅做润色。

模型与实验链	\(R_U\) (R1)	\(R_U\) (R2)	\(R_U\) (R3)	撤回率 Ret % (R1)	撤回率 Ret % (R2)	撤回率 Ret % (R3)	段落词数 (R1→R3)
审稿—修改链 (Review–revise)							(原文均长 128 词)
GPT-5.5	0.95	1.23	1.10	10.8	14.5	10.2	232 → 319 → 345
GPT-5.6-sol	1.42	1.62	1.44	18.3	24.3	19.1	234 → 338 → 363
GPT-6-astra	1.87	1.61	1.67	25.3	21.4	17.4	248 → 294 → 312
Claude Opus 5.5	0.54	0.64	0.70	1.2	2.5	4.6	194 → 259 → 314
纯润色链 (Polish only)
GPT-5.6-sol	0.07	0.07	0.03	0.2	0.0	0.2	119 → 117 → 117
GPT-6-astra	0.04	0.02	0.03	0.2	0.2	0.2	117 → 115 → 114
Claude Opus 5.5	0.03	0.03	0.05	0.6	0.2	0.2	117 → 114 → 112

表 2 和表 11 的结果显示： - 在相同的审稿下，GPT 版本撤回论断而 Claude 不会：在纯润色链中，三轮下来的防御水平始终停留在原文基线。而在审稿—修改链中，仅经过第一轮（R1），三个 GPT 版本添加的无据限定就远多于单次改写，并撤回了作者 10.8% 至 25.3% 的论断（尽管 GPT-5.5 和 GPT-5.6-sol 在单次改写中几乎不撤回）。例如，作者原文写“该网络具有更好的稳定性”，修改后变成“因此，我们并不声称所提出的公式具有更好的稳定性”。Claude Opus 5.5 经历了完全相同的流程，也增加了限定词，但在第一轮仅撤回了 1.2% 的论断。 - 篇幅膨胀与论断丢失：从第 1 轮到第 3 轮，四个模型的每段无据限定数量持续上升（升至每段 2.2 至 5.2 个），段落长度增长到原文的 2 至 3 倍（从平均 128 词增至 312–363 词），同时有 24%–30% 的原始论断在多轮改写后消失（dropped）。

RQ3：这种审慎是否合理？

在改写时，模型只看到单个段落。作者在原文中可能确实存在过度声称，模型的退让可能修正了真实的夸大。如果如此，模型撤回的应当主要是过度声称的论断，同时保留有证据支撑的论断。由于判断一条论断是否过度声称取决于整篇论文的证据，研究团队针对单次改写中撤回论断最多的 GPT-6-astra 的 P5 改写版，对照论文全文进行了人工核查。

两位计算机科学博士生在不知道写作者和提示词的情况下，独立阅读了 16 篇论文的全文，评估了论断追踪标为撤回的 46 条论断（混入 12 条保留或弱化的论断，共 58 条）以及来自 P5 改写版的 60 条无据限定（36 条来自 GPT-6-astra，GPT-5.5 和 Claude Opus 5.5 各 12 条）。两位标注者的编码一致性 \(\kappa\) 在 0.68 至 0.83 之间。

核查结果（表 13）区分了“合理纠偏”与“防御性冗余”：

• 大多数撤回是合理的：

  • 两位标注者一致认为改写版改变了 58 条论断中的 48 条；双方一致判定其中 28 条修改合理，10 条不必要。

  • 对于两位标注者对照全文后均认定为过度声称或与结果矛盾的 20 条论断，模型的修改全部（20/20）合理；而对于双方均认定有全文证据支撑的 4 条论断，模型的修改全部（4/4）不必要（例如引言中的 eLife 案例：全文的可读性得分证实了 eLife 摘要简化更多，但 GPT-6-astra 却改写为“作者身份和长度本身不能确立简化程度”）。对于 15 条结果解释类论断，6 条修改合理，4 条不必要。

  • 在双方均界定为严格“撤回”的 18 条修改中，8 条针对过度声称或矛盾的论断，8 条针对解释，0 条落在有支撑的论断上；其中 13 条合理，仅 1 条不必要（例如图 4a 中撤回对 ALTI 的解释被双方判定为合理，因为论文全文确实从未将输入长度与其他数据集特征分离）。因此，解释一符合模型的“撤回”行为。

• 新增的限定词大多是冗余的：

  • 在 60 条无据限定中，两位标注者一致判定 36 条（60%）属于冗余：表述本身并没有错，但无法告诉认真的读者任何新信息（通常因为原文已经限定了范围或做了铺垫）；双方一致判定 16 条合理，3 条错误**。因此，防御性写作主要体现在这些冗余的限定词以及少数对有支撑论断的不必要修改上。

• 只看证据表的 LLM 裁判不能替代全文核查：

  • 作者还使用仅能看到证据表的 LLM 裁判（DeepSeek-V4-Flash）对全部 482 条原始论断进行了标注，并请另外两位博士生核查了其中 40 条。人类标注者与 LLM 裁判在 12 条“有支撑”标签中的 9 条上达成一致，但在 12 条“过度声称”标签中一致数为 0（0/12）。因此，本文不依赖 LLM 裁判对过度声称的划分。

RQ4：AI 审稿人与人类读者的反应

研究对比了防御程度差异最大的 P1（纯润色）与 P5（回应审稿人顾虑）改写版。由于两个版本的差异不仅限于限定词，针对 AI 审稿人，作者还通过消融实验测试了仅从 P5 改写版中移除无据限定的效果。

1. AI 审稿实验

两个模型（Claude Sonnet 5 和 DeepSeek-V4-Flash）作为审稿人，在假定文中数字正确的前提下，从可靠性（Soundness）、贡献度（Contribution）、清晰度（Clarity）和总体质量（Overall）四个维度（1–10分）对每个段落打分，并列出其弱点。

表 3（及附录表 14、15）显示：

• AI 审稿人给 P5 改写版打出更高分数：对于全部四个写作者模型，在两个审稿模型下，P5 改写版的得分均高于 P1，其中三个 GPT 版本的 Soundness（可靠性）提升最大（GPT-6-astra 平均提升 +1.84 分）。此外，AI 审稿人给 P5 打出的 Clarity（清晰度） 分数也高于 P1。
• 审稿意见揭示了加分来源：按列出的弱点分类，三个 GPT 版本的 P5 改写版因“过度声称（Overclaim）”被批评的次数减少。GPT-6-astra 的 P5 改写版因“过度保守（Overhedged）”和“贡献显著性弱”被批评的次数增加，但即便是那些批评其“过度保守”的审稿意见，给 P5 打出的总体评分（6.50–6.79）依然高于 P1（5.72–5.81）。

2. 最小对照实验：仅移除限定词会降低评分

作者使用未参与写作和审稿的 Grok 4.7，仅删除每个 P5 改写版中属于 \(U\) 的句子里的限定部分，不添加任何内容，也不改变其余词句（使 \(R_U\) 降低 76%–93%，篇幅缩短 17%–23%）。

在四个写作者模型的 144 对样本上（附录表 16），两个审稿模型给删去限定词后的版本在全部四个维度上的打分均出现下降：Overall 平均下降 0.82 分 \([−0.95, −0.70]\)，Soundness 平均下降 1.12 分 \([−1.29, −0.97]\)。面对删去限定词的版本，AI 审稿人会批评其“论断过于宽泛”或“未讨论局限”。分数降幅随被删词数比例的增加而增大（删词少于 15% 时 Overall 降 0.41 分，超过 23% 时降 1.24 分）。这说明 AI 审稿人直接奖励了这些限定词本身，尽管人工核查表明其中大多数是冗余的。

3. 人类读者实验：P5 改写版更难阅读，作者显得更不确定

四名高年级计算机科学博士生阅读了 GPT-6-astra 对 20 个结果分析与讨论段落的 P1 和 P5 改写版（每人读 20 段，同一段落只看一个版本，共 80 人次阅读），对五项阅读体验打分并回答每段两道阅读理解题。

人类读者评分维度	P1 (纯润色)	P5 (回应审稿改写)	差异 (\(\text{P5} - \text{P1}\))
易读性 (Ease of reading, 1–7)	5.75	5.05	−0.70 [−0.95, −0.45]
流畅度 (Flow, 1–7)	6.05	5.25	−0.80 [−1.05, −0.55]
费力程度 (Effort, 1–7，越高越难)	2.55	3.60	+1.05 [+0.75, +1.35]
主要论断易识别度 (Claim identifiable, 1–7)	6.10	5.78	−0.33 [−0.53, −0.12]
作者确定性 (Author certainty, 1–5)	4.35	3.38	−0.97 [−1.20, −0.75]
阅读理解正确率 (Comprehension %)	100	100	0

表 4 显示，与 AI 审稿人认为 P5 清晰度更高相反，人类读者认为 P5 改写版更难阅读（−0.70）、不够连贯（−0.80）、更费力（+1.05），其中降幅最大的是作者表现出的确定性（−0.97）。读者自评识别主要论断的容易程度略有下降（−0.33），而在两版上的阅读理解题正确率均为 100%（处于天花板水平）。

结论与局限

结论

当被要求核查论断、尤其是在预期的同行评审压力下，近期版本的 GPT 模型会超出给定材料收窄作者的论断。其中一部分属于纠偏：GPT-6-astra 的撤回大多落在过度声称的论断和解释上；其余部分则属于防御：大多数新增的限定词并未给认真的读者提供新信息，但 AI 审稿人会奖励这些限定词，而人类读者则觉得改写后的文本更难读。

作者据此指出：使用 GPT 为应付审稿而修改论文的作者，应当对照自己的证据核查模型添加的限定词；同时，不应在未经核查的情况下使用 AI 审稿分数来筛选或训练论文修改模型。

局限性

作者指出了研究的五方面局限： - 样本范围：样本较小，仅涵盖英文计算机科学论文的四种段落类型，其他学科、其他语言及整篇论文层面的防御性写作有待检验； - LLM 编码：句子编码和论断追踪依赖大模型。植入测试和第二编码器表明句子编码可靠，但不同编码器对论断是否被“撤回”的一致性较低，因此绝对撤回率数值应审慎看待；此外，对照全文的人工核查仅覆盖了 P5 改写版； - 闭源模型更新与设置：闭源模型随时间更新，且 GPT-5.1 之后版本的推理设置与早期版本不同，研究仅观察模型外部行为，无法确定训练中的哪些环节导致了防御性写作； - AI 审稿代表性：AI 审稿仅使用了两个审稿模型评审单一段落，不能等同于真实的同行评审；最小对照实验在移除限定词的同时也缩短了文本长度； - 人类读者样本量：人类读者实验规模较小，仅由 4 名博士生阅读 GPT-6-astra 的两个改写版本，且阅读理解题处于天花板水平，无法检测更细微的理解差异。

号外

• 在开放性问题上（包括写作），RVLR或者RLAIF，都不太work，大模型没有ego，让一个品味很差的模型去打分做RL，结果就会越来越糟；
• GPT的防御性写作也是一种hacking，参见学术界的奖励投机(Reward Hacking)；
• 在语言和社科思维方面，我最喜欢的模型是o1Pro，近期的心头好则是Gemini 4 Argon。

原文信息

Liao, Junchi, Xiao Huang, Yucheng Liu, Jiawen Deng, and Fuji Ren. "Defensive Writing in GPT Models." arXiv preprint arXiv:2610.11355v2 (2026). https://arxiv.org/abs/2610.11355