AI 生成图像、AI 编造文本、图文协同伪造……今天的多模态虚假内容，已经越来越复杂。
面对训练中没见过的新新闻域、新操纵方式、新组合套路，很多现有鉴伪模型往往就开始“掉链子”。
问题的关键不只是伪造更多了，而是模型学到的东西太像“背答案”：它们会判断真假，却没有真正学会沿着证据链分析“为什么是假”。
西安交通大学、合肥工业大学与澳门大学的研究团队，在 ACL 2026 上提出了一套新的推理驱动多模态鉴伪框架。论文、模型与数据集共同指向一个核心目标：让多模态鉴伪在面对未见伪造时，不再无从下手。
论文名称：
Cultivating Forensic Reasoning for Generalizable Multimodal Manipulation Detection
论文链接：
https://arxiv.org/abs/2603.01993
代码 & 数据集：
https://github.com/YcZhangSing/REFORM
新困局：为什么一遇到未见伪造，很多模型就容易失灵？
不止是“识别难”，更是“泛化难”！
只看结果，学不会逻辑。现有很多方法直接把图文输入映射到真假标签或操纵类别，容易拟合训练集中的表面特征，却没有真正学到可迁移的法证逻辑。
一换场景，性能就掉。当新闻域变化、操纵模式变化，甚至伪造从人脸级扩展到场景级时，只靠结果监督训练出来的模型往往泛化不足。
真正缺的是证据链推理。论文指出，模型不应只会输出结论，更应像法证分析员一样，根据图像异常、文本异常或者图文冲突仔细推理做出判断。
〓 图1：泛化困局——结果导向（a）和推理驱动（b）的训练范式的对比
新基准 ROM：让模型在更复杂、更真实的伪造里训练
想解决泛化失灵，先要有更接近真实世界的数据。
〓 图2：新基准——涵盖 9 个伪造场景的大规模数据集 ROM
规模更大。ROM 数据集包含 704,456 条图文样本，覆盖 5 个新闻域，为多模态伪造检测与泛化评估提供了大规模基础。
类型更杂。ROM 不只包含人脸属性篡改、换脸和文本伪造，还包含背景替换、整图生成及其复合形式，更贴近真实世界中五花八门的未见伪造。
监督更深。除了真假与类别标签，ROM 还提供详细推理标注，让模型不只是学“答案”，而是学“证据链怎么走”。
〓 图3：推理标注提供更丰富的监督信号
「证链侦探」REFORM 框架：给多模态鉴伪装上真正能迁移的“推理脑”
不是只做分类器，而是训练一个会顺着证据链办案的鉴伪系统。
先找线索。框架通过 Cognitive Priming 模块，从图像与文本中提取与伪造相关的关键痕迹，先把“可疑信息”聚焦出来。
再给结论。模型采用双解码器结构，一路输出真假、伪造类型和定位结果，另一路生成法证推理文本，让判断建立在证据链上。
最后练泛化。整个训练流程分三阶段推进：先学习推理，再联合优化答案与推理一致性，最后用 GRPO 强化学习进一步约束逻辑一致性。
〓 图4：新方法——「证链侦探」REFORM 的框架概述
实验结果：面对未见伪造，「证链侦探」更稳
推理驱动带来的，不只是解释能力，更是更强的跨域与未见攻击泛化。
ROM 上全面领先。在跨域测试中，REFORM 在 Guardian 训练设定下取得 81.52% ACC，在 NYT 训练设定下取得 88.22% ACC，整体超过多种已有多模态鉴伪方法。
未见模式更能打。在 MMFakeBench 上，REFORM 取得 74.9 F1，即便面对未见操纵类型，依然展现出明显优于多种更大参数量基线的零样本泛化能力。
经典基准再刷新。在 DGM4 上，REFORM 达到 76.65% ACC、65.72 mAP，进一步说明“学会推理”比“只拟合标签”更具跨域普适性。
〓 表1：ROM 主结果表
〓 表2：MMFakeBench 零样本结果表
〓 表3：DGM4 结果表
为什么这很重要？
当伪造模式不断翻新，内容安全系统不能总靠“见过”才能识别。
让模型跳出“见招拆招”。这项工作不是单纯提升某类已知伪造的识别率，而是试图让模型学到更稳定、更可迁移的法证判断逻辑。
让未见伪造不再难办。论文最核心的价值，不只是分数提升，而是证明了：沿着证据链学习，能够显著缓解多模态鉴伪中的泛化失灵问题。
让真实应用更可落地。未来的新闻核验、平台审核与舆情风控系统，需要的不是只会判“真/假”的模型，而是面对新套路也能稳定分析证据的系统。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以markdown格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
