本文探讨了RAG（检索增强生成）系统在多轮对话中常见的重复召回问题，分析了其根源在于检索系统缺乏记忆，导致用户重复感知、Token成本飙升、回答质量下降。阿里通义团队以VimRAG为例，提出用Milvus实现工程侧解决方案：通过group_by_field参数实现单次检索去重，expr not in实现跨轮次历史排除，结合Redis状态存储。文章还分享了最小可行方案部署时易翻车的细节，并指出该方法仅解决推理侧重复问题，无法替代训练侧的信用分配优化。建议根据业务场景权衡是否引入去重机制。
做 RAG 的团队，基本都会在多轮对话上吃过亏。
前几轮还表现不错，到了第四、五轮，AI 开始重复自己的历史回答内容。比如用户追问细节，系统把已经给过的段落又搜了一遍，换个说法再输出一遍。
其实，这其中的问题不出在模型，而是因为检索系统没有记忆。每一轮对话，它都当作第一次在检索。
这篇文章从阿里通义团队的多模态检索框架 VimRAG 的一个具体发现切入，聊聊多轮 RAG 里重复召回这个问题，以及用 Milvus 在工程侧落地的解法。
01
多轮对话后，检索系统在干什么？
RAG 的链路很简单：用户提问 → 检索文档 → 喂给模型 → 生成回答。单轮场景下没什么问题。
多轮对话一进来，情况就变了。用户的第三个问题往往是对第一个问题的追问，第五个问题可能换了个角度重问第二个。每一轮，检索模块都会重新搜一遍，结果同一批文档被反复召回。
这不是偶发的。阿里通义团队在 VimRAG 的实践里测了三种记忆管理方式——传统的把所有历史拼在一起的做法，随着轮次增加，无效检索次数急剧上升；改成每轮总结历史的方式，结果其实也差不多，因为总结会丢细节，AI 还是记不住自己搜过什么。
AI 没有变笨，是它没有记忆。
这个问题带来的影响，有以下几个：
用户最先感知到的是重复。问了三轮，发现 AI 在绕圈子，对话通常就在那里终止，这种问题通常不会报错，但是会带来用户体验的降级。
Token 成本是第二个问题。VimRAG 的对照数据：传统方式平均每轮消耗 15.8k tokens，引入选择性记忆后只需 2.7k，差了近 6 倍。多轮对话的复利效应让这个缺口持续放大，用户量越大越明显。
最后是一个反直觉的结论：重复内容越多，回答质量反而越低。模型的注意力是有限的，冗余信息把关键线索稀释了，多搜不等于搜得更好。
最重要的是，训练 RAG 系统时，如果不区分哪些检索步骤真正有用、哪些是无效重复，直接用最终答案对错打分，会出现信号污染。
一个正确答案的路径里，可能有一半检索步骤是废的，但因为最终答案对了，这些废步骤也拿到了奖励；一个错误答案的路径里，可能有几步检索找到了真正有价值的信息，但因为最后推理出了错，这些有效检索也被一起惩罚了。
这就像考试只看总分不看过程。抄对答案的学生被表扬，认真解题但算错一步的学生被批评。
针对这个问题，VimRAG 的训练侧解法叫 GGPO（图引导策略优化）：用图结构追踪每一步检索的贡献，找到从起点到正确答案的关键路径，只奖励路径上的步骤，把偏离路径的冗余屏蔽掉。基于这个方案，无效检索次数和 token 消耗都显著下降。
02
不动模型，怎么在检索层把重复干掉？
VimRAG 在推理阶段有自己的去重机制——多模态记忆图（MMG），用 DAG 图结构记录每轮推理走过的路径，天然避免重复访问同一信息节点。但MMG 需要配套 VimRAG 的完整训练方案，没有微调过模型的团队几乎实现不了。
但基于Milvus ，我们可以有三条更简单的路径，在检索层直接处理重复的召回。
路径一：expr not in排除历史 ID
最直接的做法。维护一个consumed_ids列表，每轮检索后把命中的 chunk ID 追加进去，下一轮带上expr过滤：
from pymilvus import MilvusClient client = MilvusClient(uri="http://localhost:19530") consumed_ids = ["doc_001", "doc_017", "doc_042"] res = client.search( collection_name="rag_chunks", data=[query_vector], limit=5, filter='doc_id not in ["doc_001", "doc_017", "doc_042"]', output_fields=["doc_id", "text"] )这一层解决的是跨轮次的历史排除——AI 在第三轮不会再搜到第一轮已经召回过的文档。
这里值得说清楚一件事：not in在 Milvus 内部不是逐条比对，而是用 bitset 标记被过滤的向量，在 HNSW 图遍历时直接跳过这些节点。Milvus v2.5.x 的版本日志里专门提到了对 NOT IN 子句的性能优化，包括 SIMD 加速的 bitset 操作。但有一个临界点要注意：当consumed_ids列表很长、过滤率极高时，Milvus 会自动从图遍历降级到暴力扫描——图索引失效了，延迟会明显上升。这是为什么第四节要设滑动窗口的真实原因，不只是一个经验建议。
路径二：group_by_field做单次检索内的去重
expr not in能排除历史文档，但解决不了另一个问题：同一篇文档的不同 chunk 在语义上高度相似，一次检索可能同时命中同一文档的三个段落，这三个 chunk 会同时出现在结果里，占掉limit=5里的三个名额。
Milvus 的group_by_field参数解决的就是这个。在search()时传入group_by_field=“doc_id”，Milvus 会保证每个文档 ID 最多返回一个 chunk，自动选取该文档下相关性最高的段落：
res = client.search( collection_name="rag_chunks", data=[query_vector], limit=5, group_by_field="doc_id", output_fields=["doc_id", "text"] )这一层是无状态的——不需要维护任何跨轮次的列表，在查询时直接保证结果多样性。
路径三：两者组合，覆盖完整的去重链路
group_by解决单次检索内的文档级重复，expr解决跨轮次的历史重复。两个一起用，才是这个场景下完整的解法：
res = client.search( collection_name="rag_chunks", data=[query_vector], limit=5, group_by_field="doc_id", filter='doc_id not in ["doc_001", "doc_017", "doc_042"]', output_fields=["doc_id", "text"] )第一个参数保证这一轮结果里不出现来自同一文档的多个 chunk，第二个参数保证历史轮次已经用过的文档不再出现。
这两个功能合起来，能覆盖 VimRAG 在推理侧解决的重复访问问题——但没有覆盖 GGPO 在训练侧解决的信用分配问题。
但这本质上是两件不同的事：一个在改训练信号，一个在改检索输入。能用工程手段在推理侧处理的，先用工程手段处理掉，不一定每个团队都需要走到重训模型那一步。
03
真正部署时，这几个地方容易翻车
最小可行方案是上一章节的三层组合，生产落地还有几个细节绕不过去。
去重记录的粒度怎么选
用了group_by_field="doc_id"之后，每次检索最多返回每篇文档的一个 chunk。但consumed_ids列表应该记什么——是doc_id还是chunk_id？
两种选择对应两种策略。记doc_id，下一轮整篇文档都不会再出现，适合知识库文档之间独立性强、每篇文档只有一个核心信息点的场景；记chunk_id，只排除用过的段落，同一文档的其他段落下一轮还可以召回，适合长文档、每个段落信息密度差异大的场景。
两种都是合理选择，取决于你的知识库结构。大多数企业知识库文档之间独立性强，记doc_id更安全。
滑动窗口大小压测后定
前面解释了not in列表过长时 Milvus 会从图遍历降级到暴力扫描。滑动窗口的 N 值不是一个可以拍脑袋的数字——N 太小，早期召回过的文档又出现了；N 太大，过滤性能开始退化。实际值要在你的数据规模和查询量下压测出来，不同场景差异很大。
状态存储别只放内存里
多轮对话通常是无状态的 HTTP 请求，consumed_ids列表不能只活在内存里，进程重启就没了。存在 Redis 里，按session_id隔离，对话结束后设 TTL 自动清理。这不是可选的优化，是方案能跑通的前提。
什么时候关掉去重
用户明确说“再给我看看刚才那个”的时候，需要临时关掉。在意图识别层做区分——追问细节和要求新信息是两种不同的意图，不能用同一套处理逻辑。
这套方案能覆盖什么，不能覆盖什么
group_by+expr两层组合，解决的是推理侧的重复问题：同一次检索里不出现来自同一文档的多个 chunk，跨轮次不重复召回历史文档。
但有一件事它做不到：它不知道某个 chunk 被召回后模型是否真正用到了它，更不知道它对最终答案的贡献有多大。VimRAG 的 MMG 能追踪每个检索节点对答案的实际贡献度，精度在这一层上更高。
如果业务对检索准确性要求很高，VimRAG 的完整方案值得研究。如果优先要一个改动量小、能快速上线的解法，group_by+expr+ Redis 这套组合够用。
最后
对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？
答案只有一个：人工智能（尤其是大模型方向）
当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。
如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！
下面是我整理的大模型学习资源，希望能帮到你。
👇👇扫码免费领取全部内容👇👇
最后
1、大模型学习路线
2、从0到进阶大模型学习视频教程
从入门到进阶这里都有，跟着老师学习事半功倍。
3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）
4、AI大模型最新行业报告
2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
5、面试试题/经验
【大厂 AI 岗位面经分享（107 道）】
【AI 大模型面试真题（102 道）】
【LLMs 面试真题（97 道）】
6、大模型项目实战&配套源码
适用人群
四阶段学习规划（共90天，可落地执行）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
