news 2026/5/1 4:07:26

Naive RAG 到Advanced RAG 的优化

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Naive RAG 到Advanced RAG 的优化

**Naive RAG 与 Advanced RAG 的核心区别在于:**Naive RAG 只是“取相似段落 + 拼接给大模型”,而 Advanced RAG 则引入多层过滤、压缩和知识增强,使检索更准、上下文更干净、回答更可靠。Naive RAG 使用单次向量检索,容易受到噪声片段、长文档稀释和幻觉影响;Advanced RAG 则通过多路召回(BM25 + Embedding)、段落切分优化、ReRank 重新排序、Selective Context/LLMLingua 压缩无关信息,以及检索后推理(ReAct / GraphRAG / Query Rewrite)来保证模型只看到最有用、最精炼的知识,从而大幅提高准确率、减少幻觉并显著降低 Token 成本。

**简单说:**Naive RAG 是“把文档喂给模型”,Advanced RAG 是“挑最 relevant + 最精华的上下文,让模型以最小的成本说最正确的话”。

Advanced RAG的索引优化

检索前的优化

  • **数据粒度优化:**修订简化内容确保正确性,删除不相关信息消除歧义,维护上下文连贯性

  • 优化索引结构:

    • chunk大小调整:根据场景特性动态切割文本,过大导致噪声增加,过小丢失上下文关联
    • 图数据索引(知识图谱):建立节点关系网络实现跨索引查询,如感冒药有哪些副作用?查询场景中,先用问题丢给向量数据库得到一些文档,再通过图谱找到"感冒药1/2/3"相关的知识,把这些知识丢给向量数据库再得到一些文档,最后把这些文档融合到一起,在丢给大模型给我们回答

  • 层级索引构建:构建多层索引结构以提高检索效率,先生成文档摘要层(20字代替1000字),快速定位后再精查具体chunk

  • **加入元数据信息:**如对会议纪要、新闻等时效数据标注日期,标题等加入元数据
  • **混合检索与对齐优化:**对一份文档预设用户可能会提问的问题,用户查询时,先把用户的问题对文档预设问题进行相似度的检索,这和多层索引有点像(多层索引是提炼文档的摘要,这里是提炼可能会问的问题)

检索中的优化

  • 微调Embedding模型:利用特定场景的语料去微调embedding模型将知识嵌入到模型中,但比较少用
    • 领域适配微调:使用金融/医疗等垂直语料微调向量模型,提升专业术语捕捉能力
    • 冷启动方案:先用通用模型检索,积累足够数据后再进行微调迭代
    • 效果边界:当领域术语占比超30%时建议微调,否则可能带来过拟合

检索后的优化

  • **ReRank机制:**用BERT等模型对Top100结果重排序,比如拿到前3个最相关
  • **Prompt Compression:**对ReRank机制后的3个结果,再进行压缩无关上下文、突出关键段落、减少整体上下文长度,Selective Context (利用小模型(或稀疏模型)对文本进行片段级评分)和 LLMLingua (LLMLingua 是由微软发布的一种 大模型 Prompt 压缩框,利用小模型对文本做逐句重要性评估)等方法利用小语言模型来做
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/29 9:32:53

一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操

一、LLMs 已经具备了较强能力了,为什么还需要 RAG(检索增强生成)? 尽管 LLM 已展现出显著的能力,但以下几个挑战依然值得关注: 幻觉问题:LLM 采用基于统计的概率方法逐词生成文本,这一机制内在地导致其可能出现看似逻…

作者头像 李华
网站建设 2026/4/29 6:18:36

A-59U 双波束黑科技,解决多场景拾音痛点!

作为声学设备爱好者,试过不少语音处理模组,但能兼顾工业级稳定、双目标拾音和深度降噪的,A-59U 必须拥有姓名!今天就带大家拆解这款双通道多模语音处理模块,看看它凭什么成为智能设备厂商的 “香饽饽”~一、…

作者头像 李华
网站建设 2026/4/24 1:12:12

Markdown嵌入LaTeX公式推导深度学习算法

Markdown嵌入LaTeX公式推导深度学习算法 在当今深度学习研发实践中,一个常见的困境是:理论推导散落在草稿纸或LaTeX文档中,代码实现在独立的脚本里,而实验记录又存于零散的日志文件。这种割裂状态不仅影响开发效率,更让…

作者头像 李华
网站建设 2026/4/26 8:03:16

Git alias设置快捷命令提高PyTorch开发效率

Git Alias 提升 PyTorch 开发效率的实践之道 在深度学习项目日益复杂的今天,一个流畅的开发环境往往决定了实验迭代的速度。尤其是在使用像 PyTorch-CUDA-v2.7 这类高度集成的容器镜像进行模型训练时,GPU 加速和依赖预装确实省去了大量配置时间&#xff…

作者头像 李华
网站建设 2026/4/10 12:23:10

云计算时代的计算虚拟化技术:架构、演进与未来趋势

云计算时代的计算虚拟化技术:架构、演进与未来趋势计算虚拟化作为云计算的核心支撑技术,通过抽象硬件资源实现计算能力的高效分配,已成为数字经济时代基础设施的关键组成部分。这项技术打破了传统物理服务器的资源壁垒,通过在单一…

作者头像 李华
网站建设 2026/4/29 10:53:16

【小增长电商排单系统拆解】流量焦虑下的破局:从公域“打猎”到私域“养鱼”,如何使用高效的电商排单工具促活私域?

小增长社群的电商卖家,尤其是早一批的老淘系卖家,聊的最多的就是:现在越来越卷,流量越来越贵了! 不管经营的是淘宝、还是拼多多,抖店,还是多平台运营,在当下流量稀缺电商税的时代&am…

作者头像 李华