👨⚕️主页: gis分享者
👨⚕️感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!
👨⚕️收录于专栏:AI大模型原理和应用面试题
文章目录
- 一、🍀回答重点
- 二、🍀方法和策略
- 2.1 ☘️检索阶段防幻觉策略
- 2.2 ☘️生成阶段防幻觉技术
- 2.3 ☘️后处理验证方法
- 2.4 ☘️系统级防幻觉架构
- 2.5 ☘️实用技巧和最佳实践
- 2.6 ☘️评估和迭代
- 三、🍀扩展知识
一、🍀回答重点
虽然 RAG 本身就是为了减少幻觉而设计的,但不能完全消除。减少 RAG 系统的幻觉需要在多个环节采取措施。
首先是 Prompt 层面的约束。在系统提示词中明确要求"只基于提供的文档回答"、“如果文档中没有相关信息,明确说不知道,不要编造”、“必须能在文档中找到依据”。这些强约束能让模型更谨慎,遇到不确定的信息不会强行生成。
其次是提高检索质量。如果检索到的文档本身就不相关或质量不高,模型也容易产生幻觉。通过优化检索策略、使用重排序、设置合理的相似度阈值,确保给模型的都是高质量参考资料。检索是源头,源头质量好,幻觉自然少。
第三是要求标注来源。在 Prompt 中要求模型标明每条信息的出处,如"根据文档2,…"。这种要求会让模型更注重文档依据,不太敢随意发挥。而且标注来源方便人工核查,能快速发现幻觉内容。
第四是降低 temperature 参数。temperature 控制生成的随机性,值越低输出越确定。对于 RAG 这种事实性任务,建议设置 temperature=0 或接近 0,让模型选择最可能的输出,减少创造性发挥。虽然可能显得机械,但准确性更重要。
第五是使用验证机制。生成答案后,用另一个模型验证答案是否跟文档一致。或者设计规则检查,如答案中的数字、日期、人名是否在文档中出现。发现不一致的可以标记为"待核实"或重新生成。