RAG的工作流程涉及3个主要阶段：数据准备、数据召回和答案生成。
数据准备阶段包括识别数据源、从数据源提取数据、清洗数据并将其存储在数据库中。数据召回阶段包括根据用户输入的查询条件从数据库中检索相关数据。答案生成阶段则是利用检索到的数据和用户输入的查询条件生成输出结果。输出质量的高低取决于数据质量和检索策略。
数据召回：是从大型文本数据库中检索与输入相关的信息。召回的数量越大，正确答案被召回的概率也就越高
答案生成：一旦检索到用户问题相关的数据片段，RAG系统就将其与用户的问题和相关数据一起传递给生成器（LLM）。LLM利用检索到的数据和用户的查询或任务生成输出。输出的质量取决于数据的质量和检索策略，同时生成输出的指令也会极大地影响输出的质量。
不同类型的数据库
向量存储库
向量存储库非常适合存储文本、图像、音频等非结构化数据，并根据 语义相似性搜索数据。向量模型用于为数据库中存储的数据生成向量嵌入。
搜索引擎
在RAG系统中，可以从通用搜索引擎（如百度、Bing等）或内部搜索引擎（如Elasticsearch、Solr等）中检索数据。在RAG架构的检索阶段，使用问题/任务详细信息查询搜索引擎，搜索引擎返回最相关的文档。
图数据库
图数据库以节点和边的形式存储数据。它适用于存储结构化数据，如表格、文档等，并使用数据之间的关系搜索数据。
RAG的优缺点
优点：
高质量的答案生成，降低答案生成的幻觉
在生成过程中，检索器可以从大量文档中检索问题相关的信息，然后基于这些信息生成回答。这使得整个系统能够充分利用现有知识生成更准确、更具深度的回答，也意味着模型出现幻觉答案的概率更小。
可扩展性
由于RAG采用了检索—生成的框架，因此只需更新检索部分的数
据，就可以使模型适应新的知识领域。这使得RAG在面对新领域或不断更新的知识库时具有很强的适应性。
模型可解释性
我们可以理解模型是如何生成回答的。由于RAG的特性，我们可以很容易地追溯模型是从哪些文档中提取信息的。这使得我们可以评估模型的回答是否基于可靠的数据来源，从而提高模型的可信度。
成本效益
由于RAG的知识库能够与生成模型解耦，因此只要拥有一定的数据量，企业便可将RAG作为微调的替代方法，而微调可能需要大量资源。这种模式对中小企业非常友好。从另一个角度来看，由于企业的数据都是私有的，提供相关文档作为背景信息可以使生成结果更加准确、更具实用性，以满足企业的特定任务需求。
缺点：
依赖于检索模块
RAG系统给出的答案极其依赖于检索的质量。
依赖于现有的知识库
RAG依赖于一个现有的文档数据库进行检索。首先，如果没有一个大规模的知识库，就无法发挥RAG的优点。其次，如果知识库覆盖面不够，无法召回相应的知识块，那么模型因为需要遵循指令的约束而无法给出答案，这就会影响到整个系统的问题覆盖率。
推理耗时
由于RAG系统需要先检索文档，然后生成答案，相比于纯粹的大模型推理，整个系统的推理耗时会更长。在使用网页端ChatGPT的时候，它以流式打字机的模式展示并按字来输出结果，所以用户可能不会感觉很慢。
上下文窗口限制
召回模块输出的文档片段数量需要考虑到生成模型能处理的最大长度
RAG的使用场景
文档问答
RAG系统可以从大量文档中检索相关信息，帮助回答用户提出的问题。这种方法可以显著提高回答质量和准确性，因为它利用了大量现有的知识资源。
图谱问答
知识图谱是一种以三元组形式存储各种知识的结构化表示方法。它提供了一种统一、可维护和可扩展的知识表示形式。在图谱问答场景中，RAG系统可以从知识图谱中检索相关实体和关系，以回答用户的问题。这种方法可以有效地处理复杂的问题，因为它可以灵活地组合和推理知识图谱中的多跳信息。
工具召回
在智能代理（agent）应用中，RAG系统可以根据用户的问题从预先配置好的工具列表中检索出对问题回复有帮助的工具，然后模型会判断是否调用某个工具生成一个观察结果来确定最终的答案。这种方法可以提高回答的实用性和针对性，因为它可以根据问题的具体情况选择合适的工具。
示例召回
在传统的FAQ问答系统中，人工会提前配置好各种可能的问答对。当用户咨询新的问题时，RAG系统可以检索出与问题相关的问答对，并进行回复。这种方法可以提高回答的速度和准确性，因为它利用了预先准备好的、经过验证的问答对。通过不断更新和扩展问答对库，RAG系统可以持续提高其性能和覆盖范围。除此之外，还有一些衍生的场景，例如会话召回、上下文召回等。
伸缩法则是指随着模型的大小、数据集的大小以及用于训练的计算量的增加，模型的性能会提升。
