检索系统评估要先定义可复验的口径

检索系统评估要先定义可复验的口径

在 RAG（检索增强生成）系统的研发与迭代过程中，仅依赖主观抽样评估容易导致系统优化偏离实际效果。

如果仅在调整 Chunk 切分策略或 Embedding 模型维度后进行少量用例的人工测试，极易掩盖隐蔽的检索退化问题。当关键产品参数或文档切片由于规则变更被割裂时，检索模块可能无法精准召回目标上下文，从而引发生成阶段的非预期响应。

主观抽检缺乏指标量化与重复验证能力。要保障 RAG 系统在生产环境下的稳定性，必须建立分层自动化测试与质量评估体系。

1. 架构分析：RAG 系统的质量传递链条

RAG 系统包含“文档切分 -> 向量索引 -> 检索召回 -> 重排 Re-rank -> Prompt 组装 -> LLM 生成”多个核心环节。回答质量下降可能源于链路中的任意节点。

若仅对比最终输出与标准答案，属于黑盒端到端评估。当最终得分下降时，难以直接定位问题来自于向量检索未召回相关文档，还是由于上下文过长导致生成模块忽略了关键信息。

2. 三层回归测试体系

将 RAG 系统的评估拆分为三层结构：

单元测试层（Unit Test）

专注于评估检索层的确定性指标。

• Hit@K：前 K 个召回切片中包含预期目标文档 ID 的比例。
• MRR (Mean Reciprocal Rank)：目标切片在召回列表中的平均排名倒数。
• 切分边界测试：校验 JSON 结构体或 Markdown 标题在切分过程中是否保持结构完整。

集成测试层（Integration Test）

评估检索上下文与生成模块输出之间的逻辑对应关系。

• 上下文相关性（Context Relevance）：召回切片中相关内容与噪声段落的比例。
• 忠实度（Faithfulness）：评估生成回答中的断言是否完全由召回上下文支撑，防止产生无依据内容。

端到端测试层（End-to-End Test）

评估最终场景下的综合表现。

• 语义正确率（Answer Correctness）：结合语义重合度与模型断言评估综合准确率。
• P99 延迟与并发性能：评估包含检索、重排与生成在内的全链路响应耗时。

3. Python 分层评测套件实现

以下为使用 Python 实现的 RAG 分层自动化回归测试套件。包含基于向量召回的 Hit@K 单元断言，以及针对 Faithfulness（忠实度）与上下文相关性的评估逻辑。

import os import json import numpy as np from typing import List, Dict, Any from pydantic import BaseModel, Field class EvaluationDataset(BaseModel): query: str expected_doc_ids: List[str] reference_answer: str class TestResult(BaseModel): query: str hit_at_k: float context_relevance_score: float faithfulness_score: float passed: bool class RAGMetricsEvaluator: def __init__(self, mock_vector_search_func, mock_llm_judge_func): self.search_func = mock_vector_search_func self.llm_judge_func = mock_llm_judge_func def evaluate_hit_at_k(self, retrieved_doc_ids: List[str], expected_doc_ids: List[str], k: int = 3) -> float: top_k_retrieved = set(retrieved_doc_ids[:k]) target_set = set(expected_doc_ids) intersection = top_k_retrieved.intersection(target_set) return len(intersection) / len(target_set) if target_set else 0.0 def evaluate_context_relevance(self, query: str, retrieved_contexts: List[str]) -> float: prompt = f""" 你是一名专业的数据评测员。请评估以下召回文本块与用户问题的相关度。 问题：{query} 召回文本块：{json.dumps(retrieved_contexts, ensure_ascii=False)} 只输出一个 0.0 到 1.0 之间的浮点数字，不要输出其他文字。 """ raw_score = self.llm_judge_func(prompt) try: return float(raw_score.strip()) except ValueError: return 0.0 def evaluate_faithfulness(self, retrieved_contexts: List[str], generated_answer: str) -> float: prompt = f""" 请判断下面的回答是否完全基于参考上下文。如果回答中包含了上下文未提及的硬事实，视为幻觉。 参考上下文：{json.dumps(retrieved_contexts, ensure_ascii=False)} 生成回答：{generated_answer} 输出格式：若无幻觉输出 1.0，若存在严重幻觉输出 0.0。只输出数字。 """ raw_score = self.llm_judge_func(prompt) try: return float(raw_score.strip()) except ValueError: return 0.0 def run_suite(self, eval_dataset: List[EvaluationDataset], top_k: int = 3) -> List[TestResult]: results = [] for data in eval_dataset: # 1. 调用检索模块 retrieved_docs = self.search_func(data.query, top_k=top_k) retrieved_ids = [doc["id"] for doc in retrieved_docs] retrieved_texts = [doc["text"] for doc in retrieved_docs] # 2. 计算单元指标 Hit@K hit_score = self.evaluate_hit_at_k(retrieved_ids, data.expected_doc_ids, k=top_k) # 3. 计算集成指标 上下文相关度 & 忠实度 relevance_score = self.evaluate_context_relevance(data.query, retrieved_texts) mock_generated_answer = f"根据文档，{retrieved_texts[0] if retrieved_texts else '未找到数据'}" faithfulness_score = self.evaluate_faithfulness(retrieved_texts, mock_generated_answer) # 判定门禁：Hit@K >= 0.5 且无严重幻觉 is_passed = hit_score >= 0.5 and faithfulness_score >= 0.8 results.append(TestResult( query=data.query, hit_at_k=hit_score, context_relevance_score=relevance_score, faithfulness_score=faithfulness_score, passed=is_passed )) return results # ===== 基础设施模拟与测试用例 ===== def mock_vector_search(query: str, top_k: int = 3): if "配置" in query: return [ {"id": "doc_101", "text": "系统的最大超时配置项为 max_timeout=30s。"}, {"id": "doc_102", "text": "MySQL 连接池配置 size=50。"} ] return [{"id": "doc_999", "text": "无相关公开说明。"}] def mock_llm_judge(prompt: str) -> str: if "相关度" in prompt: return "0.9" if "幻觉" in prompt: return "1.0" return "0.5" if __name__ == "__main__": dataset = [ EvaluationDataset( query="系统最大超时配置是多少？", expected_doc_ids=["doc_101"], reference_answer="系统的最大超时配置为 30 秒。" ), EvaluationDataset( query="未知的系统命令是什么？", expected_doc_ids=["doc_500"], reference_answer="无相关说明" ) ] evaluator = RAGMetricsEvaluator(mock_vector_search, mock_llm_judge) suite_results = evaluator.run_suite(dataset, top_k=2) print("\n========== RAG 自动化评测结果汇总 ==========") for idx, res in enumerate(suite_results, 1): status = "✅ PASS" if res.passed else "❌ FAIL" print(f"用例 [{idx}] {status} | Query: '{res.query}'") print(f" ├── Hit@{2}: {res.hit_at_k:.2f}") print(f" ├── Context Relevance: {res.context_relevance_score:.2f}") print(f" └── Faithfulness: {res.faithfulness_score:.2f}")

自动化评估套件的特点在于解耦了Hit@K的确定性检索计算与语义逻辑的断言过程。

在持续集成（CI/CD）流水线上，离线运行 Hit@K 与索引完整度校验能够快速验证代码修改是否破坏既有检索逻辑；而包含语义忠实度检查的集成评测，则可作为全量回归测试手段定期触发。

4. 指标基线与自动化门禁机制

在持续集成流水线中引入自动化评测时，可设置以下强制阻断门禁：

1. 检索 Hit@3 基线硬门禁：测试集 Hit@3 指标需 ≥ 88%。若低于该阈值，拦截代码合并。
2. 忠实度指标门禁：在基准测试样本中，Faithfulness 得分低于 0.8 的比例须控制在 1% 以内。

在对 RAG 系统进行分阶段优化的测试中，评估指标变动数据如下：

数据的提升验证了自动化回归流水线在保障系统结构调整安全性方面的效用。

5. 总结

构建合理的 RAG 系统评估机制需避免单一离线指标评价。通过建立“单元层验证索引与召回、集成层验证相关性与忠实度、端到端层验证整体体验”的分层防护体系，并在 CI/CD 中嵌入明确的指标门禁，可确保 RAG 架构演进过程的客观性与稳定性。