前言
当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这些都无法通过Loss曲线察觉。因此，建立一套面向垂域的、自动化的、结构化的评估体系，已成为模型工程化的关键基础设施。本文不谈玄学指标，聚焦实操路径，从测试集生成、自动打分到人工验证，完整拆解如何让模型效果“看得见、比得清、改得准”。笔者在多个行业项目中反复验证，这套方法能显著缩短调优周期，避免无效训练，真正把评估从成本中心转变为效能引擎。
1. 通用评估为何在垂域失效
1.1 评测目标错位：通用能力 ≠ 领域胜任力
通用大模型在公开语料上训练，其评估基准（如常识推理、语言流畅度）与企业实际需求存在天然断层。一个在MMLU上得分90的模型，面对内部技术手册中的“设备安全操作阈值”或“合规审批流程”时，可能完全无法作答。垂域任务的核心不是泛化表达，而是精准提取、严格遵循和无幻觉输出。这种能力无法通过通用问答衡量。
- 通用评测关注“是否通顺”，垂域评测关注“是否准确”
- 通用评测容忍合理推断，垂域评测要求字字有据
- 通用评测鼓励多样性，垂域评测强调一致性
1.2 三大核心评估诉求被忽视
垂域模型落地必须回答三个问题，而通用评估无法提供答案：
- 选型验证：多个开源模型在未微调前，谁对本领域文档的理解更深？
- 微调效果验证：SFT后模型是否真正掌握了专业知识，而非简单记忆训练样本？是否存在灾难性遗忘？
- RAG归因分析：生成内容是否基于检索上下文？幻觉是来自检索缺失还是生成偏差？
这三个问题共同指向一个需求：必须使用领域内真实数据构建测试集。脱离具体业务语境的评估，如同用体温计量血压——工具没错，但用错了地方。
2. 构建垂域测试集：从文档到结构化题目
2.1 测试集的本质是“知识采样器”
评估数据集不是随机问题的堆砌，而是对领域知识体系的有代表性的抽样。理想测试集应覆盖关键概念、易错点、边界条件和典型推理链。传统做法依赖专家手工出题，效率低且覆盖面窄。现代方案利用大模型自身作为“出题教师”，从原始文档自动生成结构化题目。
- 输入：PDF、Word、Markdown等非结构化领域文献
- 处理：文本切块 + 全局摘要注入（避免上下文割裂）
- 输出：五类题型组成的结构化测试集
2.2 五类题型的设计逻辑与作用
不同题型考察模型不同维度的能力，组合使用才能全面评估：
| 题型 | 答案形式 | 考察能力 | 适用场景 |
|---|---|---|---|
| 判断题 | 是/否 | 事实准确性、抗幻觉能力 | 核心参数、禁止项、硬性规定 |
| 单选题 | A/B/C/D | 干扰项辨析、关键信息定位 | 概念区分、流程步骤 |
| 多选题 | ["A","C"] | 信息完整性、细节覆盖 | 多条件触发、复合规则 |
| 简答题 | ≤20字短文本 | 核心知识点提取与精炼 | 数值、名称、定义 |
| 开放题 | 长文本 | 推理、归纳、因果分析 | 故障诊断、方案建议 |
笔者认为，题型比例应根据业务风险偏好调整。例如，医疗或金融场景应提高判断题和单选题比例，以严控事实错误；而咨询或客服场景可增加开放题，考察解释能力。
3. 自动化评估：规则判分与教师模型协同
3.1 客观题：规则判分零误差
判断题、单选题、多选题的答案具有确定性，系统可通过精确字符串匹配或集合运算直接判分。这种方式计算快、结果稳定、可复现，适合大规模批量测试。
- 支持按标签、题型、难度动态筛选题目组成“考卷”
- 支持随机采样加速评估（如1000题抽50题快速验证）
- 错题可回溯至原文片段，便于归因分析
这类评估解决了“定量难”的问题。开发者可以明确看到：模型在“安全规范”类题目上正确率85%，在“设备参数”类上仅60%，从而精准定位薄弱环节。
3.2 主观题：教师模型作为“裁判员”
简答与开放题的答案具有开放性，需借助更强模型进行语义评估。此即“LLM as a Judge”范式。关键不在于使用哪个大模型，而在于评分提示词（scoring prompt）的设计。
- 评分维度应包含：事实准确性、逻辑连贯性、信息完整性、无幻觉
- 必须为垂域定制评分细则（如法律场景强调条款引用，工程场景强调数值精度）
- 同一评估任务应固定教师模型与提示词，确保分数可比
实践中，笔者发现通用评分模板常高估“文采”而低估“准确”。例如，一个回答“利率上调将抑制通胀”的模型，若未引用具体政策文件，在金融合规场景应扣分，但通用评委会给高分。因此，评分规则必须嵌入业务约束。
4. 人工盲测：回归人类直觉的最后一道防线
4.1 自动化评估的盲区
即使是最精细的教师模型评分，仍可能与人类判断存在偏差。尤其在以下场景：
- 回答风格偏好（简洁 vs 详尽）
- 安全性与合规性边界判断
- 多轮对话的上下文连贯性
此时，人工评估不可替代。但传统人工评估易受模型名称、先验印象干扰。盲测通过匿名化模型输出，强制评审者仅基于内容质量判断。
4.2 盲测的竞技场模式
系统将两个模型对同一问题的回答并排展示（左右布局），评审者选择“左更好”、“右更好”或“平局”。这种Side-by-Side比较已被学术界证明最贴近人类真实偏好。
- 胜率 = 模型获胜次数 / 总对比次数
- 平局率高说明模型性能接近，需更细粒度测试
- 可针对特定题型（如开放题）单独启动盲测
笔者观察到，当自动化分数差距小于5%时，盲测结果往往成为上线决策的关键依据。它不提供精确分数，但提供方向性确认——这正是工程落地最需要的信号。
5. 构建评估闭环：从单次测试到持续追踪
5.1 测试集的动态演进
评估不应是一次性动作。随着业务文档更新、模型迭代，测试集也需同步演进：
- 新增文档自动触发题目生成
- 训练集样本可转化为评估变体（如改写问法）以检测泛化能力
- 历史错题自动加入“重点监控集”
这种机制确保评估始终对齐最新业务状态，避免模型在旧数据上过拟合。
5.2 评估驱动的调优循环
完整的模型优化应形成闭环：
- 用初始测试集评估基线模型
- 根据错题分析确定SFT或RAG改进方向
- 微调/调整后在同一测试集上复测
- 若提升显著，扩大测试规模；若停滞，启动盲测或专家复核
该闭环将“试错”变为“靶向优化”。笔者在实践中看到，团队采用此方法后，平均调优周期缩短40%，无效训练减少60%。
结语
垂域大模型的价值不在参数规模，而在解决具体问题的能力。而能力是否提升，不能靠“看起来不错”来判断。只有通过结构化测试集、自动化打分与人工验证的三层评估体系，才能将模糊的“感觉”转化为清晰的“数据”。当每一次微调都有明确的分数变化，每一次RAG调整都有可追溯的幻觉下降，模型工程才真正从艺术走向科学。这条路没有捷径，但每一步都算数。
