目标:为企业 FAQ Bot 上线前做全面检查,涵盖数据、模型、检索、提示、安全、监控与回滚,降低上线风险。
1. 数据与检索
- FAQ/知识库覆盖率:常见问题、边界问题;
建议输出引用编号与日期,并保留原文片段,便于核查。 - 切分策略与索引:窗口/重叠参数固定,索引重建完成;
涉及多地域/多版本时需列出差异并提示适用范围;无检索结果时直接拒答。 - 召回质量;
对召回质量(Ragas/DeepEval/人工抽检,Recall@k 达标)结果做去重与版本一致性检查,防止拼接不同版本导致误导。 - 过期/无答案处理
过期/无答案处理(拒答或引导反馈)可在响应里标记证据来源,方便审计与后续修订。
2. 模型与提示
- 模型版本锁定;
量化/加速已验证要明确输出结构、长度边界与拒答条件,避免模型自由发挥;可提供正反例对齐格式。 - 系统提示/模板版本记录,含引用与拒答要求;
涉及固定格式时,把字段解释写入提示词,并在生成后做格式校验,保证可被下游直接消费。 - 长度控制:max_tokens、上下文长度;
建议参数化并版本化管理,变更时记录示例输出,便于回归对比。