一、嵌入模型选型
在RAG系统中,嵌入模型用于将文档和查询转换为向量表示,以便进行相似度计算。选型需考虑以下因素:
- 效果:模型在目标领域的中文文本嵌入效果。
- 速度:推理延迟,影响用户体验。
- 资源消耗:模型大小和计算需求。
- 微调支持:是否支持高效微调(如LoRA)。
| 维度 | 需求 | 推荐方案 |
|---|---|---|
| 中文能力 | 专业术语理解(网络/安全/云计算/服务器) | BGE-large-zh + 领域微调 |
| 性能要求 | 低延迟(<50ms) | 量化版m3e-base |
| 长文本 | 技术文档处理(平均2000字) | text2vec-large + 动态分块 |
| 成本控制< |