上一篇简单跑通了基础数据合成、数据分类、难度标签、人工介入处理。为了进一步探索高质量数据合成，整理了一些制作策略。
在当前的 LLM 研发中，业内共识已发生根本性转变：数据质量远比模型结构重要。简单的“人工标注”或“让大模型大量生成QA”已不再是主流，真正的核心壁垒在于如何通过任务工程（Task Engineering），构建出高质量、高熵、高覆盖的数据集。
一、 核心思维转变：从“生成答案”到“定义任务”
数据蒸馏的难点不在于“让大模型生成数据”，而在于如何避免模型生成“模式坍塌”的垃圾数据。核心策略是从单纯的“生成答案”转向“生成高价值任务（Situation/Task）”。
二、 详解 Self-Instruct：如何构建任务扩展引擎
Self-Instruct 是数据蒸馏最经典的方法，但其工业级应用已远超早期的简单调用。
- 核心思想
利用强模型（Teacher）基于少量“种子任务（Seed Tasks）”进行递归扩展，通过自主生成更多同质或进阶的任务，解决数据规模扩展问题。
- 工业级进化版流程
- 输入： 100~300 条高质量、高信息密度的真实工程种子任务。
- 扩展（Expansion）： 模型不仅生成问答，还需根据预设的“能力树”进行任务分布扩展。
- 变异（Mutation）： 引入 Constraint Expansion（约束扩展）。例如，种子任务是“如何优化 vLLM
吞吐”，Self-Instruct 引擎会主动在 prompt 中加入：“在 GPU 显存受限、长文档场景、多租户并发、中Embedding 漂移” 等约束条件。
- 产出： 形成涵盖不同知识领域、不同推理逻辑的数万条多样化任务。
三、 难度控制：构建科学的“梯度学习”体系
很多蒸馏项目失败的原因是全是中低难度样本，导致模型上限受限。
- 三层难度划分
- 简单（30%）： 考察概念理解、基础 API 调用。
- 中等（50%）： 考察多步推理、基础系统架构设计。
- 高难（20%）： 这是模型能力上限的拉升点。高难样本通常包含：多步骤推理、目标冲突（既要低延迟又要高准确）、真实工程失败案例分析。
- 动态难度校准
- Difficulty Scoring： 业内先进团队会训练一个专门的 difficulty model 对生成数据进行打分。
- 小模型反向挖错：
在训练初期，用小模型（Student）在验证集上进行预测，将小模型“做错”且“经过人工筛选的高价值样本”作为后续蒸馏的重点，从而实现针对性的难度补强。
四、 数据多样性与防坍塌策略
当模型在同一个 prompt 模板下大量生成数据时，会导致模型语气、结构和推理逻辑趋同（模式坍塌）。
- 确保多样性的实战方案
- 多 Teacher 混合生成： 不要只用一个模型（如 GPT-4）。混合使用 Claude, Gemini, Qwen, DeepSeek等不同家族的模型进行生成，利用模型间的偏好差异打破模板化特征。
- Temperature Diversification： 对同一任务设置不同的 temperature 参数，增加生成的随机性和覆盖范围。
- 风格扰动（Persona-driven）： 强制 Teacher 扮演不同角色进行生成，如：“以 debug
专家口吻”、“以代码审查者口吻”、“以论坛用户口吻”等。这能显著增加数据的熵值（Entropy）。
- 加入真实数据： 真实用户数据与合成数据混合（通常比例为 1:N）是业内最强训练集的黄金准则，真实数据作为“锚点”，防止合成数据偏离生产环境。
五、 工业级流水线总结：从“随机生成”到“严控生产”
构建一个成熟的蒸馏流水线，后半段的加工环节往往比生成环节更关键：
- 能力树定义： 构建覆盖检索、推理、Agent、系统优化等维度的正交能力树。
- 种子数据： 收集高密度工程案例，确保每条种子都包含真实约束与 Tradeoff。
- 任务生成（Self-Instruct + Constraint Mutation）： 引入失败注入（Failure
Injection），让任务包含“系统崩溃”、“延迟超标”等真实故障现象。
向量空间进行去重。
总结建议： 个人或小团队拼规模（百万条数据）毫无意义，应聚焦于“高价值任务密度”。构建出 100 个具有高代表性的真实工程模式，通过 Agent自动化扩展出的数万条高熵数据，足以打造出超越低质量大规模数据集的卓越小模型。
- 严格清洗：
- 格式检查： JSON、代码、Markdown。
- 可执行验证（Verifier）： 针对代码任务，必须自动运行单元测试和 Benchmark，无法跑通的直接丢弃，这是目前效果最好的质控手段。
- 去重（Embedding De-duplication）： 工业级蒸馏数据中，约 30%-70% 存在近重复，必须通过 Embedding
- 最终产出： 经过难度均衡与风格扰动后的“高熵”高质量合成数据集。
