手把手教你用Qwen2.5-0.5B实现法律文本自动生成

手把手教你用Qwen2.5-0.5B实现法律文本自动生成

1. 项目背景与目标

随着大语言模型（LLM）在自然语言处理领域的广泛应用，如何让通用模型更好地服务于垂直领域成为研究热点。法律行业因其专业性强、术语严谨、逻辑严密等特点，对模型的准确性与可解释性提出了更高要求。

本文将基于阿里开源的Qwen2.5-0.5B-Instruct模型，结合 Hugging Face 生态工具链，完成一次完整的有监督微调（Supervised Fine-Tuning, SFT），打造一个能够生成专业法律分析文本的小型专用模型——我们称之为“QWLawyer-0.5B”。

该模型具备以下能力： - 理解中文法律指令 - 输出结构化、条理清晰的法律推理过程 - 支持长上下文输入和输出（最高8K tokens） - 可部署于轻量级算力环境（如单卡V100或4×4090D）

通过本教程，你将掌握从数据准备到模型训练、测试与优化的全流程实践技能。

2. 技术选型与镜像介绍

2.1 Qwen2.5-0.5B-Instruct 核心特性

Qwen2.5-0.5B-Instruct是通义千问系列中参数量最小但专为指令理解优化的版本，特别适合资源受限场景下的快速实验与原型开发。

其核心优势包括：

💡为什么选择这个模型？

对于法律文本生成这类需要高精度而非超大规模知识覆盖的任务，小模型反而更具优势：训练成本低、推理速度快、易于调试和部署。尤其适合初创团队或个人开发者进行垂直领域探索。

3. 数据准备与预处理

3.1 数据集选择：lawyer_llama_data

我们选用 Hugging Face 上公开的中文法律问答数据集lawyer_llama_data，该数据集具有以下特点：

• 总样本数：21,476 条
• 数据格式：JSON
• 字段说明：
• instruction: 用户提问或法律问题描述
• input: 补充背景信息（部分为空）
• output: 法律专家撰写的详细回答
• history: 对话历史（可用于多轮对话建模）

示例数据片段：

{ "instruction": "下列选项属于《民事诉讼法》直接规定、具有简易程序特点的内容?", "output": "根据《民事诉讼法》第一百零八条规定……综上所述，原告起诉或被告答辩时要向法院提供明确的送达地址……" }

⚠️ 注意：该数据集主要用于法学考试题解析，因此输出风格偏“答题模式”。若用于真实法律咨询场景，建议补充实务判例数据。

3.2 数据本地化与加载

由于服务器无法科学上网，需提前通过国内镜像站点下载并保存至本地目录：

from datasets import load_dataset # 加载本地数据 train_dataset = load_dataset('json', data_files='./data/lawyer_llama_data_train.json', split='train')

3.3 数据预处理函数设计

为了适配SFTTrainer的训练方式，我们需要将原始数据转换为“指令 + 回答”拼接的形式，并构造标签序列。

from transformers import AutoTokenizer model_name = "Qwen/Qwen2.5-0.5B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True) def preprocess_function(examples): inputs = [] labels = [] for instruction, output in zip(examples["instruction"], examples["output"]): # 构造输入文本 input_text = f"指令: {instruction}\n分析结果: " inputs.append(input_text) # 构造带标签的完整序列（用于因果语言建模） label_text = input_text + output labels.append(label_text) # 分词编码 model_inputs = tokenizer( inputs, max_length=512, truncation=True, padding=False ) with tokenizer.as_target_tokenizer(): labels_encoded = tokenizer( labels, max_length=512, truncation=True, padding=False ) model_inputs["labels"] = labels_encoded["input_ids"] return model_inputs # 应用预处理 tokenized_train_dataset = train_dataset.map(preprocess_function, batched=True)

预处理效果示意图

处理后每条样本形如：

input_ids: [101, 234, ..., 567] # "指令: ...分析结果: " labels: [101, 234, ..., 567, 890, ...] # 完整序列，包含答案部分

其中labels中非输入部分参与损失计算，确保模型只学习“生成回答”的行为。

4. 模型训练配置与执行

4.1 使用 SFTTrainer 简化训练流程

Hugging Face 的trl库提供了SFTTrainer，极大简化了指令微调的实现难度，无需手动编写训练循环。

安装依赖：

pip install trl peft accelerate bitsandbytes transformers

4.2 训练参数设置

from trl import SFTTrainer from transformers import TrainingArguments from peft import LoraConfig # LoRA 配置（降低显存占用） peft_config = LoraConfig( r=8, lora_alpha=16, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) # 训练参数 training_args = TrainingArguments( output_dir="./models/saved_model", num_train_epochs=3, per_device_train_batch_size=4, gradient_accumulation_steps=8, optim="adamw_torch", logging_steps=10, save_strategy="epoch", learning_rate=2e-4, fp16=True, warmup_ratio=0.1, report_to="none", disable_tqdm=False ) # 初始化 Trainer trainer = SFTTrainer( model=model_name, args=training_args, train_dataset=tokenized_train_dataset, tokenizer=tokenizer, peft_config=peft_config, dataset_text_field="text", # 实际使用自定义 collator 更佳 max_seq_length=512 )

4.3 启动训练

trainer.train() trainer.save_model("./models/final_qwlawyer_0.5b")

训练资源消耗统计

✅ 小贴士：使用 LoRA 微调可将显存需求降低 60% 以上，是小显存设备上的首选方案。

5. 模型测试与推理验证

5.1 加载微调后模型

from transformers import AutoModelForCausalLM, AutoTokenizer model_ckpt = "./models/final_qwlawyer_0.5b" model = AutoModelForCausalLM.from_pretrained(model_ckpt) tokenizer = AutoTokenizer.from_pretrained(model_ckpt) # 设置设备 device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device)

5.2 编写推理函数

def generate_legal_analysis(instruction): input_text = f"指令: {instruction}\n分析结果: " input_ids = tokenizer(input_text, return_tensors="pt").to(device) outputs = model.generate( **input_ids, max_new_tokens=512, do_sample=True, top_p=0.85, temperature=0.35, pad_token_id=tokenizer.eos_token_id ) full_output = tokenizer.decode(outputs[0], skip_special_tokens=True) # 提取“分析结果”之后的内容 result_start = full_output.find("分析结果: ") + len("分析结果: ") final_result = full_output[result_start:] return final_result

5.3 实际案例测试

输入指令：

“上海迪士尼安检人员不准游客携带零食进入迪士尼。”

模型输出：

以上说法涉及消费者权益保护与园区管理权之间的平衡问题。根据《中华人民共和国消费者权益保护法》第九条规定，消费者有权自主选择商品和服务，但同时也应遵守经营场所的合理管理制度。上海迪士尼制定禁止携带食品入园的规定，属于企业自主经营管理范畴，但需注意不得侵害消费者的公平交易权。此外，《民法典》第五百零六条指出，格式条款若免除经营者责任、加重消费者义务，可能被认定无效。因此，该规定是否合法，取决于其合理性及是否存在替代便利措施（如允许密封食品进入）。综上，该做法虽有一定依据，但在执行中应注意比例原则，避免过度限制消费者权利。

✅评价：尽管模型未能引用具体法规条文编号，但已展现出基本的法律思维框架（权利冲突 → 法律依据 → 利益衡量 → 结论），对于一个仅0.5B的小模型而言，表现可圈可点。

6. 不足分析与优化建议

6.1 当前局限性

6.2 可行优化方向

1. 引入 Early Stoppingpython training_args = TrainingArguments( ... evaluation_strategy="epoch", metric_for_best_model="eval_loss", load_best_model_at_end=True, save_total_limit=2 )需额外划分validation_dataset并实现评估逻辑。

2. 增强数据质量

3. 清洗低质量样本（如重复、错别字、无意义问答）
4. 引入真实判决书摘要、律师函模板等多样化数据源

5. 添加拒答机制：“当前问题超出我的专业范围”等安全响应

6. 升级模型架构

7. 尝试更大参数量版本（如 Qwen2.5-7B-Instruct）

8. 使用 RAG（检索增强生成）接入外部法律数据库，提升事实准确性

9. 部署优化

10. 使用 ONNX 或 GGUF 格式量化模型，支持 CPU 推理
11. 搭配 LangChain 构建法律问答系统前端接口

7. 总结

本文以Qwen2.5-0.5B-Instruct为基础，完整演示了如何通过 Hugging Face 工具链对大语言模型进行法律领域的指令微调。整个过程涵盖了：

• 数据集选取与清洗
• 输入格式构造与分词处理
• LoRA 高效微调策略应用
• 模型训练、保存与推理测试
• 实际输出评估与改进建议

虽然 0.5B 模型在知识密度上存在天然限制，但通过精准的数据引导和合理的训练方法，仍能胜任初级法律咨询辅助任务。更重要的是，这一实践路径为后续构建更专业的法律AI系统奠定了坚实基础。

未来，我们可以进一步结合向量数据库、RAG架构与工作流引擎，打造真正可用的智能法律顾问系统。

💡获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。