TRL完整教程：从零开始掌握大模型微调，SFT/GRPO/DPO一次跑通-编程实验室

TRL完整教程：从零开始掌握大模型微调，SFT/GRPO/DPO一次跑通

【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl

想让模型学会解题、学会你的写作风格、或者变得更"听话"？TRL 就是干这个的——它是 Hugging Face 出品的 transformer 强化学习与后训练库，一行pip install装上后，几行 Python 代码或一条命令行就能启动微调。这篇文章带你走完全流程：安装、第一次跑通、按需求选训练方法、以及生产环境常见的显存和性能坑。

TRL 是什么：一句话定位

TRL（Transformers Reinforcement Learning）由 Hugging Face 官方维护，构建在 🤗 Transformers 生态之上，专门负责基础模型的后训练（post-training）。它的差异化优势：

训练器齐全：SFTTrainer（监督微调）、GRPOTrainer（R1 同款算法）、DPOTrainer、KTOTrainer、RewardTrainer 等，稳定 API 都收敛在 trl/trainer/ 下
省显存：深度集成 🤗 PEFT，支持 LoRA/QLoRA 量化训练，消费级显卡也能微调大模型
可横向扩展：基于 🤗 Accelerate，从单卡到多机集群（DDP、DeepSpeed ZeRO、FSDP）都开箱即用
零代码 CLI：不写代码也能训练，trl sft、trl dpo、trl grpo等命令直接跑

5分钟快速上手：第一次运行怎么起步

第一步，确认环境。TRL 依赖 PyTorch 和 Transformers，建议 Python 3.10+，有 NVIDIA GPU 的话再装 CUDA 版 PyTorch。

第二步，安装：

pip install trl

第三步，跑最小可运行示例。官方推荐用 SFT 做第一次体验，直接复制这段（模型和数据集都是小体量，消费级显卡几分钟能跑完一个 step）：

from trl import SFTTrainer from datasets import load_dataset trainer = SFTTrainer( model="Qwen/Qwen2.5-0.5B", train_dataset=load_dataset("trl-lib/Capybara", split="train"), ) trainer.train()

不想写代码？用 CLI 一条命令等价启动：

trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \ --dataset_name trl-lib/Capybara \ --output_dir Qwen2.5-0.5B-SFT

训练结束后，output_dir里就是可直接用 Transformers 加载的微调模型。

按场景选方法：核心能力对照

想让模型学会你的数据风格 → SFT

监督微调是最基础的起点。你的数据只需{"text": ...}或{"messages": [...]}（对话格式），支持标准格式和对话格式两种，完整字段规范见 docs/source/dataset_formats.md。入口有两个：SFTTrainer（Python）或trl sft（命令行，对应 trl/scripts/sft.py）。

想让模型"做题试错" → GRPO

GRPO 是 DeepSeek R1 用的强化学习算法，比 PPO 省显存，不需要额外训练奖励模型——你只提供奖励函数即可：

from trl import GRPOTrainer from trl.rewards import accuracy_reward trainer = GRPOTrainer( model="Qwen/Qwen2.5-0.5B-Instruct", train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"), reward_funcs=accuracy_reward, ) trainer.train()

trl.rewards内置了accuracy_reward、reasoning_accuracy_reward（推理模型建议用这个）、格式奖励等，也可以写自己的函数。完整示例可看 examples/grpo_echo/。

想让模型对齐人类偏好 → DPO 或 KTO

有成对偏好数据（chosen/rejected）→ DPO，也是 Llama 3 的对齐方法：

trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \ --dataset_name argilla/Capybara-Preferences \ --output_dir Qwen2.5-0.5B-DPO

只有单条点赞/点踩（desirable/undesirable）标注 → 用 KTO，trl kto即可，不需要配对。

想省显存 → PEFT / LoRA / QLoRA

大模型全参微调显存吃不消时，加装 PEFT 依赖后给任何训练器传peft_config，或在 CLI 加--use_peft --lora_r 32 --lora_alpha 16，只训练低秩适配器。QLoRA 再叠加 4-bit 量化。完整用法见 docs/source/peft_integration.md 和 examples/sft_qlora/。

想多机多卡扩展 → Accelerate

跑accelerate config生成配置，然后accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml train.py。仓库在 examples/accelerate_configs/ 提供了 DDP、DeepSpeed ZeRO 1/2/3、FSDP 全套模板，拿来即用。

端到端实战：用 LoRA 微调一个数学 SFT 模型

以"让 0.5B 小模型学会按我的格式回答"为例，完整走一遍"输入 → 参数 → 输出"：

输入：一个 Hugging Face 数据集（如trl-lib/Capybara，messages 对话格式）+ 基座模型Qwen/Qwen2.5-0.5B。

关键参数怎么配：

pip install trl[peft]

python trl/scripts/sft.py \ --model_name_or_path Qwen/Qwen2.5-0.5B \ --dataset_name trl-lib/Capybara \ --use_peft --lora_r 32 --lora_alpha 16 \ --learning_rate 2.0e-5 \ --output_dir Qwen2-0.5B-SFT-LoRA

--use_peft+ LoRA 参数：只训适配器，显存占用大幅下降
--learning_rate：LoRA 微调建议 1e-5 ~ 5e-5 区间
--max_length：控制截断长度，按数据集实际序列长度分布设置（下文有技巧）

预期得到什么：Qwen2-0.5B-SFT-LoRA目录下是一个 LoRA 适配器（几 MB 到几百 MB），用PeftModel.from_pretrained挂回基座即可推理；想合并成完整模型，用 transformers 的merge_and_unload即可。想验证格式，直接拿几条测试 prompt 对比微调前后的输出风格变化。

避坑与调优：显存不够怎么办、训练太慢怎么办

OOM（显存溢出）——原因多为长序列 padding：batch 内所有序列会补齐到最长那条。解法：调小max_length，官方提供了序列长度分布可视化工具帮你选值；再叠加gradient_checkpointing和梯度累积。详见 docs/source/reducing_memory_usage.md。
在线训练（GRPO/Online DPO）生成慢——模型自己生成补全是主要瓶颈。解法：接 vLLM，pip install trl[vllm]后在 config 里传use_vllm=True, vllm_mode="server"，速度提升明显，方法见 docs/source/speeding_up_training.md。
vLLM 与训练抢卡——用 vLLM 时训练 GPU 和生成 GPU 要分开，例如前 4 卡训练、后 4 卡生成，用CUDA_VISIBLE_DEVICES显式划分，避免资源冲突。
多卡扩展后结果和单卡不一致——有效 batch size = per_device_batch_size × 卡数 × 梯度累积步数，扩卡后要同步调小前两者保持总量不变。
数据集格式报错——GRPO 只需要 prompt，DPO 需要 chosen/rejected，KTO 需要 desirable/undesirable 布尔列，列名不对会直接抛错，先对照 docs/source/dataset_formats.md 的字段表检查。