张小明
前端开发工程师
摘要：本文讲解现代 LLM 训练中提升收敛速度与稳定性的三大技巧：学习率预热（前 N 步从小线性升到大，避免起步震荡）、余弦衰减（从峰值平滑降到最小值，兼顾探索与精细收敛）与梯度裁剪（在
backward后、step前等比缩放梯度，防止梯度爆炸）。文中给出get_lr纯函数、手动版与LambdaLR调度器版两种 PyTorch 实现，并附完整可跑骨架。实测在相同模型与数据下，仅更换学习率调度即可将验证损失从 ~6.0 降至 ~4.0，是"免费的性能提升"。
系列第 11 篇。到上一篇为止，我们已经能跑通预训练、微调、LoRA 全流程。但真实训练中，超参与技巧决定成败：学习率怎么调度？梯度爆炸怎么办？这一篇把"训练百宝箱"里的三件套讲透。
对应《从零构建大模型》附录 D：学习率预热（warmup）、余弦衰减（cosine decay）与梯度裁剪（gradient clipping）。
上一系列我们一直用固定学习率（如 4e-4）。固定学习率有
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
李华
简介：本资源是一份面向计算机视觉初学者与实战开发者的城市道路垃圾检测专用数据集，采用标准Pascal VOC格式，适用于YOLO系列模型训练及目标检测算法验证。数据集聚焦真实城市场景，涵盖道路、人行道及草丛等典型区域，共…
李华
Awesome Privacy 无障碍测试服务：专业机构的评估服务 随着数字化进程加速，隐私保护已成为用户选择服务的核心考量因素。Awesome Privacy作为专注隐私与安全的开源项目，提供了全面的隐私保护解决方案评估体系。本文将详细介绍如何利用Awesome…
李华
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
李华
在日常办公和数据处理中，PDF 是出现频率极高的文件格式。无论是阅读合同、整理报价单、合并扫描件、提取报销发票信息，还是把系统导出的 PDF 报表转成 Excel 再汇总，都会涉及大量重复操作。手动处理这些文件不仅浪费时间，还容易出…
李华
Awesome Privacy 许可证研讨会幻灯片：专家讲座的材料 1. 项目概述 Awesome Privacy 是一个专注于隐私和安全的软件与服务精选列表，旨在为用户提供隐私保护相关的资源推荐。项目采用 Creative Commons Legal Code CC0 1.0 Universal 许可证，…
李华