1. GPU 与显卡型号
显卡型号直接决定了训练/推理任务的上限，常见厂商为 NVIDIA 与 AMD。NVIDIA 的 CUDA 生态完善，是深度学习中主流选择。
显卡选择主要看三个因素：显存大小、架构性能、生态支持（如是否支持 CUDA）。
2. 显存（Memory）
显存决定了 GPU 能同时处理的数据规模。在训练或推理时，模型的参数、激活值、中间缓存等都会占用显存。
类似于电脑内存，显存不足会导致模型无法运行或报错（Out Of Memory）。显存越大，可处理的模型参数越多。
3. 精度（Precision）
精度代表了数据存储的方式，决定了一个数据占多少bit。
• 4 Bytes: FP32 / float32 / 32-bit
• 2 Bytes: FP16 / float16 / bfloat16 / 16-bit
• 1 Byte: int8 / 8-bit
• 0.5 Bytes: int4 / 4-bit
目前的主流模型几乎都是FP16的精度。
4. 过拟合（Overfitting）与欠拟合（Underfitting）
- •过拟合：模型在训练集表现好，但在新数据上效果差。常因模型太复杂或数据太少。
- •欠拟合：模型无法有效学习数据规律，通常是模型太简单或训练不充分。
常用缓解手段包括增加数据量、使用正则化（L1/L2）、Dropout 或 Early Stopping。
5. 训练方式（目标任务）
决定“训练的目的”——我们在训练模型时到底想让它学会什么？
| 类型 | 描述 |
|---|---|
| 无监督预训练 | 用大规模文本进行语言建模 |
| 监督微调（SFT） | 用人类标注的数据对齐模型行为 |
| 指令蒸馏 | 通过强模型输出指导小模型 |
| RLHF | 强化学习优化模型对人类偏好的理解 |
6. 技术手段（参数更新方式）
决定“如何训练”——更新多少参数。
| 技术 | 描述 |
|---|---|
| 全参数微调 | 更新模型所有参数，成本高，效果好 |
| 部分参数微调 | 只更新部分参数，计算效率高，适合中小场景，具体实现手段如： - LoRA - Adapter - Prompt Tuning 等，计算效率高 |
7. Batch Size
Batch Size 是指每次训练喂入的样本数量。
会影响：
- • 显存占用（越大越容易 OOM）
- • 模型收敛速度（大 batch 稳定，小 batch 灵活）
- • 泛化能力（小 batch 通常泛化更好）
8. Epoch
Epoch 表示训练集中所有样本被完整训练一轮。
例如，10,000 条样本，设置 3 epoch，表示数据被完整“学习”了三遍。
- • 少 epoch → 训练不足（欠拟合）
- • 多 epoch → 训练过度（过拟合）
通常配合 Early Stopping 使用，自动判断是否提前停止训练。
9. Hidden Size
hidden_size是指每个 token 被表示成的向量维度，也就是Transformer 中每一层的特征表示大小，即每个 token 的表示能力（越大越准）
在 Transformer 结构中，每个 token 被编码成一个向量，例如：
token → embedding → [0.12, 0.93, ..., -0.65]（长度 = hidden_size）模型的 hidden_size 一般是固定的，由模型架构决定（获取方式：查看模型配置文件 或者 查论文/官方文档），比如：
| 模型名称 | hidden_size |
|---|---|
| GPT-2 Small | 768 |
| GPT-2 Medium | 1024 |
| LLaMA 7B | 4096 |
| LLaMA 13B | 5120 |
| ChatGPT-3.5 | ~6144 |
| GPT-4（估计） | >8000 |
Hidden Size 越大，表示能力越强，但显存占用也更高。
10. Num Layers
num_layers是 Transformer 的堆叠层数，也就是 Encoder 或 Decoder block 的数量，即模型深度（越多越复杂）
在训练中，每一层的输出（激活）都要保留用于反向传播。
想要获取这个数据一般是 看模型配置文件 或者 查论文/官方文档。
模型常见层数，如：
| 模型名称 | num_layers |
|---|---|
| GPT-2 Small | 12 |
| GPT-2 Medium | 24 |
| LLaMA 7B | 32 |
| LLaMA 13B | 40 |
| GPT-3 175B | 96 |
11. 梯度缓存
在训练过程中，模型会根据梯度下降法来更新参数，因此每个参数在前向传播后都需要保留对应的梯度值。
所以梯度缓存的显存占用通常与模型本身的大小相当。
以 FP16 精度训练为例，7B 参数模型本体约占 14GB，梯度缓存也约占 14GB。
12. 优化器
常见的优化器如 Adam、SGD，在训练中除了梯度本身，还需要维护额外的状态信息（如动量和方差估计）。
所以 Adam 优化器的状态占用大约是梯度的两倍。
以 FP16 精度训练为例，7B 参数模型本体约占 14GB，梯度缓存也约占 14GB。所以优化器通常占用 28GB 左右的显存。
13. 激活层
激活层是训练过程中显存的另一大开销，主要出现在前向传播和反向传播阶段。其显存占用随着 batch size 和序列长度线性增长。
如果只做推理或不输入训练样本，激活层的显存消耗可以忽略。但在进行微调时，激活层会显著增加显存使用。
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！
在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。
希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！
01教学内容
从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！
大量真实项目案例：带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
02适学人群
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
vx扫描下方二维码即可
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！
03入门到进阶学习路线图
大模型学习路线图，整体分为5个大的阶段：
04视频和书籍PDF合集
从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）
新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
05行业报告+白皮书合集
收集70+报告与白皮书，了解行业最新动态！
0690+份面试题/经验
AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）
07 deepseek部署包+技巧大全
由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
【附赠一节免费的直播讲座，技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等，欢迎大家~】
