搞AI大模型，听着就头大，对吧？
代码、数据、算力，感觉每一样都能把人劝退。
其实没那么玄乎。
就跟搭乐高差不多，只不过零件是算法和参数。
今天不聊虚的，就拆开给你看。
咱们一步一步来。
AI大模型搭建需要什么硬件
很多人第一反应：得买最贵的GPU。
不完全对。
2023年，Meta开展Llama 3训练工作，动用了将近2.5万个H100。
但那是千亿参数级别。
你如果只是跑个几十亿参数的模型，消费级显卡也能凑合。
关键看用途。
内存要大。
模型参数加载进来，本身就很占地方。
假设存在一个具备70亿参数的模型，其采用FP16精度，那么大致需要14GB显存。
这还没算训练时的梯度、优化器状态。
所以显存往往比算力更先成为瓶颈。
硬盘最好是NVMe SSD。
因为数据吞吐量极大。
训练过程中，数据要不停地从硬盘读到内存，再送到GPU。
机械硬盘的速度会成为致命拖累。
网络也不能太差。
多卡训练时，卡之间要频繁同步数据。
仅仅是普通的千兆网络，说不定是难以承受得住的，因而，是需要的，或者是高速以太网才行的。
但如果你就一张卡，这条可以暂时忽略。
电费账单……嗯，做好心理准备。
一张H100满载功耗大概700瓦。
十张就是7千瓦，相当于同时开70个100瓦灯泡。
这还不算散热设备的耗电。
所以很多团队直接选择租用云服务器。
按需使用，关机就不计费。
如何准备训练数据
数据是模型的粮食。
垃圾进，垃圾出。
这是铁律。
第一步是收集。
网页之上公开的数据集数量众多，像是 Crawl，还有维基百科，以及代码库。
但公开数据往往噪音也大。
里面有广告、乱码、重复内容，甚至不当信息。
必须清洗。
清洗是个体力活。
要过滤掉低质量文本：太短的句子、乱码字符、大量重复的段落。
还要去除敏感内容：暴力、仇恨、隐私信息。
有些团队会用规则过滤，比如关键词黑名单。
更精细的会用分类模型自动判断。
然后是对齐。
让数据格式统一。
比如把所有文本转成UTF-8编码，统一换行符，规范化标点。
这一步看似琐碎，但能避免很多后续麻烦。
数据量要足够大。
GPT-3用了将近5000亿个词元（token）。
但也不是越大越好。
关键还是质量。
有研究显示，运用高质量数据去训练较小的模型，其效果，有可能会比运用低质量数据来训练超大模型还要好。
最后是切分。
一般按8:1:1分成训练集、验证集、测试集。
训练集用来学，验证集用来调超参数，测试集用来最后评估。
千万不能让测试集的数据泄露到训练过程里。
否则评估结果会虚高，没有参考价值。
模型训练流程详解
开始训练前，得先把模型结构定下来。
是现在的主流。
核心是自注意力机制，让模型能同时关注上下文的所有词。
参数初始化很重要。
不能全设成零，那样梯度没法传播。
一般用正态分布或者均匀分布，给一个很小的随机初始值。
比如从[-0.02, 0.02]之间随机取。
然后就是喂数据。
一批一批地喂，每批叫一个batch。
batch size太大，显存放不下；太小，训练不稳定。
常见的是32到256之间。
每喂完一个batch，计算损失函数。
就是模型预测和真实标签的差距。
然后用反向传播算法，把误差一层层传回去，更新参数。
更新幅度由学习率控制。
学习率不能太高，否则会震荡；也不能太低，否则训练太慢。
常用的是先预热再衰减的策略。
比如说，前面的一千步，是从零开始，缓缓升高至零点零零一，而后呢，依照余弦函数的变化规律，逐步地往下降落。
训练过程中要频繁保存检查点。
防止断电，或者避免程序崩溃，能够从最近的检查点恢复，并非需要从头开始。
一般每训练1000步或者一个epoch存一次。
验证集要定期用。
每训练一段时间，就在验证集上跑一次，看看效果有没有提升。
如果连续几次都没提升，可能就该提前停止了。
这叫早停（early ），防止过拟合。
模型评估指标怎么看
训练完了，怎么知道模型好不好？
不能光看训练集上的损失。
那个数字再低，也可能只是模型把训练数据背下来了。
得用测试集。
测试集是模型从来没见过的数据。
在上面测出来的结果，才反映真实能力。
对于生成类任务，常用的是困惑度（）。
它衡量模型对下一个词预测的不确定性。
数字越低，说明模型越有把握，通常效果越好。
但要注意，不同任务、不同数据集，困惑度不能直接比。
对于分类或问答任务，看准确率。
就是模型答对的百分比。
可是有的时候，样本处于不均衡的状态，举例来说，正样本仅仅占到了1%，然而模型就算全部猜测为负样本，也能够拥有99%的准确率。
这时候就得用精确率、召回率、F1分数这些更细的指标。
人类评估也很重要。
让真人去用模型，回答一些开放性问题。
看回答是否相关、连贯、有用。
虽然主观，但能发现自动指标发现不了的问题。
比如逻辑错误、事实错误、价值观偏差。
评估不是一次性的。
模型上线后，还要持续监控。
因为真实世界的数据分布可能悄悄变了。
比方说，突然冒出了好多和新冠有关的查询，要是模型未曾学过，那么其表现就会降低。
这时候可能需要重新训练或微调。
推理部署的注意事项
训练好的模型，最终要拿来用。
这就是推理。
第一件事是压缩模型。
训练用的模型往往很大，推理时可能不需要那么多精度。
可以用量化技术，把参数从FP32降到INT8甚至INT4。
这样模型体积能小好几倍，推理速度也快很多，精度损失却很小。
就拿LLaMA的那种具备七十亿参数的模型来说，经过量化处理以后，能够在消费级别的显卡之上顺畅地运行。
然后要选推理框架。
存在着常见的，有，此外还有ONNX ，另外还有所自带的JIT。
它们会把模型转换成优化过的格式，加速计算。
选择时考虑生态和兼容性。
如果你的模型用训的，转ONNX可能比较方便。
部署环境也要想好。
是放在云端，还是边缘设备？
云端资源多，能跑大模型，但可能有网络延迟。
边缘设备响应快，隐私好，但算力有限。
很多时候需要折中，比如把大模型放在云端，小模型放在终端。
监控是必须的。
要记录推理延迟、吞吐量、错误率。
延迟太高用户会流失，错误率太高影响体验。
设置警报，一旦指标异常，马上排查。
安全性不能忽视。
模型可能被恶意输入攻击，产生不当输出。
要在API层加过滤，检测并拦截有害查询。
同时做好访问控制，别让未授权的人随便调用。
别忘了成本。
推理是持续花钱的。
要根据流量预估费用，选择合适的实例类型和数量。
用自动伸缩策略，流量高时扩容，低时缩容，避免浪费。
常见问题与避坑指南
刚开始搭，总会遇到各种坑。
有些是技术问题，有些干脆是认知偏差。
最大的错觉是：“等我数据准备好了再开始”。
其实数据永远准备不完。
更好的做法是，先用少量数据跑通整个流程。
即使样本数量仅有几千条，数据加载的链路，要走上一遍，训练的链路，也要走上一遍，评估的链路，同样要走上一遍，部署的的链路，还是要走上一遍。
这样能提前发现架构设计的问题。
另一个坑是盲目追求大模型。
好像参数少了就拿不出手。
但模型大小要和任务匹配。
对于情感分析而言，或许几百万参数便已足够，若是强行运用几百亿参数的模型，那纯粹属于浪费。
而且大模型推理慢，成本高，维护复杂。
训练不收敛怎么办？
先检查数据。
是不是标签错了？或者数据里有太多噪音？
然后调学习率。
这是最常出问题的超参数。
能够尝试将学习率除以十，又或者替换成更为稳定的优化器，像是AdamW这样的。
模型过拟合了？
表现是训练集上效果很好，测试集上一塌糊涂。
可以加正则化，比如，随机让一部分神经元失效。
或者扩大训练数据量。
把数据增强纳入考虑范畴也是可行的，就文本而言，或许会是同义词替换，亦或是回译，也就是先翻译成外文，接着再翻译回来。
部署后性能差？
可能不是模型的问题。
检查一下网络延迟、序列化开销、甚至日志打印太多。
用性能分析工具抓一下，看看时间都花在哪了。
有时候优化一个数据加载的IO，就能让吞吐量翻倍。
保持耐心。
搭大模型是个系统工程，涉及硬件、软件、算法、数据。
每个环节都可能出问题。
别指望一次成功。
多实验，多记录，慢慢调整。
跑起来的那一刻，成就感也是真的。
好了，差不多就这些。
从硬件到数据，从训练到部署，一条龙拆完了。
其实核心就两点：理解原理，动手实践。
剩下的，无非是细节和耐心。
祝你搭建顺利。
