人脸表情识别项目实战：从数据预处理到模型部署全解析

简介：一份面向人工智能课程设计、适合深度学习和计算机视觉入门者参考的人脸表情识别完整实现，使用Keras搭建CNN并在fer2013数据集上完成模型训练，再配合OpenCV完成摄像头画面中的人脸检测与表情类别实时预测。压缩包共约2000个文件、218.35MB，除大量jpg训练图片外，还包含ipynb演示脚本、py程序、csv数据划分文件、xml人脸检测配置、模型权重hdf5及作品报告docx，便于从数据准备、模型训练到部署演示全流程复现。已有1415人学习下载。其中保留了训练好的hdf5模型和多个Notebook示例，既可直接加载模型进行图像或视频识别，也能查看训练过程细节；对希望快速完成课程设计、入门深度学习图像分类或研究表情识别工程化流程的读者，能提供完整的代码框架与实验思路。整体结构清晰，适合对照学习、二次开发或作为答辩展示材料。 做表情识别项目也有一段时间了，从最早拿开源模型跑demo，到后来自己动手从数据标注到模型部署完整走了一遍流程，踩过的坑确实不少。最近正好整理了一份“人脸表情识别.zip”的项目文件，把整套可复用的代码、训练好的权重、数据预处理脚本都打了包，方便团队内部和身边做CV方向的朋友直接拿去用。这篇文章就把这个压缩包里到底有什么、为什么要这么设计、实际跑起来会遇到哪些问题，一次性讲清楚。

如果你正准备入门人脸表情识别，或者已经在做图像分类但想往更细粒度的人脸属性识别方向靠一靠，这篇内容可以让你少走不少弯路。哪怕你之前没碰过深度学习，只要会基本的Python和命令行操作，按文中的步骤也能把模型跑起来，甚至微调出适合自己场景的表情识别方案。

1. 项目整体设计思路：为什么选择经典CNN路线

1.1 任务定义与模型选型

人脸表情识别，本质上是一个图像分类任务，一般把表情划分为7类：生气（anger）、厌恶（disgust）、恐惧（fear）、开心（happy）、伤心（sad）、惊讶（surprise）和中性（neutral）。有些数据集还会加入轻蔑（contempt），但7类是目前学术界和工业界最通用的口径。

在模型选型上，这个项目最终采用了ResNet18作为backbone，而不是一上来就上ResNet50或者EfficientNet。原因很直接：表情识别对细粒度特征比较敏感，但训练数据量通常有限，经典的FER2013才3.5万张左右，单张图还是48×48的灰度图。用太深的网络很容易过拟合，而且推理速度在树莓派或普通CPU上也不理想。ResNet18参数量约1100万，在保证特征提取能力的同时，对硬件要求友好，是表情识别领域性价比很高的选择。

如果只是交作业或者快速验证想法，直接用MobileNetV2也可以，但后续如果要做注意力机制改进或者模型蒸馏，ResNet18的中间特征更规整容易操作。

1.2 为什么把项目打包成zip分发

“人脸表情识别.zip”这个压缩包，我特意按照“开箱即用”的标准来组织。下载解压之后，不需要再去GitHub上东拼西凑代码，也不用手动补数据集路径，目录结构是固定的，训练、推理、评估三个入口脚本各司其职。

很多初学者拿到开源项目第一反应是“import报错”“路径找不到”，根源就是项目结构不够清晰，依赖没有锁版本。这个zip包里面我放了三样关键东西：一是requirements.txt锁定了主要依赖的版本范围，二是checkpoints/目录下预留了训练好的权重文件位置，三是config.py把数据路径、batch size、学习率这些超参数全部集中管理，改配置不用动代码。

face-expression-recognition/ ├── README.md ├── requirements.txt ├── config.py ├── data/ │ ├── fer2013/ │ └── preprocess.py ├── models/ │ ├── backbone.py │ └── classifier.py ├── train.py ├── infer.py └── checkpoints/ └── best_model.pth

1.3 项目适合谁参考

如果你是非科班转行做算法，或者在校学生做课程设计，这个项目的代码风格偏工程化，注释也比较全，可以直接在上面做增量修改。如果你已经在做其他视觉任务，想快速把表情识别作为一个子功能集成到现有系统里，infer.py里的推理接口写得很干净，稍微封装一下就能变成API调用。

2. 核心细节解析：数据处理、网络结构与训练策略

2.1 数据预处理：灰度图、对齐与数据增强

表情识别对比通用图像分类，有一个明显的区别：人脸区域占比很大，背景信息干扰需要在预处理阶段尽量消除。项目里处理FER2013数据集时，我第一步不是直接缩放，而是先做人脸检测和对齐。FER2013本身是48×48灰度图，且图片已经裁剪过人脸区域，但如果是自己采集的数据，建议先用OpenCV的Haar级联或MTCNN把检测出来的人脸裁剪出来，再缩放到固定尺寸。

# data/preprocess.py 核心逻辑 import cv2 import numpy as np def align_face(img, target_size=(48, 48)): # 使用OpenCV人脸检测器定位人脸 face_cascade = cv2.CascadeClassifier( cv2.data.haarcascades + 'haarcascade_frontalface_default.xml' ) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5) if len(faces) == 0: # 检测不到人脸就直接缩放 return cv2.resize(gray, target_size) x, y, w, h = faces[0] face = gray[y:y+h, x:x+w] return cv2.resize(face, target_size)

数据增强部分，我建议别一上来就上太狠的增强策略。表情识别的关键特征是五官的相对位置和肌肉纹理，过度的随机旋转和裁剪反而会破坏这些信息。项目里实际采用的是：随机水平翻转、小幅度的旋转（±15度）、亮度和对比度微调。测试时只做中心裁剪，不做增强。

2.2 网络结构修改点

ResNet18的标准输出是1000类，这里需要把最后一层全连接替换成7类输出。另外做了一个微小的改动：在global average pooling之后、全连接之前，加了一个dropout层，比例为0.5。这个看似不起眼的操作，在FER2013上大概能提升1-2个百分点的准确率。原因很简单，表情数据集中不同人在相同表情下的特征差异很大，特征分布相对分散，dropout强迫网络学到更鲁棒的模式，而不是死记某个特定人脸的纹理。

2.3 训练策略与超参数选择

训练过程用SGD优化器，初始学习率0.01，momentum 0.9，weight decay 5e-4。batch size设为64，一共训练80个epoch。学习率采用余弦退火调度，最后5个epoch冻结backbone只微调分类头。

为什么不直接用Adam？在表情识别这种类间差异小、类内差异大的任务里，SGD配合适当的动量和小学习率，泛化能力通常比Adam更好。Adam收敛快但容易收敛到尖锐极小值，测试集上的表现往往不如SGD稳定。这个现象在好几个公开数据集上都验证过。

2.4 样本不均衡处理

真实场景里，表情类别的分布天然不均衡。开心和中性占了大多数，厌恶和恐惧的样本明显偏少。如果直接拿原始分布去训练，模型会对高频类别过拟合，同时对低频类别几乎完全不识别。

项目里的处理方式是：先计算每个类别的样本数，然后给每个类别设置权重。损失函数用的是带权重的交叉熵，权重和样本数成反比。

import torch.nn as nn class_counts = [3995, 436, 4097, 7215, 4830, 3171, 4965] # 7个类别样本数 class_weights = [1.0 / c for c in class_counts] # 归一化，让权重均值为1 total = sum(class_weights) class_weights = [w / total for w in class_weights] criterion = nn.CrossEntropyLoss( weight=torch.tensor(class_weights, device=device) )

这套方案比单纯的上采样/下采样稳定，因为上采样会让模型反复看重复样本，容易陷入局部记忆；下采样则浪费大量数据。

3. 实操过程：从解压到跑通训练全流程

3.1 环境准备与依赖安装

先说明一下，我在这个zip包里的requirements.txt是基于Python 3.8 + CUDA 11.3测试的，PyTorch版本是1.12.0。你如果用的是更新的环境，直接装最新版一般也没问题。

cd face-expression-recognition python -m venv venv source venv/bin/activate # Windows下用 venv\Scripts\activate pip install -r requirements.txt

requirements.txt内容如下：

torch==1.12.0 torchvision==0.13.0 opencv-python==4.6.0.66 numpy==1.21.6 pandas==1.4.4 scikit-learn==1.1.3 matplotlib==3.5.3 tqdm==4.64.1

如果训练时提示CUDA out of memory，把config.py里的batch_size从64改成32，同时把数据加载线程数(num_workers)调低到2。

3.2 数据集获取与格式转换

FER2013数据集可以从Kaggle下载，下载下来是一个CSV文件，每一行是：emotion,pixels,Usage。pixels这一列是48×48个像素值，用空格分隔，范围0-255。项目中data/preprocess.py负责把CSV转成标准的图像文件夹格式，方便PyTorch的ImageFolder直接读取。

运行转换命令：

python data/preprocess.py --csv_path /path/to/fer2013.csv --output_dir data/fer2013

转换完成后，目录结构应该是：

data/fer2013/ ├── train/ │ ├── angry/00001.jpg │ ├── disgust/00002.jpg │ └── ... └── val/ ├── angry/... └── ...

这里需要特别注意：FER2013官方划分的train/val/test比例大约为80%/10%/10%，但原始CSV里用Usage列标记了Training、PublicTest、PrivateTest。有些教程直接全部读进来自己划分，这种做法会导致数据泄露，评估结果虚高。我建议就按官方的PrivateTest当作测试集，PublicTest当作验证集。

3.3 训练模型并监控指标

一切就绪后，直接运行训练脚本：

python train.py --config config.py

控制台会实时打印每个epoch的loss和准确率：

Epoch [10/80] Train Loss: 1.2143 | Train Acc: 56.23% | Val Loss: 1.3512 | Val Acc: 52.10% Epoch [20/80] Train Loss: 0.9845 | Train Acc: 64.78% | Val Loss: 1.1023 | Val Acc: 58.34%

我在GTX 1080Ti上跑完整80个epoch大约耗时40分钟。训练结束后，checkpoints/目录下会生成best_model.pth和last_model.pth两个文件。best_model.pth是验证集准确率最高的权重，做推理时请务必加载这个，不要用last。

3.4 推理验证与可视化

推理脚本支持两种输入方式：单张图片路径和摄像头实时识别。

python infer.py --image path/to/test.jpg --checkpoint checkpoints/best_model.pth

摄像头模式：

python infer.py --camera 0 --checkpoint checkpoints/best_model.pth

推理脚本内部会将OpenCV读到的BGR图转成灰度、缩放、归一化，然后输出7个类别的概率分布。最终的判断取概率最大的类别。

看最终效果：单张人脸图片推理耗时大约15ms（GPU），纯CPU大约50ms，满足实时性要求。

4. 常见问题与排查技巧实录

4.1 训练准确率一直上不去怎么办

这个是最常见的问题。如果训练了20个epoch准确率还徘徊在30%-40%，先不要怀疑模型结构，按顺序排查以下三项：

1. 数据预处理是否正确——把训练集里的图片随机抽几张打印出来，看是不是正常的人脸。灰度图不要不小心做成了三通道重复，那样会干扰卷积核的初始化特征提取效果。
2. 标签是否对上了——如果图像数据增强里有random flip，检查翻转后标签是否需要改变（表情一般不需要，但文字识别需要）。手写检查一两个batch的tensor shape和label对应关系。
3. 学习率是否过大或过小——用学习率范围测试，从1e-4到1e-1按指数间隔分成几组跑几个epoch，观察loss曲线。表情识别任务里，学习率1e-2起步（配合SGD）通常是安全的。

4.2 训练集准确率高、验证集准确率低

过拟合。之前在2.3节提到dropout就是为了应对这个问题。如果dropout已经加了还是过拟合，优先检查数据增强强度，把旋转角度从15度继续下调到8度，并且检查是否有多余的随机裁剪。第二种思路是做Label Smoothing，把one-hot标签中正确类别概率从1降到0.9，剩余0.1均匀分给其他类别，对防止过度自信很有帮助。

4.3 部署时CPU推理速度太慢

如果需要把模型部署到没有GPU的机器上，Perf直接决定方案能不能用。我实测过，ResNet18在普通i5 CPU上跑一张48×48灰度图大约50ms，勉强达到20FPS。如果觉得不够快，两个优化方向：

• 把输入尺寸从48×48继续压缩到32×32，准确率会掉1-2%，但速度提升近一倍。
• 用OpenVINO或ONNX Runtime做推理优化，用FP16精度，速度能再快40%左右。

4.4 解压zip后运行报ModuleNotFoundError

这个锅大概率不是代码而是环境。强烈建议在项目根目录下激活虚拟环境再装requirements，不要在全局环境里装。常见的一个坑是：机器里同时装了好几个版本的torch，pip install的CPU版覆盖了CUDA版。如果出现torch.cuda.is_available()返回False，把torch和torchvision卸载重装对应CUDA版本的wheel包。

4.5 摄像头识别时频繁跳变

单帧识别结果不稳定是常见现象，前后两帧从“开心”跳到“中性”又跳回“开心”。处理办法是做一个滑动窗口投票：取最近5帧的预测结果，出现次数最多的类别作为最终输出。这个逻辑在infer.py的SmoothedPredictor类里有实现，窗口大小可以调。实测下来，跳变频率降低80%以上，漏检率基本不受影响。

5. 拓展实验与个人实操心得

5.1 尝试修改网络结构

我在这个zip版本之外，还实验过在ResNet18的Block之后插入SENet风格的通道注意力模块。做法不复杂：每个BasicBlock的残差分支上加一个global average pooling，接两个全连接层，第一个压缩通道数16倍，第二个恢复原通道数，输出一个权重向量乘回去。在FER2013上准确率能从基线的大约64%提升到66%左右，但也带来约10%的推理延迟，需要根据实际业务做取舍。

类似地，如果回头去做实时视频流的表情识别，我建议用MobileNetV3-Small作为backbone重新训练，虽然准确率低于ResNet18约2-3个百分点，但CPU推理速度可以跑到100FPS以上，对嵌入式场景非常重要。

5.2 多任务学习方向

表情识别经常和人脸关键点检测（68点或5点）联合训练。好处很明显：人脸关键点提供了五官位置的结构先验，能引导backbone学到更丰富的特征；同时两个任务共享底层特征提取器，整体参数量不会翻倍。项目zip里暂时没有包含多任务版本，因为我担心一次给太多代码反而干扰新手理解主流程。先把单任务模型吃透，再往多任务扩展，学习曲线更平滑。

5.3 真实场景的标签噪声处理

最后分享一个工作中的教训。在真实业务场景里，表情标注的主观性很强，同一个视频帧，让三个人标，标签一致率往往只有70%左右。这意味着用公开数据集训练好的模型换到真实环境时，标签噪声会严重影响微调效果。我们的应对方案是：

• 用公开数据集训练初始模型，对真实场景数据做预测，把预测置信度高的样本加进训练集作为“软标签”；
• 置信度低但人工复核确认的样本，用硬标签加入；
• 训练时用label_smoothing参数进一步抑制过拟合噪声标签。

这一套下来，模型在真实场景的准确率大概能比直接微调高3个百分点。原因在于，软标签保留了类别之间的相似关系，比如“惊讶”和“开心”在某些面部动作上本来就有模糊边界，硬标签强行分对反而破坏了这种连续分布。

6. 部署集成：如何把模型接到业务系统里

6.1 导出模型为ONNX

PyTorch模型要部署到生产环境，一般先导出成ONNX格式。这里给出一个最小可用的导出脚本，在项目里可以直接跑：

import torch import onnx from models.backbone import get_model model = get_model(num_classes=7) checkpoint = torch.load('checkpoints/best_model.pth', map_location='cpu') model.load_state_dict(checkpoint['model_state_dict']) model.eval() dummy_input = torch.randn(1, 1, 48, 48) torch.onnx.export( model, dummy_input, 'expression_model.onnx', input_names=['input'], output_names=['output'], dynamic_axes={'input': {0: 'batch'}, 'output': {0: 'batch'}}, opset_version=11 ) print("ONNX导出完成")

导出后可以用onnxruntime库做一次推理验证，确认和PyTorch输出一致。推理端需要特别注意输入数据的预处理要与训练时一致：灰度归一化、尺寸resize、像素值除以255。我见过很多部署翻车case，都是预处理里少了一个归一化步骤，导致模型输出全是垃圾。

6.2 集成到Web服务

表情识别模型本质上是无状态的，天然适合封装成REST API。最直接的办法是用FastAPI搭一个极简服务，接收图片二进制，返回7类表情概率：

from fastapi import FastAPI, UploadFile import cv2 import numpy as np import onnxruntime as ort app = FastAPI() session = ort.InferenceSession('expression_model.onnx') @app.post("/predict") async def predict(file: UploadFile): data = await file.read() img = cv2.imdecode(np.frombuffer(data, np.uint8), cv2.IMREAD_GRAYSCALE) img = cv2.resize(img, (48, 48)) / 255.0 img_tensor = img[np.newaxis, np.newaxis, ...].astype(np.float32) outputs = session.run(None, {'input': img_tensor}) return {"probs": outputs[0].tolist()}

小型业务系统里，这个方案完全够用。QPS要求高的话再加一个Redis缓存和负载均衡，但那是另一个话题了。

7. 写在最后的几点经验

做表情识别这个项目，技术点本身并不难，真正难的是对细节的把握。数据预处理的一致性、标签噪声的认知、类别不均衡的处理，这些才是决定模型上线后好不好用的关键。

我个人在实际操作中体会比较深的一点是：不要一味追求SOTA准确率。很多论文里的涨点技巧在真实场景里根本带不来可感知的体验提升，反而增加了系统复杂度和推理延迟。先把一个结构简单、训练充分、推理稳定的baseline打磨好，再根据业务反馈有的放矢地做优化，才是工程上最务实的态度。

最后再分享一个小技巧：如果你用的是这个zip包里的训练脚本，每次跑完训练后，checkpoints/目录下的best_model.pth和last_model.pth都会更新。建议养成一个好习惯——在每个epoch结束时顺带记录当时的验证集准确率和模型文件名到history.csv。万一后续调参调崩了，可以快速定位到之前最好的权重，不至于回滚代码重跑几小时。这个习惯帮我在很多项目里省下了大把时间。

本文还有配套的精品资源，点击获取