文章目录
- 一、评估模型性能
- 1. 混淆矩阵示例
- 2. 常用评估指标
- 二、常见问题与解决
- 1. 欠拟合（Underfitting）
- 2. 过拟合（Overfitting）
- 3. 正则化（Regularization）
- 4. 数据标准化
- 5. 交叉验证
- 6. 类别不平衡处理
一、评估模型性能
在分类任务中，我们通常使用混淆矩阵及其衍生指标来评估模型表现。
1. 混淆矩阵示例
假设我们对15个人进行是否患病的预测（1=患病，0=正常），得到如下预测结果：
| 预测值 | 1 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 0 | 1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 真实值 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 0 | 1 | 0 | 1 | 0 | 1 | 0 |
对应的混淆矩阵为：
| 预测值=1 | 预测值=0 | |
|---|---|---|
| 真实值=1 | 5 (TP) | 2 (FN) |
| 真实值=0 | 4 (FP) | 4 (TN) |
2. 常用评估指标
准确率（Accuracy）：正确分类的比例
Accuracy = T P + T N T P + T N + F P + F N \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}Accuracy=TP+TN+FP+FNTP+TN精确率（Precision）：预测为正的样本中实际为正的比例
Precision = T P T P + F P \text{Precision} = \frac{TP}{TP + FP}Precision=TP+FPTP召回率（Recall）：实际为正的样本中被正确预测的比例
Recall = T P T P + F N \text{Recall} = \frac{TP}{TP + FN}Recall=TP+FNTPF1分数（F1-Score）：精确率和召回率的调和平均
F 1 = 2 ⋅ Precision ⋅ Recall Precision + Recall F_1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}F1=2⋅Precision+RecallPrecision⋅Recall
二、常见问题与解决
1. 欠拟合（Underfitting）
模型没有充分学习到数据特征，表现为在训练集和测试集上效果都不佳。通常由于模型过于简单或训练不足导致。
2. 过拟合（Overfitting）
模型在训练集上表现很好，但在测试集上表现下降。常见原因包括：
- 过度追求训练集上的低损失或高准确率
- 模型参数过于复杂（例如特征过多）
3. 正则化（Regularization）
为了防止过拟合，我们可以在损失函数中加入正则化项，约束模型参数的大小：
原始损失函数：
J ( θ ) = 1 2 ∑ i = 1 m ( y ( i ) − θ T X ( i ) ) 2 J(\theta) = \frac{1}{2} \sum_{i=1}^m (y^{(i)} - \theta^T X^{(i)})^2J(θ)=21∑i=1m(y(i)−θTX(i))2
加入L2正则化后：
J ( θ ) = 1 2 ∑ i = 1 m ( y ( i ) − θ T X ( i ) ) 2 + 1 2 θ 2 J(\theta) = \frac{1}{2} \sum_{i=1}^m (y^{(i)} - \theta^T X^{(i)})^2 + \frac{1}{2} \theta^2J(θ)=21∑i=1m(y(i)−θTX(i))2+21θ2
4. 数据标准化
为了提升模型收敛速度与稳定性，常对特征进行标准化：
- 0~1标准化（离差标准化）：
y i = x i − min 1 ≤ j ≤ n { x j } max 1 ≤ j ≤ n { x j } − min 1 ≤ j ≤ n { x j } y_i = \frac{x_i - \min_{1 \leq j \leq n} \{ x_j \}}{\max_{1 \leq j \leq n} \{ x_j \} - \min_{1 \leq j \leq n} \{ x_j \}}yi=max1≤j≤n{xj}−min1≤j≤n{xj}xi−min1≤j≤n{xj} - Z标准化：
y i = x i − x ‾ s y_i = \frac{x_i - \overline{x}}{s}yi=sxi−x
5. 交叉验证
为了更稳健地评估模型，常使用交叉验证方法，如K折交叉验证，将数据集分为K份，依次用其中一份作为测试集，其余作为训练集，最后取平均性能。
6. 类别不平衡处理
当正负样本比例悬殊时，可使用过采样技术，如SMOTE算法，通过合成少数类样本来平衡数据集。
