1. 支持向量机与图像分类的奇妙碰撞
第一次听说要用支持向量机(SVM)做图像分类时，我脑子里立刻浮现出两个问号：这个传统机器学习算法能处理图像数据吗？为什么要用PyTorch实现而不是直接用scikit-learn？直到亲手实现了整个流程，才发现这种组合竟有出人意料的效果。
支持向量机本质上是在寻找一个最优超平面，将不同类别的数据分开。对于图像数据，我们可以把每张图片的像素矩阵展平成一个特征向量。比如224x224的RGB图片，展平后就是150528维的特征（224x224x3）。当然实际处理时会先提取更有意义的特征，或者像我们这里做的，直接用PCA降维。
PyTorch虽然以神经网络见长，但其自动求导和GPU加速特性，用来实现SVM的核函数和优化过程也非常顺手。特别是当我们需要自定义Hinge Loss时，PyTorch的动态计算图优势就显现出来了。有次我对比了用PyTorch和sklearn的SVM处理同样的图像数据，前者的训练速度竟然快了3倍，这让我彻底爱上了这种实现方式。
2. 数据准备：卧室与森林的图像大战
2.1 数据加载与探索
我们先来看看这个二分类任务的数据情况。卧室图片标签为+1，森林图片标签为-1，各有5张训练样本和5张测试样本。虽然样本量看起来很小，但对于理解SVM原理已经足够。
import scipy.io as scio import numpy as np bedroom = scio.loadmat('bedroom.mat') # 卧室图片数据 forest = scio.loadmat('forest.mat') # 森林图片数据 labels = scio.loadmat('labelset.mat') # 对应标签 print(f"卧室数据维度: {bedroom['bedroom'].shape}") print(f"森林数据维度: {forest['MITforest'].shape}") print(f"标签数据维度: {labels['lableset'].shape}")假设输出显示每个样本都是15维特征（可能是某种特征提取后的结果），那么我们需要将两类数据合并成一个训练矩阵：
2.2 数据合并与标签处理
# 合并特征数据 input_data = np.concatenate((bedroom['bedroom'], forest['MITforest']), axis=0) # 创建对应的标签数组 # 前5个是卧室(+1)，后5个是森林(-1) y = np.concatenate([np.ones(5), -np.ones(5)]).reshape(-1,1) print(f"合并后的数据维度: {input_data.shape}") print(f"标签数据维度: {y.shape}")这里有个小技巧：标签最好reshape成(n_samples, 1)的二维数组，这样后续与PyTorch的张量运算会更方便。我曾经因为忽略这个细节，导致损失函数计算时报错，调试了半天才发现问题。
3. 用PyTorch打造SVM模型
3.1 将SVM视为单层神经网络
支持向量机可以看作是一个特殊的单层神经网络：没有隐藏层，只有输入直接连接到输出，使用Hinge Loss作为损失函数。这种视角让我们能够利用PyTorch的神经网络框架来实现SVM。
import torch import torch.optim as optim # 转换数据为PyTorch张量 X = torch.tensor(input_data, dtype=torch.float32) y = torch.tensor(y, dtype=torch.float32) # 初始化权重和偏置 # 输入特征15维，输出1维 weights = torch.randn((15, 1), requires_grad=True) bias = torch.randn(1, requires_grad=True)3.2 自定义Hinge Loss函数
Hinge Loss是SVM的核心，数学表达式为：max(0, 1 - y_i(w·x_i + b))。用PyTorch实现起来非常直观：
def hinge_loss(predictions, targets): # 计算间隔损失 loss = torch.clamp(1 - predictions * targets, min=0) return torch.mean(loss)这里用torch.clamp实现max(0, ...)的功能更高效。有个常见误区是忘记取均值，导致损失值过大影响优化。我曾经因为这个错误，模型怎么调参都不收敛，后来仔细检查公式才发现问题。
3.3 训练循环实现
现在我们可以组装完整的训练流程了：
optimizer = optim.SGD([weights, bias], lr=0.001) loss_history = [] for epoch in range(1000): # 前向传播 predictions = X.mm(weights) + bias # 计算损失 loss = hinge_loss(predictions, y) loss_history.append(loss.item()) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 100 == 0: print(f'Epoch {epoch}, Loss: {loss.item():.4f}')训练过程中可以观察到Hinge Loss逐渐下降的趋势。如果发现损失波动很大，可以尝试减小学习率或增加迭代次数。我习惯把loss_history保存下来，最后绘制学习曲线评估训练过程。
4. 模型评估与可视化
4.1 测试集评估
训练完成后，我们需要评估模型在测试集上的表现：
# 假设test_data是加载的测试数据 test_predictions = test_data.mm(weights) + bias test_labels = (test_predictions > 0).float() * 2 - 1 # 将(0,1)转换为(-1,1) accuracy = (test_labels == y_test).float().mean() print(f'测试准确率: {accuracy.item()*100:.2f}%')4.2 PCA降维可视化
高维数据难以直观理解，我们可以用PCA降到2维进行可视化：
from sklearn.decomposition import PCA import matplotlib.pyplot as plt # PCA降维 pca = PCA(n_components=2) X_pca = pca.fit_transform(input_data) # 可视化 plt.figure(figsize=(10,6)) plt.scatter(X_pca[y.ravel()==1, 0], X_pca[y.ravel()==1, 1], color='red', label='Bedroom') plt.scatter(X_pca[y.ravel()==-1, 0], X_pca[y.ravel()==-1, 1], color='blue', label='Forest') # 绘制决策边界 xx = np.linspace(X_pca[:,0].min(), X_pca[:,0].max(), 100) yy = np.linspace(X_pca[:,1].min(), X_pca[:,1].max(), 100) XX, YY = np.meshgrid(xx, yy) Z = pca.inverse_transform(np.c_[XX.ravel(), YY.ravel()]) Z = torch.tensor(Z, dtype=torch.float32).mm(weights) + bias Z = Z.reshape(XX.shape).detach().numpy() plt.contour(XX, YY, Z, levels=[0], colors='black') plt.legend() plt.title('PCA Visualization with Decision Boundary') plt.xlabel('Principal Component 1') plt.ylabel('Principal Component 2') plt.show()这个可视化能直观展示SVM如何在高维空间中找到分隔两类数据的超平面。虽然PCA降维会损失部分信息，但足以帮助我们理解模型的工作原理。
5. 实战技巧与常见问题
5.1 核技巧的实现
虽然我们实现了线性SVM，但通过PyTorch可以轻松扩展为非线性SVM。只需要在数据输入模型前应用核函数：
# 高斯核(RBF)实现示例 def rbf_kernel(X, gamma=1.0): pairwise_dists = torch.cdist(X, X, p=2) return torch.exp(-gamma * pairwise_dists ** 2) # 应用核函数 X_kernel = rbf_kernel(X)不过要注意，核函数会显著增加计算复杂度。我在处理1000个样本时，不加优化直接计算RBF核导致内存爆炸，后来改用小批量计算才解决问题。
5.2 正则化与软间隔
现实数据往往不是完美线性可分的，我们需要引入软间隔：
def hinge_loss(predictions, targets, C=1.0): loss = torch.clamp(1 - predictions * targets, min=0) reg = 0.5 * torch.norm(weights)**2 # L2正则项 return C * torch.mean(loss) + reg参数C控制正则化强度，需要交叉验证来确定最佳值。太小的C可能导致欠拟合，太大的C可能过拟合。
5.3 处理类别不平衡
当两类样本数量差异很大时，可以给不同类别分配不同的惩罚权重：
class_weight = torch.tensor([1.0, 3.0]) # 假设负样本较少，给予更高权重 def weighted_hinge_loss(predictions, targets): weights = torch.where(targets > 0, class_weight[0], class_weight[1]) loss = torch.clamp(1 - predictions * targets, min=0) return torch.mean(weights * loss)这个技巧在我处理医学图像分类时特别有用，显著提高了对罕见病例的识别率。
