AI全景之第四章第二节：机器学习核心技术体系（无监督学习）-编程实验室

4.2 无监督学习：聚类、降维与异常检测

在机器学习的技术版图中，无监督学习（Unsupervised Learning）占据着与监督学习同等重要的地位。与依赖“输入-标签”配对数据的监督学习不同，无监督学习的核心是“在无先验知识引导下，从原始数据中自主发现潜在结构与规律”。这种特性使其在标签稀缺、成本高昂的真实场景中（如用户行为分析、工业缺陷筛查、天文数据挖掘）具备不可替代的价值。本章将聚焦无监督学习的三大核心任务——聚类、降维与异常检测，从技术原理、经典算法到实践应用，构建完整的知识体系。

4.2.1 无监督学习基础认知：定义、价值与核心任务

要理解无监督学习，首先需要明确其与监督学习的本质差异：监督学习是“归纳已知规律”，无监督学习则是“探索未知结构”。在现实世界中，能直接获取标签的数据仅占少数（如明确标注的“垃圾邮件”），而海量数据都是无标签的原始信息（如用户的浏览记录、传感器的实时数据、文本的原始词汇）。无监督学习正是处理这类数据的核心技术，其价值体现在“数据预处理”“知识发现”“降低标注成本”三个层面——既能为监督学习提供特征工程支持，也能独立完成数据洞察任务。

4.2.1.1 无监督学习的核心定义

无监督学习的正式定义为：给定无标签的训练数据集 $D = \{x_1, x_2, ..., x_n\}$（其中 $x_i \in \mathbb{R}^d$ 为 $d$ 维特征向量，无对应标签 $y_i$），通过算法自动学习数据的内在分布、关联模式或结构特征，输出数据的组织形式、低维表示或异常信号。其核心目标可概括为两点：一是“相似性聚合”（将相似数据归为一类），二是“结构性简化”（去除数据冗余，保留核心信息），三是“差异性识别”（找出与整体模式不符的异常数据）。

4.2.1.2 无监督学习的核心任务分类

根据学习目标的不同，无监督学习可划分为三大核心任务，三者既相互独立，又在实践中常结合使用（如先降维简化数据，再进行聚类或异常检测）：

聚类（Clustering）：核心是“物以类聚”，基于数据样本的特征相似性，将无标签数据自动划分为若干个互不重叠的子集（称为“簇”，Cluster），使同一簇内的样本相似度最大化，不同簇间的样本相似度最小化。典型应用包括用户分群、商品类目划分、图像分割等。
降维（Dimensionality Reduction）：核心是“去繁就简”，在保留数据核心信息的前提下，将高维特征空间中的数据映射到低维特征空间，解决高维数据的“维数灾难”（如计算复杂度高、噪声干扰多、可视化困难）。典型应用包括图像特征压缩、文本表示简化、数据可视化等。
异常检测（Anomaly Detection）：核心是“识别异类”，通过建立正常数据的模式模型，将显著偏离该模式的数据判定为异常（也称为“离群点”，Outlier）。典型应用包括信用卡欺诈检测、工业设备故障预警、网络入侵检测等。

4.2.1.3 无监督学习的关键挑战

相较于监督学习，无监督学习面临更严峻的技术挑战，主要体现在三个方面：一是“评估困难”——无标签数据缺乏明确的评价标准，难以量化模型性能（如聚类结果的“好坏”往往依赖业务经验判断）；二是“对数据质量敏感”——数据中的噪声、异常值会严重影响聚类或降维效果；三是“计算复杂度高”——高维数据的相似性计算、分布拟合往往需要大量算力支持。这些挑战推动了无监督学习算法从传统统计方法向深度学习方向演进。

4.2.2 聚类算法：从“相似性”到“结构化”

聚类是无监督学习中最成熟、应用最广泛的任务，其核心是定义“样本相似性度量”，并基于该度量实现数据的自动分组。不同的聚类算法在相似性定义、簇结构假设、计算效率上存在差异，适用于不同的业务场景。本节将聚焦四大经典聚类算法：K-Means、层次聚类、DBSCAN和高斯混合模型（GMM），解析其原理与适用范围。

4.2.2.1 聚类的核心基础：相似性度量

相似性度量是聚类算法的“灵魂”，直接决定聚类结果的合理性。常用的相似性度量可分为“距离度量”（衡量样本间的差异程度，距离越小相似度越高）和“相似度系数”（衡量样本间的关联程度，系数越大相似度越高）两类，其中距离度量应用最广泛：

欧氏距离（Euclidean Distance）：最常用的距离度量，适用于连续型特征，计算两点在高维空间中的直线距离。公式为 $dist(x_i, x_j) = \sqrt{\sum_{k=1}^d (x_{ik} - x_{jk})^2}$，其中 $x_{ik}$ 为样本 $x_i$ 的第 $k$ 维特征值。缺点是对特征量纲敏感（如“收入”（万元级）和“年龄”（十位数）的距离计算会被收入主导），需先进行归一化/标准化。
曼哈顿距离（Manhattan Distance）：适用于高维数据或特征值为整数的场景，计算两点在各维度上的绝对差值之和，公式为 $dist(x_i, x_j) = \sum_{k=1}^d |x_{ik} - x_{jk}|$。优点是计算速度快，对异常值的敏感性低于欧氏距离。
余弦相似度（Cosine Similarity）：适用于稀疏高维数据（如文本的词袋特征、图像的特征向量），衡量两样本向量的夹角余弦值，公式为 $sim(x_i, x_j) = \frac{x_i \cdot x_j}{||x_i|| \cdot ||x_j||}$（$x_i \cdot x_j$ 为向量点积，$||x_i||$ 为向量模长）。其核心是关注“方向一致性”而非“数值大小”，如两篇文本的主题相似性不受篇幅影响。
杰卡德相似系数（Jaccard Similarity）：适用于布尔型特征（如用户是否点击某商品），计算两样本的交集与并集的比值，公式为 $sim(x_i, x_j) = \frac{|A \cap B|}{|A \cup B|}$（$A$、$B$ 分别为两样本的特征集合）。常用于用户行为相似度计算。

选择相似性度量的核心原则：连续型、低维数据优先欧氏距离；高维稀疏数据优先余弦相似度；整数特征、异常值多的数据优先曼哈顿距离；布尔型特征优先杰卡德相似系数。