前提知识
维度：特征维度可以简单理解为需要用多少个数字去表示特征。例如，一个人有身高、体重、性别、年龄这四个特征，每个特征都用一个数字表示，那人的特征维度就是4。
软/硬分布：在聚类算法中，根据一个数据点是否确定属于唯一一个簇可划分为软分布和硬分布。如果一个数据点和簇中心的关系只有属于和不属于，也就是0和1，则是硬分布，比如Kmeans等；如果数据点和簇中心之间的关系用相关度或者隶属度表示，则是软分布，比如FCM、DEC、IDEC等。
背景
聚类通过挖掘数据特征之间的关系，增大簇之间的距离，缩小簇内间距。但随着数据量的增长，描述数据的特征维度也在不断增加。如果保留数据的全部特征进行聚类，不仅会增加计算量，还会因为噪声和无用特征的存在导致聚类结果不理想。所以为了数据清洗并且将高维数据特征压缩为低维数据特征以便更好地进行聚类，于是引入DNN（Deep Natural Network）深度神经网络，进而有了深度聚类，DEC就是深度聚类中的代表算法之一。
DNN搭建
AE（Auto-Encoder）自编码器是一种神经网络架构，由encoder（编码器）和decoder（解码器）组成，具有压缩和重构的功能，是DEC的基础骨架。
encoder是由多个全连接层+激活函数组成的网络块，负责将高维特征压缩为低维特征。
如上图所示，全连接层的隐藏计算层一共有四个神经元，是参与计算的最小网络单位，将所有特征输入进每个神经元，每个神经元会对输入进行加权求和，即线性变换：
其中权重w和偏置b都是可学习的参数，且所有神经元独立使用W和b。隐藏层的结果经过激活函数激活后再输入进输出层的神经元，加权求和后即为嵌入后的特征z，可见嵌入特征z的维度和输出层神经元个数保持一致，和隐藏层神经元个数无关。
decoder的结构和encoder非常相似，区别在于decoder的输入特征维度要比输出层神经元个数大，以此完成升维任务。
AE预训练
AE是要服务于最后的聚类任务的，一个好的AE模型对聚类结果至关重要，因此需要先对AE进行预训练，得到不错的结果后再将其用于聚类。
encoder负责压缩特征，decoder负责使用由encoder得到的嵌入特征进行重构，得到，与原始特征X比较即可判断AE的表现。
预训练损失函数使用X和的均方误差（MSE）：
DEC算法会抛弃decoder，只用encoder完成后续的聚类任务。
聚类
聚类任务中需要更新的参数就是簇中心，在第一次聚类之前，需要初始化簇中心，有两个方法：
①随机初始化
②AE预训练完成后，将数据放在AE中再跑一遍，这一遍只要encoder生成的嵌入特征z，用 kmeans对z进行一次聚类得到初始化簇中心
显然②的误差会更小，所以一般都会选择②。
聚类损失函数：KL散度
其中，q是目标/近似分布，p是希望q去逼近的真实分布，KL散度表示真实分布p和近似分布q之间的差距。
KL越小，p和q之间的差距越小，近似分布越逼近真实分布，聚类结果越好。
接下来计算近似分布Q，计算z和的欧式距离，但是DEC是软分布，所以需要先把欧氏距离转换成软分布，使用学生-t分布的概率密度公式计算软分布，t分布并不是用来建模隐空间样本的分布，只是距离‑相似度的转换核。相比正态分布，学生 t‑分布拥有更重的尾部，距离较大时相似度不会快速归零，保留软分布的梯度，避免训练过早变成硬分布。
其中，α是t分布的自由度。在DEC论文以及其他方法中，α的值通常固定为1，所以Q一般写成：
由于聚类是无监督学习，压根没有真实分布，所以对Q进行锐化得到P：
锐化的作用就是会让大的更大，小的更小。
loss会让Q不断的逼近P，从而达到聚类的效果，P也叫伪标签。
总结
DEC的损失函数只有聚类损失即KL散度，因为在AE预训练完成之后，只有encoder参与了后续的聚类。
KL散度是由P和Q计算得来的，P又是由Q锐化得到的，所以参数更新就是Q中的嵌入特征z和簇中心，但是z只是一个计算结果，是由encoder计算得到的，所以DEC真正需要更新的参数有两个：
①神经网络参数W和b
②簇中心
完整过程：
①预训练AE，完成神经网络参数初始化和簇中心初始化。
②将数据输入encoder得到嵌入特征z，计算嵌入特征z和簇中心的欧式距离，带入t分布的概率密度公式将距离转化为相关度，得到近似分布Q，锐化Q得到伪标签P。
③计算KL散度，反向传播梯度下降调整参数W、b、。
④重复②③直到KL散度不再变化。
注意：
由于DEC需要更新的参数很多，而且数据量很大，所以一般会采用mini-batch的策略进行模型微调（也就是②③），每次只选取一部分的数据输入到encoder当中，参数正常更新，但是P的公式中需要计算所有数据的软分布之和，现在训练只是选了一部分数据，只会临时记录这一部分数据的Q，所以不能更新P，等到一定轮次（可以自己设置）之后，再统一计算所有的Q，求和再更新P，这样也会节省很多时间。
DEC缺点：
DEC的P是由Q锐化得到的，所以实际上模型微调的方向就已经人为确定了，就是让相关度高的更高，低的更低，假如一开始的方向就是错的，那一条道走到黑显然也不会有好结果。
DEC的损失函数只有KL散度，这会导致模型为了让loss减小，调整W和b的时候可能会导致encoder压缩出扭曲的嵌入特征，虽然看似loss小了，但实际上是不合理的，这也是DEC在模型微调环节把decoder去掉encoder没有了重构约束的结果，也是IDEC改进的方向。
