mHC: Manifold-Constrained Hyper-Connections
https://arxiv.org/abs/2512.24880
mHC: Manifold-Constrained Hyper-Connections 概述
mHC（Manifold-Constrained Hyper-Connections）是一种基于流形约束的超连接方法，旨在通过几何约束优化神经网络中的连接结构。其核心思想是将高维数据嵌入到低维流形中，利用流形的几何特性约束网络连接，从而提升模型的泛化能力和计算效率。
核心原理
流形约束：假设高维数据实际分布在低维流形上，mHC通过数学方法（如拉普拉斯矩阵或图嵌入）对网络权重施加流形结构的约束，确保连接模式与数据的几何特性一致。
超连接优化：传统全连接层可能引入冗余参数，mHC通过动态调整连接权重，优先保留流形上局部或全局的重要连接，减少无效计算。
应用场景
计算机视觉：在图像分类任务中，mHC可减少卷积层间的冗余连接，提升特征提取效率。
图神经网络：直接利用图的拉普拉斯矩阵作为流形约束，优化节点嵌入。
生成模型：在VAE或GAN中约束潜空间流形，生成更合理的样本。
优势与挑战
优势：
- 降低模型复杂度，减少过拟合风险。
- 显式利用数据几何结构，提升可解释性。
挑战：
- 流形估计的准确性直接影响性能。
- 动态连接可能增加训练时的计算开销。
