1. 双曲视觉语言模型的核心原理
双曲空间作为一种非欧几里得几何空间，其独特的几何特性为表示层次化数据提供了天然优势。与传统的欧几里得空间相比，双曲空间具有指数级增长的体积特性，这使得它能够更自然地表示树状或层次化结构的数据。
1.1 双曲空间的数学基础
双曲空间最常用的模型是洛伦兹模型（Lorentz model），也称为双曲面模型。在这个模型中，一个n维双曲空间可以嵌入到n+1维的闵可夫斯基空间中。具体来说，点x在双曲空间中的坐标满足以下约束条件：
⟨x, x⟩_L = -x₀² + x₁² + ... + xₙ² = -1/κ
其中κ是空间曲率，控制着空间的弯曲程度。在我们的实现中，κ初始化为1.0，并在训练过程中作为可学习参数，最终收敛到0.1。
双曲空间中的距离度量与欧几里得空间有本质不同。两点x和y之间的双曲距离定义为：
d_L(x,y) = (1/√κ) cosh⁻¹(-κ⟨x,y⟩_L)
这种距离度量使得靠近空间"边缘"的点之间的距离可以变得非常大，这正好符合层次化数据表示的需求——高层级的概念可以放置在空间中心，而更具体的子概念则分布在边缘区域。
1.2 视觉语言模型的双曲嵌入
在视觉语言模型中，我们将图像和文本都映射到同一个双曲嵌入空间中。这种联合嵌入有几个关键优势：
- 自然表示层次关系：整体场景可以放置在空间中心，而局部对象和部件则分布在周围
- 更好的组合性：部分-整体关系可以通过双曲空间中的几何关系自然表达
- 缓解维度灾难：双曲空间的指数增长特性允许用更低维的嵌入表示复杂层次结构
我们的文本编码器采用12层Transformer架构，维度为512，最大输入长度为77个token。图像编码器则使用Vision Transformer(ViT)，实验了ViT-S和ViT-B两种配置，patch大小均为16。这种架构选择与CLIP等先前工作保持一致，确保了公平比较。
2. 不确定性引导的组合对齐方法
2.1 不确定性估计的核心思想
传统视觉语言模型在处理部分-整体关系时，往往忽视了不同局部区域对整体语义的贡献差异。我们的关键创新是引入不确定性估计，量化每个局部区域的语义代表性。
不确定性u定义为点x的欧几里得ℓ₂范数：
u = ∥x∥₂
这个选择基于一个重要观察：在双曲空间中，点的欧几里得范数与它的双曲半径（到原点的双曲距离）存在单调关系。具体来说，双曲半径可以表示为：
d_L(x,o) = (1/√κ) cosh⁻¹(√(1 + κ∥x∥₂²))
对于小的∥x∥₂值，双曲半径近似等于欧几里得范数；对于大的∥x∥₂值，双曲半径呈现对数增长。这种单调关系使我们能够用欧几里得范数作为双曲半径的有效代理，避免了复杂的双曲计算。
2.2 不确定性校准损失
为了确保不确定性估计的可靠性，我们设计了专门的损失函数：
L_uc = α(∥x∥₂² - (1/√κ))²
其中α设置为0.1。这个损失鼓励嵌入向量保持适当的范数范围，避免过度收缩或扩张。在实践中，我们发现这个损失项对于稳定训练过程至关重要，它防止了嵌入向量在双曲空间中过度聚集或分散。
2.3 不确定性引导的对比学习
传统的对比学习对所有样本对同等对待，而我们的方法通过不确定性加权，使模型更关注语义代表性强的区域。具体来说，我们修改了标准的对比损失：
L_contrast = -log[exp(s(z_i,z_j)/τ) / Σ_k exp(s(z_i,z_k)/τ)]
其中相似度s(z_i,z_j)通过不确定性进行了调整：
s(z_i,z_j) = s(z_i,z_j) * exp(-|u_i - u_j|)
这种调整使得语义代表性相似的区域（不确定性相近）对对比损失的贡献更大，而差异性大的区域贡献减小。
3. 模型实现细节
3.1 训练配置与超参数
我们的模型使用4块A100 GPU进行训练，批量大小为768，共训练500K步。优化器采用AdamW，参数设置为β₁=0.9，β₂=0.98，权重衰减0.2。学习率调度采用余弦退火策略，最大学习率5×10⁻⁴，包含4k步的线性warm-up阶段。
温度参数τ也是可学习的：全局-局部logit尺度τgl初始化为0.06，局部和全局logit尺度τl和τg初始化为0.07。所有温度值都设置了0.01的下限以防止数值不稳定。
3.2 双曲投影与初始化
在将表示投影到洛伦兹模型前，我们对图像和文本向量应用了可学习的缩放因子。这些标量初始化为c_img = c_text = 1/√512，与先前工作保持一致。这种初始化确保了投影后的点能够满足双曲空间的约束条件。
对于模态内和模态间蕴含关系，我们分别设置η_intra=1.2和η_inter=0.7。这些参数控制着不同模态间关系的强度，通过实验发现这些值能够在保持模态特性的同时促进跨模态对齐。
4. 实验与结果分析
4.1 零样本分类与检索
在零样本图像分类任务中，我们将标签集视为文本查询集合，采用提示集成(prompt ensembling)技术：对每个标签编码多个提示变体，然后平均它们的嵌入作为最终文本表示。相似度计算采用洛伦兹内积，报告类别平均的top-1准确率。
在零样本检索任务中，我们计算每对图像-文本的相似度，并按相似度排序。评估指标采用召回率@K，即在前K个结果中出现至少一个正确配对的比例。我们在COCO和Flickr30K数据集上进行了评估，结果显示我们的方法在ViT-S和ViT-B两种骨干网络下都取得了领先性能。
4.2 层次分类与多标签分类
对于层次分类任务，我们使用ImageNet类标签的WordNet层次结构。评估指标包括：
- 树诱导误差(TIE)：预测标签与真实标签在树中的距离
- 最低共同祖先(LCA)误差：预测标签和真实标签到它们最深共享祖先的边加权距离之和
- 基于集合的指标：预测和真实标签的祖先集合的Jaccard相似度、层次精确率和层次召回率
在多标签分类任务中，我们在MS-COCO和VOC数据集上评估，使用平均精度(mAP)作为指标。由于双曲模型和欧几里得模型的相似度范围差异很大，我们对相似度分数进行了额外的归一化处理以确保公平比较。
4.3 多对象表示评估
我们使用ComCo和SimCo数据集评估模型在多对象场景下的表现。这些数据集包含包含2-5个对象的图像，评估模型区分不同大小和位置对象的能力。我们为每组对象数量训练单独的分类器，测试时评估分类器对新文本查询的响应能力。
结果显示我们的方法在各种对象数量和数据集上都表现优异，特别是在ViT-B配置下，5对象场景的mAP达到90.65%，显著优于基线方法。这表明我们的双曲对齐机制能够有效处理复杂多对象场景。
5. 关键发现与技术洞见
5.1 不确定性作为语义代表性的代理
通过分析不确定性值与语义相似度的关系，我们发现两者存在强负相关(Corr=-0.739)。这意味着：
- 语义代表性强的区域（与整体图像相似度高）具有低不确定性
- 语义代表性弱的区域（如模糊或无纹理区域）表现出高不确定性
这种关系验证了我们的不确定性估计确实能够捕捉局部区域的语义重要性，为部分-整体对齐提供了可靠指导。
5.2 双曲半径的影响
通过将欧几里得范数替换为显式的双曲半径进行消融研究，我们发现性能略有下降（分类准确率从68.98%降至67.41%）。这表明我们的欧几里得范数代理确实提供了有效的替代方案，避免了不必要的双曲计算，同时保持了排序一致性。
5.3 嵌入空间分析
可视化分析显示，与HyCoCLIP相比，我们的方法产生的嵌入距离原点更远，在双曲空间中分布更广。具体来说：
- 整体场景的嵌入位于空间更深处
- 局部对象的嵌入根据其不确定性分布在不同的径向区域
- 部分和整体表示之间的重叠减少
这种分布表明我们的方法更有效地利用了双曲空间的体积，创造了更清晰的层次结构表示。
6. 实际应用建议
基于我们的实验经验，对于希望应用这项技术的研究者和工程师，我有以下几点实用建议：
曲率初始化：κ初始化为1.0并允许其在[0.1,10.0]范围内学习是个稳健的选择。我们发现最终值通常收敛到0.1左右。
批量大小：双曲模型对批量大小较敏感。我们使用768的批量大小取得了良好效果，过小可能导致对比学习效果不佳。
学习率调度：余弦退火配合适当的warm-up(我们使用4k步)对稳定训练很重要，特别是早期阶段。
不确定性校准：不要忽视L_uc损失，它对于防止嵌入空间塌缩至关重要。α=0.1是个安全的起点。
可视化工具：使用HoroPCA等双曲可视化工具定期检查嵌入分布，这能帮助发现潜在问题。
硬件考虑：双曲运算可能增加约15-20%的计算开销，建议使用支持高效双曲运算的库如HyperbolicLib。
这项技术特别适合需要处理层次化视觉概念的应用场景，如：
- 医学图像分析（器官-组织-细胞层次）
- 自动驾驶场景理解（场景-物体-部件）
- 电子商务产品分类（品类-子类-产品）
通过合理调整不确定性权重，可以灵活控制模型对全局场景和局部细节的关注程度，适应不同应用需求。
