双源判别器助力城市场景跨域语义分割

篇名

问题，背景

方法

其他

基于双源判别器的域自适应城市场景语义分割

(2023)

1.跨域数据集外观分布不同导致域差异，导致对抗训练不稳定，分割精度不够理想。

2.网络对小目标分割精度不理想

1. 双源判别器（判别器输入包含 2 个不同域 的特征信息）

（1）对源域 S 使用风格转换方法 FastPhotoStyle 得到新源域 S'，从图像层面降低域差异。（2）利用生成器分别提取源域 S、新源域 S'和目标域 T 的分割特征图，将新源域的特征图作为中间桥梁，分别与源域特征图，目标域特征图进行通道维度上的特征融合（3）将得到的 2 个融合后的特征图输入双源判别器中，双源判别器和生成器迭代进行对抗训练

1. 引入自训练的伪标签

将自训练的伪标签（根据阈值选取置信度最高的）作为目标域的监督信息融入对抗训练值

1. 类平衡因子的引入

将伪标签中最大概率类别出现的频率之和作为类平衡损失因子引入损失函数中

效果

1. 降低域差异，使模型训练更加稳定，更好地实现特征对齐，从而提升性能和分割精度
2. 避免模型的预测结果偏向源域。
3. 缓解分割网络中类不平衡问题，增加网络对小目标的分割能力。

（PS:对应方法）

图引导的特征融合和分组对比学习的域自适应语义分割

(2024)

1.原有方法没有考虑两个域像素之间的关联性以及类不平衡问题，使语义分割网络的跨域性能较差

2. 解决数据集中存在的类不平衡问题，同时提取到更多域不变特征

双跨域图卷积网络

（1）构造了跨域的位置相似性矩阵和通道相似性矩阵，通过双跨域图卷积来更新图像特征图上的 结点信息，建立域内和域间像素的长距离上下文依赖关系，使无监督域自适应分割网络能提取到更多 的域不变信息。 （2）为了解决类不平衡问题，提出了分组对比学习方法，构造了分组对比损失函数，以进一步提取域不变特征。

局限

域之间的位置信息挖掘的不够充分，导致模型在一些类别较复 杂的场景仍会出现错误分类的情况

一种结合域自适应的图像语义分割算法（2021）

1. 数据的收集和标记成本高昂
2. 真实图像与合成图像在分布域上存在的差异会降低模型性能

1. 使用成本较低的计算机生成并标记的合成数据训练深度神经网络
2. 通过在输出空间上的对抗学习实现域自适应，根据WGAN对对抗学习损失函数进行改进（采用的域自适应方法是基于卷积神经网络的端到端算法）
3. 通过构建多级对抗学习网络来利用不同级别特征信息以提升模型性能。

基于深度学习和域自适应的图像语义分割（2020）

主要问题：

当前的图像分割方法都难以满足工业界的需要，尤其是为了采集训练用数据集带来 的巨大人力物力财力消耗

细分问题：

1. 图像语义分割的特征对齐可能会因为需要 编码大量视觉信息，包括外观、形状和背景信息的复杂高维特征影响，导致效果 不好
2. 特征级别低的的可能不会很好的进行域自适应，因为他们 距离高层级的标签输出太远

主要问题解决方案：

1. 了一种创新的生成对抗网络可以进行无监督的图片风格迁移，这 个方法基于公共潜在空间的假设，将不同域上的图像通过编码器映射到公共空间 的一个编码上，最后在用解码器重建图像以此达到了无监督的图像转换，为后续 的图像分割工作提供基础
2. 使用两个级联的生成对抗网络，利用对抗的思想使得网络在不同域上的输出趋于一致并且让判别器无法判断输出来自目标域还是源域。通过两个生 成对抗的网络，我们在图片和特征层级上都达到了高质量的迁移
3. 提出了一种多样性学习方 法多样性学习方法通过在多风格数据集上训练，校正了网络在预测时对物体纹 理信息的倾向性，转而更多地依靠形状来判断

细分问题对应方案：

1. 像素级预测模型迁移方法，在输出空间上（分割图）进行像素级别的域自适应
2. 多层级域自 适应的策略，这个策略通过结合分割网络不同层上的输出特征进行对抗学习达成 了多层级适应的目的

一、图像分割的国内外研究历史和现状

传统分割方法：

1.阈值法2.区域生长方法3.分水岭算法4.基于边缘检测的图像分割算法

基于深度学习的分割方法：

语义分割、实例分割、全景分割

特征提取领域：

VGGNet(深度卷积神经网络)->ResNet(残差网络)->全卷积网络->无监督的图像分割

• 仍存问题

1. 在某些场 景中，分割速度是更重要的评价指标，能够接近实时的分割推理速度运行分割模型是这些场景的迫切需求，速度、精度和计算复杂度 之间的平衡仍为挑战
2. 深度学习模型的可解释性， 是否存在针对特定数据分布且能达到一定分割精度的最小神经网络结构

基于鉴别模型和对抗损失的无监督域自适应方法（2020）

收集注释良好的图像数据集来训练深度学习算法成本过高 且耗时，而仅在渲染图像训练的模型通常无法推广到真实图像

原方案：无监督域自适应算法：试图在 2个域之间映射一些表示或提取域不变的特征，将 2 个域映射到共同的特征空间

本文方法：基于生成对抗 网络( GAN) 架构的无监督域自适应方法：

使用鉴别模型，无需权重共享、对抗损失 和辅助分类任务，以无监督的方式学习从一个域到另一个域的变换。

首先使用源域中的标签学习鉴别表示， 然后使用通过域-对抗性损失学习的非对称映射将 目标数据映射到同一空间的单独编码。

辅助分类任务：结合辅助的任务学习共同的特征表示

本文方法优势：与特定任务的体系结构分离，跨标签空间 的泛化以及训练稳定

辅助分类任务优势：最大限度地丰富训练样本，增强学习到特征的 泛化性能，而且有效增大类间距离和减小类内距离， 有利于提高分类精度。

Bidirectional Learning for Domain Adaptation of Semantic Segmentation

（双向学习在语义分割域适应中的应用）

1.手动为大型数据集标注像素级别的标签既昂贵又耗时。现有的域适应技术要么局限于小数据集，要么与监督学习相比性能不佳

2.原有的通过减少域偏移获得的性能受限于图像到图像翻译的质量。一旦翻译失败，后续步骤就无计可施

提出了一种新的双向学习框架，用于图像语义分割的域适应。该系统包含两个独立的模块：图像到图像的转换模型和分割适应模型，学习过程涉及两个方向（即“翻译到分割”和“分割到翻译”）。整个系统形成了闭环学习。两个模型将交替促进彼此，从而使域差距逐渐减小。

在正向（即“翻译到分割”）上，提出了一种自监督学习（SSL）方法来训练分割适应模型。在反向，提出了一种新的感知损失，它强制每个图像像素与其翻译版本之间的语义一致性，从而在翻译模型和分割适应模型之间建立桥梁

图像翻译和分割适应模型共同训练，在训练过程中，分割模型可以为图像翻译提供反馈，帮助改善翻译结果的质量和准确性。同时，经过改进的翻译结果又可以作为更好的输入数据，进一步提升分割模型的性能

1. 双向学习：该方法通过源域和目标域之间的双向信息流动来减小域间差异。这意味着模型不仅从源域学习，还从目标域中学习，从而增强了对目标域数据的适应能力。
2. 自监督学习：自监督学习是一种利用数据自身的信息来训练模型的方法。这种方法不需要额外的标签，而是从数据中提取有用的特征进行训练。通过引入自监督学习，模型能够进一步增强其泛化能力，提高在未见过的数据上的性能。

这种方法不仅可以利用虚拟数据来扩充训练集，还可以通过减少域差异来提高分割模型的性能