Segmenting and Understanding: Region-aware Semantic Attention for Fine-grained Image Quality Asse...

文章总结与翻译

一、文章主要内容

该文章聚焦无参考图像质量评估（NR-IQA）领域，旨在解决现有方法在捕捉语义显著区域细节和局部质量差异方面的不足，提出了名为RSFIQA的细粒度图像质量评估模型。

1. 研究背景

现有NR-IQA方法存在两大局限：一是侧重全局表征，对语义显著区域的洞察有限；二是对区域特征采用统一加权，削弱了对局部质量变化的敏感性。同时，基于多模态大型语言模型（MLLM）的IQA方法虽能通过自然语言描述图像质量，但在精准数值评分上表现不如传统方法，难以满足实际应用需求。

2. 模型架构与核心流程

RSFIQA采用双分支架构，具体流程如下：

• 语义区域分割：利用Segment Anything Model（SAM）将输入图像动态分割为非重叠的语义区域，保留结构连续性并抑制无关区域干扰。
• 细粒度失真感知：将每个分割区域输入MLLM（采用Qwen2.5-VL），结合提示词获取区域内容、多维度（颜色、噪声、伪影、模糊、整体）失真等级与对应分数，再通过文本Tokenizer和Encoder提取文本嵌入矩阵。
• 多尺度图像特征提取与融合：通过骨干网络（ResNet或Swin Transformer）提取多尺度图像特征，经多尺度分层融合（MHF）模块融合，该模块通过下采样、自注意力和交叉注意力整合多尺度信息，提升效率与特征表达能力。