基于多层次感知的 RGB-D 显著性目标检测网络

主要贡献。 提出跨模态层次感知网络(CHANet)，为不同层级的多模态特征设计差异化融合策略，在四个数据集上相比次优模型实现0.27%~2.9%的性能增益。

研究概述

现有RGB-D显著性检测方法对不同层次不同模态特征采用统一融合策略，忽略了不同层次和不同模态特征的固有优势。本文提出CHANet，针对RGB信息在全局语义上的优势和深度信息在局部结构上的优势，为不同层级设计差异化融合策略，并在解码阶段引入三分支解码器和自适应特征聚合模块。

研究问题

现有方法对不同层次和模态采用统一融合策略，未能充分利用深度图在细节上和RGB图在语义上的优势。同时，低质量深度特征可能对检测结果产生负面影响。

核心思路

核心思想是分层差异化融合：低层次利用深度特征的优势增强局部细节，高层次利用深度信息辅助全局语义理解。解码阶段通过三分支解码器和自适应特征聚合模块动态调整多模态特征权重，减少低质量深度噪声的干扰。

关键组成

LDEM

低层次细节增强模块

在编码器低层阶段，以深度特征为优势特征，通过拼接融合和通道注意力掩码增强多模态共享特征的细节表现，逐层递进累积融合信息。

HSEM

高层次语义增强模块

在编码器高层阶段，通过空间注意力增强深度特征，引导RGB和深度特征关注关键区域，再经通道注意力融合获得区域感知的语义特征。

AFM

自适应特征聚合模块

在三分支解码器的RGB-D共享分支中，通过生成注意力权重图自动校正RGB和Depth解码特征的融合比例，有效避免低质量深度噪声干扰。

CHANet采用双流Res2Net编码器提取五级特征。前三级特征通过LDEM以深度特征为主导进行细节增强融合，后两级通过HSEM以语义增强为目标进行跨模态融合。解码阶段采用三分支结构：RGB单模态分支、Depth单模态分支和RGB-D共享分支，共享分支中集成AFM模块自适应聚合跨模态信息。

LDEM首先将RGB和深度特征拼接后经两层卷积生成融合特征，然后通过GMP+Conv+Sigmoid生成深度特征的空间掩码，用掩码对融合特征加权后加上原始深度特征（残差连接）。低层模块之间还通过逐层传递上层融合特征作为补充信息。

HSEM先对深度特征施加空间注意力（GAP+FC+Sigmoid），然后用增强后的深度特征引导RGB和深度特征关注重要区域，再通过通道注意力（GMP+Conv+Sigmoid）融合两个模态的特征，最终与上层输出拼接融合。

实验结果

NLPR

0.931 S-measure

+0.002 vs CIRNet

最优

NJU2K

0.935 F-measure

+0.008 vs CDINet

最优

DES

0.947 F-measure

+0.004 vs CCAFNet

最优

SIP

0.896 S-measure

+0.010 vs CIRNet

最优

在五个基准数据集上，CHANet在绝大多数指标上达到最优或次优性能。相比次优模型，四个数据集上四个指标分别实现了0.27%~1.88%、0.1%~1.12%、0.54%~2.9%、0.2%~1.08%的性能增益。

结论

本文提出基于多层次感知的RGB-D显著性目标检测网络CHANet，通过低层次细节增强和高层次语义增强模块有效利用了深度信息在局部结构和RGB在语义处理上的优势。三分支解码器和自适应特征聚合模块进一步探索了不同模态的互补关系。在多个数据集上验证了方法的有效性和先进性。

核心结论。 为不同层级的多模态特征设计差异化融合策略是RGB-D显著性检测的关键。低层次应充分利用深度信息的空间结构优势，高层次则应利用深度信息辅助语义理解，同时通过自适应机制减少低质量深度噪声的影响。

BibTeX

@inproceedings{wang2024chanet,
  title={基于多层次感知的RGB-D显著性目标检测网络},
  author={王妍 and 郑宛露 and 潘成伟 and 王少荣},
  booktitle={中国多媒体大会（ChinaMM 2024）},
  year={2024}
}