基于互引导条件耦合的小样本语义分割

主要贡献。 提出互引导条件耦合(MGCC)网络，通过耦合信息生成模块实现像素级支持-查询特征融合，通过条件耦合模块抑制背景干扰，在PASCAL-5i和COCO-20i上取得优异性能。

研究概述

现有小样本语义分割方法普遍采用简单的融合策略实现跨分支信息传递，难以捕获复杂的特征交互信息。本文提出MGCC网络，通过耦合信息生成模块和条件耦合模块实现支持-查询分支的高效融合，使查询特征中的每个像素能够自适应地融合支持特征的像素级信息。

研究问题

现有方法在支持-查询分支融合时忽略像素级信息，未考虑查询特征与支持特征之间的相关性，且未有效区分查询图像的前景与背景，导致分割性能受限。

核心思路

核心思想是通过交叉注意力机制度量查询-支持特征的像素级相似性，根据相似性动态重组支持特征生成耦合信息，再通过余弦相似性生成条件掩码抑制背景区域的信息吸收。

关键组成

CIGM 耦合信息生成模块: 通过金字塔池化获取多尺度支持特征，利用交叉注意力计算查询-支持像素级亲和力图，加权聚合生成自适应耦合特征。
CCM 条件耦合模块: 基于支持前景全局表示与查询特征的余弦相似性生成条件掩码，抑制背景区域信息吸收，保留前景区域引导信息。
K-shot K-shot融合策略: 将K个支持图像的多尺度矩阵拼接作为键值对，通过平均操作融合支持原型，避免决定性信息被淹没。

实验结果

PASCAL-5i (1-shot): 63.3% MIoU; +0.4 vs SD-AANet; ResNet50
PASCAL-5i (5-shot): 65.7% MIoU; +0.2 vs SD-AANet; ResNet50
COCO-20i (5-shot): 43.0% MIoU; +0.9 vs RePRI; ResNet50
COCO-20i (1-shot): 68.4% FBIoU; +2.9 vs FECANet; ResNet50

方法	Backbone	1-shot MIoU	5-shot MIoU	1-shot FBIoU	5-shot FBIoU
PFENet	ResNet50	60.8	61.9	73.3	73.9
SCL	ResNet50	61.8	62.9	71.9	72.8
SD-AANet	ResNet50	62.9	65.5	-	-
MGCC (Ours)	ResNet50	63.3	65.7	74.7	77.3

消融实验表明，耦合信息生成模块贡献最大，条件耦合模块进一步提升了性能。联合使用两个模块时效果最佳，1-shot MIoU从58.8%提升至63.3%。

结论

本文提出基于MGCC的小样本语义分割网络。耦合信息生成模块通过交叉注意力度量支持-查询特征相似性，生成更适配的支持特征；条件耦合模块抑制查询图像背景区域的信息吸收，降低背景干扰。实验结果表明MGCC网络实现了更优的分割性能。

核心结论。 通过像素级的交叉注意力机制实现支持-查询特征的精细化融合，结合条件掩码抑制背景干扰，是小样本语义分割中提升特征融合效率的有效途径。

BibTeX

@article{liu2023mgcc,
  title={基于互引导条件耦合的小样本语义分割},
  author={刘胜男 and 姜璐璐 and 郑宛露 and 王少荣 and 汪国平},
  journal={计算机辅助设计与图形学学报},
  volume={37},
  number={6},
  pages={973--982},
  year={2023},
  issn={1003-9775},
  doi={10.3724/SP.J.1089.2023-00457},
  url={https://www.jcad.cn/cn/article/doi/10.3724/SP.J.1089.2023-00457}
}

Trending Searches

No results found

研究概述

研究问题

核心思路

关键组成

耦合信息生成模块

条件耦合模块

K-shot融合策略

实验结果

结论

BibTeX