多方引导前景增强的行人重识别方法

主要贡献。 提出MGFE方法，通过掩码引导增强和自增强策略提升模型对行人前景的关注，结合瓶颈优化模块增大感受野，在Market1501和DukeMTMC上分别取得95%和88.3%的Rank-1准确率。

研究概述

行人重识别模型性能对背景环境因素过于依赖。本文通过系统实验验证了背景偏差的存在，并提出多方引导前景增强(MGFE)方法。该方法通过掩码引导增强和自增强策略提升模型对行人前景的关注，同时保留一定的背景信息，有效减轻对背景信息的依赖，增强模型泛化能力。

研究问题

公开数据集中训练集和测试集来自固定摄像头导致背景高度相似，模型可能误将背景相似的行人图像判定为相似图像。实验表明，仅凭背景信息模型Rank-1可达4.3%，证实背景信息被过度学习。完全消除背景信息也会对性能产生负面影响。

核心思路

核心思想是在保留背景信息的同时增强对前景的关注。通过引入行人掩码图作为额外输入，使用掩码引导增强(MGE)模块和自增强(SE)模块引导模型关注前景区域，结合瓶颈优化模块(BOM)通过空洞卷积增大感受野，在不增加参数的前提下提升性能。

关键组成

MGE

掩码引导增强模块

将行人掩码图与中间层特征进行逐元素相乘，增强前景区域特征响应，使模型更关注行人前景信息。

SE

自增强模块

对最高层特征计算通道间相似性矩阵，通过自注意力机制增强特征表示，捕获全局依赖关系。

BOM

瓶颈优化模块

由通道优化分支（GAP+FC调整通道权重）和感受野优化分支（1x1卷积+空洞卷积增大感受野）组成，在不增加参数的前提下提升特征质量。

MGFE网络在ResNet50骨干网络基础上，将BOM模块嵌入每个阶段的输出。多方引导分支包含MGE和SE两个模块：MGE在Stage2和Stage3使用掩码图增强中间层特征的前景区域响应；SE在Stage5通过自注意力增强全局特征。三个输出拼接后作为最终行人特征。

BOM模块由两个分支组成：通道优化分支通过GAP将特征压缩为通道描述向量，经两层FC学习通道权重；感受野优化分支通过1x1卷积降维后串联两个3x3空洞卷积增大感受野。两个分支输出经sigmoid激活后与输入特征进行残差连接。

背景影响实验是本文的重要贡献：使用Original/Foreground/Background三种图像分别训练和测试，系统验证了背景偏差的存在。仅用Background训练的模型Rank-1达18.4%（Market1501），证实背景确实包含识别信息。仅用Foreground训练的模型在Foreground测试集上Rank-1达90.6%，但Original上降至68.4%，说明前景是主要识别特征但背景也有辅助作用。

实验结果

Market1501

95.0% Rank-1

+1.8% vs Baseline

Market1501

87.5% mAP

+3.4% vs Baseline

DukeMTMC

88.3% Rank-1

+3.0% vs Baseline

DukeMTMC

77.9% mAP

+3.3% vs Baseline

消融实验表明，MPG分支和BOM模块均能有效提升模型性能和泛化能力。在跨数据集迁移实验中，MGFE相比Baseline在Rank-1上提升3.3%~3.5%，验证了方法对背景变化的鲁棒性。在前景图像测试中，MGFE的Rank-1比Baseline高4.4%（Market1501），证明模型更关注前景信息。

结论

本文系统分析了背景信息对行人重识别的影响，提出基于多方引导前景增强的MGFE方法。通过掩码引导增强和自增强策略提升模型对前景的关注，结合瓶颈优化模块增大感受野。实验表明方法有效提升了识别性能，减少了对背景信息的依赖，增强了模型鲁棒性。

核心结论。 行人重识别中前景信息是主要识别特征，但适度保留背景信息有辅助作用。通过掩码引导增强前景关注度是减少背景偏差的有效策略，结合感受野优化可以进一步提升性能。

BibTeX

@article{liu2025mgfe,
  title={多方引导前景增强的行人重识别方法},
  author={刘俊婧 and 郑宛露 and 郭子强 and 王少荣},
  journal={浙江大学学报(工学版)},
  volume={59},
  number={5},
  pages={929--937},
  year={2025},
  doi={10.3785/j.issn.1008-973X.2025.05.006},
  url={https://doi.org/10.3785/j.issn.1008-973X.2025.05.006}
}