基于语义分离和特征融合的人脸编辑方法

主要贡献。 提出ISFL模型，在图像域实现人脸语义的局部分离和全局融合，用户可通过掩模单独编辑人脸不同语义的结构和外观，并支持基于优化和基于编码器两种细节优化方式。

研究概述

人脸图像编辑模型中语义属性间关联性强，编辑一种语义可能导致其他属性和非编辑区域的改动。本文提出ISFL模型，使用图像掩模将人脸语义分离并组织为层次化树状结构，通过局部编码器、语义融合器和全局生成器实现对图像语义的局部分离和全局融合，支持用户通过掩模单独编辑不同语义的结构和外观。

研究问题

现有人脸编辑方法缺乏对面部结构或外观的直接控制，语义属性间关联性强导致编辑一种属性时影响其他属性，且交互复杂耗时，不能满足易用性和即时性要求。

核心思路

核心思想是将人脸语义在图像域分离为结构特征（边缘、纹理）和外观特征（色调、色彩），分别编码后通过语义融合器基于MLP-Mixer机制融合，映射到StyleGAN2的W+潜在空间，实现精准的局部语义编辑。

关键组成

Local Encoder 局部编码器: 包含结构编码器（基于FPN+ResNet提取多尺度结构特征）和外观编码器（浅层卷积+GAP提取独立于结构的外观特征），分别生成结构和外观向量。
Semantic Fuser 语义融合器: 基于MLP-Mixer的SE-MLP模块，通过SemanMixer中的Modulation机制将外观特征融入结构特征，映射到StyleGAN2的W+潜在空间。
Detail Optimization 细节优化: 提供基于优化（PTI+Gram矩阵损失，质量更高）和基于编码器（结构残差编码+门控融合，速度更快）两种方式优化生成图像细节。

实验结果

IS (重构): 3.19 Inception Score; +0.18 vs pix2pixHD; 基于优化方法
LPIPS (重构): 0.51 LPIPS (lower=better); -0.01 vs pix2pixHD; 基于优化方法
ID (重构): 0.26 ID距离 (lower=better); -0.02 vs pix2pixHD; 两种方法均最优
支持语义数: 9类语义类别; 头发/眼/嘴/鼻/面/耳/颈/背景; 可同时编辑多个语义

方法	FID↓	IS↑	LPIPS↓	ID↓
pix2pixHD	0.84	3.01	0.52	0.28
DeepFaceEditing	1.79	2.87	0.56	0.30
ISFL (编码器)	0.85	2.79	0.52	0.26
ISFL (优化)	1.09	3.19	0.51	0.26

在CelebAMask-HQ数据集上，ISFL在IS、LPIPS和ID指标中均达到最优，生成图像质量更高、感知更真实、身份特征保留更好。基于优化的方法生成质量更高，基于编码器的方法在1秒内完成编辑，速度可接受。

结论

本文提出基于语义分离和特征融合的人脸图像编辑模型ISFL，通过图像掩模在图像域分离人脸语义并组织为层次化结构，实现对特定语义结构和外观的独立编辑。基于MLP-Mixer的语义融合器和两种细节优化方法确保了生成图像的高质量。

核心结论。 将人脸语义在图像域分离为结构和外观特征，通过Modulation机制在融合阶段注入外观信息，是实现精准局部人脸编辑的有效途径。层次化的语义组织结构支持同时编辑多个语义属性。

BibTeX

@article{xia2024isfl,
  title={基于语义分离和特征融合的人脸编辑方法},
  author={夏垚铮 and 郝蕾 and 郑宛露 and 潘成伟 and 王少荣},
  journal={计算机辅助设计与图形学学报},
  volume={37},
  number={3},
  pages={414--426},
  year={2024},
  issn={1003-9775},
  doi={10.3724/SP.J.1089.2024-00305},
  url={https://www.jcad.cn/cn/article/doi/10.3724/SP.J.1089.2024-00305}
}

Trending Searches

No results found

研究概述

研究问题

核心思路

关键组成

局部编码器

语义融合器

细节优化

实验结果

结论

BibTeX