头像抠图方法及电子设备与流程

本申请属于计算机，涉及图像处理领域，尤其涉及一种头像抠图方法及电子设备。

背景技术：

1、相关的人物头像抠图工具，通常需要由具有一定的抠图处理技术的专业人士进行操作，通常需要多次操作才能得到较为合适的抠图结果。而相关技术中使用的人物头像抠图模型，由于训练时需要使用大量的带有标签的图像数据，导致训练成本较高且模型的泛化能力不足。此外，相关技术中使用的人物头像抠图模型只能实现对人物头像的粗略硬分割，缺乏平滑的过渡效果，对于复杂结构的前景物体(例如人脸外轮廓)的分割的精准度较低。

技术实现思路

1、本申请实施例提供一种头像抠图方法及电子设备，能够解决现有的头像抠图时需要与用户交互、需要使用大量训练数据以及模型的泛化能力不足的问题，能够有效提升利用模型进行头像抠图的分割精准度。

2、本申请实施例第一方面提供一种头像抠图模型训练方法，包括：获取头像图像数据集，将所述头像图像数据集划分为训练集与测试集，所述头像图像数据集包括：原始图像中头像的第一抠图、所述原始图像中头像的第一关键点图像、所述原始图像与所述第一关键点图像的融合图像；基于所述训练集对预先构建的模型进行至少一次的迭代更新，直至得到满足预设要求的目标抠图模型，其中，所述至少一次迭代更新中的任一次更新包括：将所述训练集中的单张融合图像输入当前模型，所述当前模型表示上一次更新后得到的模型；利用所述当前模型获取所述单张融合图像中头像的第二抠图，以及所述单张融合图像中头像的第二关键点图像；利用第一损失函数计算所述单张融合图像对应的第一抠图与第二抠图之间的第一损失值，利用第二损失函数计算所述单张融合图像对应的第一关键点图像与第二关键点图像之间的第二损失值；当基于所述第一损失值与所述第二损失值确定所述当前模型不满足所述预设要求时，使用所述训练集中的下一张融合图像对所述当前模型进行下一次更新，直至得到满足所述预设要求的目标抠图模型。

3、根据本申请实施例，所述当前模型包括编码器、注意力机制、第一解码器以及第二解码器，利用所述当前模型获取所述第二抠图以及所述第二关键点图像包括：利用所述编码器提取所述融合图像的多尺度的图像特征；利用所述注意力机制对所述多尺度的图像特征进行融合，得到融合特征；利用所述第一解码器对所述融合特征进行解码，得到所述第二抠图；利用所述第二解码器对所述融合特征进行解码，得到所述第二关键点图像。

4、根据本申请实施例，所述编码器包括特征提取模块；所述特征提取模块的输入为三通道图像，所述特征提取模块的输出为单通道的关键点特征图像。

5、根据本申请实施例，所述第一关键点图像的获取方法包括：利用预设的关键点特征提取模型对所述原始图像中的头像进行关键点检测，获得头像的第一关键点；将根据头像的第一关键点生成的单通道图像作为所述第一关键点图像。

6、根据本申请实施例，所述第一关键点图像包括：脸部轮廓关键点所在的第一单通道图像，眉毛嘴巴与眼睛的关键点所在的第二单通道图像，鼻子关键点对应的第三单通道图像。

7、根据本申请实施例，所述头像图像数据集还包括所述原始图像，所述融合图像的获取方法包括：将所述第一关键点图像包括的第一单通道图像、第二单通道图像、第三单通道图像与所述原始图像进行通道融合，将通道融合得到的三通道图像作为所述融合图像。

8、根据本申请实施例，所述方法还包括：当所述第一损失值和所述第二损失值都小于或等于预设损失阈值时，使用所述测试集对当前模型进行模型验证得到模型验证结果；当所述模型验证结果指示所述当前模型不满足所述预设要求时，使用所述训练集中的下一张融合图像对所述当前模型进行下一次更新；或者，当所述模型验证结果指示所述当前模型满足所述预设要求时，停止更新，并将所述当前模型作为所述目标抠图模型。

9、根据本申请实施例，所述使用所述测试集对当前模型进行模型验证得到模型验证结果包括：将所述测试集中的任一融合图像输入所述当前模型；利用所述当前模型获取所述任一融合图像中头像的第三抠图以及所述任一融合图像中头像的第三关键点图像；利用所述第一损失函数计算所述任一融合图像对应的第一抠图与第三抠图之间的第三损失值，利用第二损失函数计算所述任一融合图像对应的第一关键点图像与第三关键点图像之间的第四损失值；当所述第三损失值或所述第四损失值大于所述损失阈值时，确定所述模型验证结果不满足所述预设要求；或者，当所述第三损失值和所述第四损失值都小于或等于所述损失阈值时，确定所述模型验证结果满足所述预设要求。

10、本申请实施例第二方面提供一种头像抠图模型的应用方法，所述方法包括：将待抠图图像输入目标抠图模型，使用所述目标抠图模型对所述待抠图图像进行特征提取，得到所述待抠图图像的关键点图像与初始抠图图像；其中，所述目标抠图模型为利用如所述头像抠图模型训练方法所获得；确定所述关键点图像中的关键点的外包围图形，以及所述待抠图图像中与所述外包围图形对应的区域图像；将所述区域图像与所述初始抠图图像进行图像合并，得到合并图像；确定所述合并图像中的闭合区间，并确定所述闭合区间的高度与宽度的比值，根据所述比值对所述闭合区间的边缘进行裁剪，得到目标抠图图像。

11、本申请实施例第三方面提供一种头像抠图模型训练装置，所述头像抠图模型训练装置包括：构建模块，用于获取头像图像数据集，将所述头像图像数据集划分为训练集与测试集；迭代更新模块，用于基于所述训练集对预先构建的模型进行至少一次的迭代更新，直至得到满足预设要求的目标抠图模型。

12、本申请实施例第四方面提供一种电子设备，包括：存储器，及处理器，所述处理器执行所述存储器中存储的计算机可读指令，实现所述的头像抠图模型训练方法或头像抠图模型的应用方法。

13、本申请实施例提供的头像抠图模型训练方法，可以将头像中的人脸关键点信息作为先验信息训练抠图模型，使得抠图模型能够学习根据关键点信息的位置确定人脸与头发的完整的外轮廓，从而提高模型的性能。此外，使用关键点信息作为先验信息训练模型，还可以降低训练模型时的训练成本，提高模型的训练效率。本申请实施例提供的头像抠图模型的应用方法，能够有效提升头像抠图的效果与精准度。

技术特征：

1.一种头像抠图模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的头像抠图模型训练方法，其特征在于，所述当前模型包括编码器、注意力机制、第一解码器以及第二解码器，利用所述当前模型获取所述第二抠图以及所述第二关键点图像包括：

3.根据权利要求2所述的头像抠图模型训练方法，其特征在于，所述编码器包括特征提取模块；所述特征提取模块的输入为三通道图像，所述特征提取模块的输出为单通道的关键点特征图像。

4.根据权利要求1所述的头像抠图模型训练方法，其特征在于，所述第一关键点图像的获取方法包括：

5.根据权利要求1所述的头像抠图模型训练方法，其特征在于，所述第一关键点图像包括：脸部轮廓关键点所在的第一单通道图像，眉毛嘴巴与眼睛的关键点所在的第二单通道图像，鼻子关键点对应的第三单通道图像。

6.根据权利要求1所述的头像抠图模型训练方法，其特征在于，所述头像图像数据集还包括所述原始图像，所述融合图像的获取方法包括：

7.根据权利要求1所述的头像抠图模型训练方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的头像抠图模型训练方法，其特征在于，所述使用所述测试集对当前模型进行模型验证得到模型验证结果包括：

9.一种头像抠图模型的应用方法，其特征在于，所述方法包括：

10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至8中任意一项所述的头像抠图模型训练方法，或实现如权利要求9所述的头像抠图模型的应用方法。

技术总结
本申请实施例提供一种头像抠图方法及电子设备，所述方法包括获取头像图像数据集，将所述头像图像数据集划分为训练集与测试集，所述头像图像数据集包括：原始图像中头像的第一抠图、所述原始图像中头像的第一关键点图像、所述原始图像与所述第一关键点图像的融合图像；基于所述训练集对预先构建的模型进行至少一次的迭代更新，直至得到满足预设要求的目标抠图模型。本申请能够有效提高对头像抠图模型进行训练的效率，以及头像抠图的精准度。

技术研发人员：曾鹏
受保护的技术使用者：广州商研网络科技有限公司
技术研发日：
技术公布日：2024/2/8