图像背景切换方法、装置、介质

本发明属于图像处理，尤其涉及一种基于图像显著性检测和生成模型的图像背景切换方法、装置、介质。

背景技术：

1、图像背景切换技术可以帮助你快速地更改图像的背景，从而实现各种有趣的效果。例如，你可以将自己的图像放在一个美丽的风景中，或者在社交媒体上使用有趣的背景来美化你的图像，又或者是在线上会议时使用新的背景来保护自己的隐私。

2、现有技术中，通常使用深度学习的分割网络，例如u-net和mask r-cnn，可以准确地分离出图像中的前景和背景，使得背景更改更加自然，相比于手动编辑或其他传统的技术，使用分割网络可以更快速、更准确地实现背景切换，同时也提供了更多的创意空间。分割网络通过学习大量的带有标签的数据，能够在许多复杂的场景中实现较好的前景与背景分割。但使用深度学习的分割网络的方法存在分割精度低、计算复杂性高、训练数据量大等问题。在分割精度方面，虽然这些深度学习方法在许多场景下可以实现较好的分割效果，但在处理具有复杂纹理、颜色分布或光照条件变化较大的图像时，可能无法准确地分割出前景和背景。在计算复杂性方面，现有深度学习方法通常需要大量的计算资源，包括高性能的处理器和大量的内存。这个问题在一些硬件条件有限或需要实时处理的应用场景下，可能会导致处理时间过长，影响用户体验。在训练数据需求方面，深度学习方法需要大量的带标签数据进行训练，而获取和标记这类数据需要大量的人力和时间投入，不仅增加了开发成本，而且限制了这类方法的普适性和可用性。此外，现有的技术如果提供的背景图片包含前景物体，往往无法正确应用，使得切换结果出现失真和不自然的现象。

技术实现思路

1、针对现有技术的不足，本发明提出一种图像背景切换方法、装置、介质，该方法提高了背景切换效果的自然性和准确性，并且提高背景切换的灵活性和效率，从而满足用户对图像背景切换的不同需求。

2、为了实现上述目的，本发明一方面提供一种图像背景切换方法，包含：

3、对第一输入图像分割后排序，得到图像中的背景范围；

4、将所述背景范围作为条件传入到生成模型中，生成背景图像；

5、对第二输入图像进行图像显著性检测，提取出图像前景的显著性区域，生成显著图；

6、依据所述显著图提取所述第二输入图像的前景图像；

7、将所述背景图像与所述前景图像融合，生成第三图像。

8、可选的，对第一输入图像分割后排序，得到图像中的背景范围，包含：

9、对第一输入图像进行分割，得到多个超像素块节点；

10、提取每一所述超像素块节点的关键特征，存储为特征向量；

11、依据所述关键特征，生成一前景查询节点；

12、以所述前景查询节点作为条件，按照所述特征向量的一特定维度对所有所述超像素块节点进行排序；

13、选择图像边缘部分的像素作为背景查询节点，得到图像中的所述背景范围。

14、可选的，采用slic算法将所述第一输入图像分割为多个所述超像素块节点，

15、提取每一所述超像素块节点的平均颜色和节点的位置作为所述关键特征；

16、所述依据所述关键特征，生成一前景查询节点，包含：

17、依据所述关键特征确定任意两个所述超像素块节点之间的紧密度，

18、

19、其中，ti表示超像素块节点i与其他任一超像素块节点j之间的紧密度，c＝{ci∣i＝1,2,…,n},表示所有所述超像素块节点的平均颜色集合，p＝{pi∣i＝1,2,…,n}表示所有所述超像素块节点的节点位置集合，ε表示一极小的正数，用于避免分母为0。

20、选取紧密度最高的一超像素块节点作为最优的所述前景查询节点。

21、可选的，确定任意两个所述超像素块节点之间的排序关系为：

22、

23、其中，任意两个超像素节点之间的权重定义为：σ＝max||ci-cj||-min||ci-cj||，σ是颜色空间中超像素块节点之间距离和像素值的标准差；fi，fj分别表示图中第i个和第j个超像素块节点的特征向量，dii，djj表示代表第i个和第j个节点与它们连接的边的数量，μ＝0.1用于控制平滑约束，yi表示该超像素块节点是否为种子点，若为种子点则yi＝1否则yi＝0。

24、可选的，采用cgan条件生成对抗网络作为所述生成模型。

25、可选的，采用基于深度学习的显著性检测模型，对所述第二输入图像进行图像显著性检测，所述显著性检测模型包含编码器和解码器；

26、当所述第二输入图像为包含显著物体的图像时，将所述编码器得到的第一特征图通过所述解码器进行解码操作，并预测生成所述显著图；

27、当所述第二输入图像为不包含显著物体的图像时，计算所述编码器得到的第二特征图、以及与所述第二特征图相同大小的背景像素特征图，确定所述第二特征图与所述背景像素特征图之间的bce损失，关闭所述编码器中的相关背景通道，损失计算如下：

28、

29、其中，n表示训练数据集中图片的数量，其中，fmt表示背景像素特征图，fl表示编码特征图。

30、可选的，所述编码器包含三次重塑结构，用于重构特征图并传输到下一个编码层。

31、可选的，在生成所述第三图像之前，对所述背景图像与所述前景图像融合后的图像进行后处理，去除不自然的边缘、调整色调。

32、本发明另一方面还提供了一种图像背景切换装置，采取上述的图像背景切换方法，包含：

33、背景提取模块，用于对第一输入图像分割后排序，得到图像中的背景范围；

34、背景生成模块，用于将所述背景范围作为条件传入到生成模型中，生成背景图像；

35、显著性检测模块，用于对第二输入图像进行图像显著性检测，提取出图像前景的显著性区域，生成显著图；

36、前景生成模块，用于依据所述显著图提取所述第二输入图像的前景图像；

37、融合模块，用于将所述背景图像与所述前景图像融合，生成第三图像。

38、本发明另一方面还提供了一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像背景切换方法的步骤，且能达到相同的技术效果。

39、由以上方案可知，本发明的优点在于：

40、本发明提供的图像背景切换方法，采用了图像显著性检测和生成模型相结合的方式，具体通过对第一输入图像分割后排序，得到图像中的背景范围；将背景范围作为条件传入到生成模型中，生成背景图像；同时，对第二输入图像进行图像显著性检测，提取出图像前景的显著性区域，生成显著图；依据显著图提取第二输入图像的前景图像；最后，将背景图像与前景图像融合，生成第三图像。该方法实现了高效、自动化的图像背景切换。同时，生成模型可以根据前景显著性区域的特征生成与其相似的背景图像，使切换后的图像更加自然，具有更高的美观度和真实感。

技术特征：

1.一种图像背景切换方法，其特征在于，包含：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求1所述的方法，其特征在于，采用cgan条件生成对抗网络作为所述生成模型。

6.根据权利要求1所述的方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，

8.根据权利要求1所述的方法，其特征在于，

9.一种图像背景切换装置，其特征在于，采取权利要求1-8任一项所述的图像背景切换方法，包含：

10.一种可读存储介质，可读存储介质上存储有程序或指令，其特征在于，该程序或指令被处理器执行时实现权利要求1-8任一项所述的图像背景切换方法的步骤。

技术总结
本发明提供一种背景切换方法、装置、介质，方法包含：对第一输入图像分割后排序，得到图像中的背景范围；将所述背景范围作为条件传入到生成模型中，生成背景图像；对第二输入图像进行图像显著性检测，提取出图像前景的显著性区域，生成显著图；依据所述显著图提取所述第二输入图像的前景图像；将所述背景图像与所述前景图像融合，生成第三图像。该方法提高了背景切换效果的自然性和准确性，并且提高背景切换的灵活性和效率，从而满足用户对图像背景切换的不同需求。

技术研发人员：徐子贤,刘娈琦,王迎勋,王香,王宇婷,孙鹏飞,胡艳羽
受保护的技术使用者：齐鲁理工学院
技术研发日：
技术公布日：2024/1/25