图像处理方法、装置、计算机设备和存储介质与流程

本公开涉及人工智能，具体涉及一种图像处理方法、装置、计算机设备和存储介质。

背景技术：

1、图像处理中是当前日常生活中较为常见一种技术。其中手机拍照能够让用户更加方便的获取图像，因此图像处理在日常生活中有着广泛的应用。例如为了突出图像中的人物重点，可以从图像中扣出人物主体，对背景做虚化等处理。或者是对图像中人物添加特效时，需要判断人物的位置来添加不同效果。又或者在进行视频通话或者视频会议中，如果不希望对方看到自己所在的场景，也需要将人物扣出并替换背景。

2、相关技术中，图像处理的自动化程度较低，依赖于用户的图像处理经验，计算量较大，无法保证图像处理质量。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本公开的目的在于提出一种图像处理方法、装置、计算机设备和存储介质，由此，可以基于图像分割模型有效提升图像处理的自动化程度，当基于共享图像特征和共享图像特征的特征尺度确定图像分割特征，可以有效降低图像分割处理的计算量，有效提升图像处理效果。

3、本公开第一方面实施例提出的图像处理方法，包括：获取待处理图像，其中，所述待处理图像包括前景对象；将所述待处理图像输入至图像分割模型中，得到所述图像分割模型输出的图像分割特征；其中，所述图像分割特征是从所述待处理图像中分割处理所述前景对象的参考特征，所述图像分割特征基于所述前景对象的语义维度和边缘维度所共享的共享图像特征和，所述共享图像特征的特征尺度确定；根据所述图像分割特征对所述待处理图像中所述前景对象进行分割处理，得到目标图像。

4、本公开第一方面实施例提出的图像处理方法，可以基于图像分割模型有效提升图像处理的自动化程度，当基于共享图像特征和共享图像特征的特征尺度确定图像分割特征，可以有效降低图像分割处理的计算量，有效提升图像处理效果。

5、本公开第二方面实施例提出的图像分割模型的生成方法，包括：获取样本图像和与所述样本图像对应的标注分割特征，其中，所述样本图像包括：样本前景对象，所述标注分割特征是标注的从所述样本图像中分割处理所述样本前景对象的参考特征；获取初始神经网络模型；将所述样本图像输入至所述初始神经网络模型中，得到预测分割特征，其中，所述预测分割特征是预测所得的从所述样本图像中分割处理所述样本前景对象的参考特征；计算所述预测分割特征和所述标注分割特征之间的损失值；根据所述损失值训练所述初始神经网络模型，直至所述初始神经网络模型收敛，将训练所得神经网络模型作为图像分割模型。

6、本公开第二方面实施例提出的图像分割模型的生成方法，可以在模型训练过程中基于损失值对初始神经网络模型的模型性能进行评估，以准确判定模型收敛时机，从而有效提升所得图像分割模型的可靠性。

7、本公开第三方面实施例提出的图像处理装置，包括：

8、第一获取模块，用于获取待处理图像，其中，所述待处理图像包括前景对象；第一处理模块，用于将所述待处理图像输入至图像分割模型中，得到所述图像分割模型输出的图像分割特征；其中，所述图像分割特征是从所述待处理图像中分割处理所述前景对象的参考特征，所述图像分割特征基于所述前景对象的语义维度和边缘维度所共享的共享图像特征，和所述共享图像特征的特征尺度确定；第二处理模块，用于根据所述图像分割特征对所述待处理图像中所述前景对象进行分割处理，得到目标图像。

9、本公开第三方面实施例提出的图像处理装置，可以基于图像分割模型有效提升图像处理的自动化程度，当基于共享图像特征和共享图像特征的特征尺度确定图像分割特征，可以有效降低图像分割处理的计算量，有效提升图像处理效果。

10、本公开第四方面实施例提出的图像分割模型的生成装置，包括：第二获取模块，用于获取样本图像和与所述样本图像对应的标注分割特征，其中，所述样本图像包括：样本前景对象，所述标注分割特征是标注的从所述样本图像中分割处理所述样本前景对象的参考特征；第三获取模块，用于获取初始神经网络模型；第三处理模块，用于将所述样本图像输入至所述初始神经网络模型中，得到预测分割特征，其中，所述预测分割特征是预测所得的从所述样本图像中分割处理所述样本前景对象的参考特征；计算模块，用于计算所述预测分割特征和所述标注分割特征之间的损失值；训练模块，用于根据所述损失值训练所述初始神经网络模型，直至所述初始神经网络模型收敛，将训练所得神经网络模型作为图像分割模型。

11、本公开第四方面实施例提出的图像分割模型的生成装置，可以在模型训练过程中基于损失值对初始神经网络模型的模型性能进行评估，以准确判定模型收敛时机，从而有效提升所得图像分割模型的可靠性。

12、本公开第五方面实施例提出的计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本公开第一方面实施例提出的图像处理方法，或者，实现如本公开第二方面实施例提出的图像分割模型的生成方法。

13、本公开第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的图像处理方法，或者，实现如本公开第二方面实施例提出的图像分割模型的生成方法。

14、本公开第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的图像处理方法，或者，执行如本公开第二方面实施例提出的图像分割模型的生成方法。

15、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

技术特征：

1.一种图像处理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述图像分割模型包括：共享特征提取子模型、语义提取子模型、边缘细节提取子模型，以及融合子模型，所述图像分割模型是对所述共享特征提取子模型、所述语义提取子模型、所述边缘细节提取子模型，以及所述融合子模型进行联合训练得到；其中，

3.如权利要求2所述的方法，其特征在于，所述将所述待处理图像输入至图像分割模型中，得到所述图像分割模型输出的图像分割特征，包括：

4.如权利要求3所述的方法，其特征在于，所述特征尺度的种类是多种，还包括：

5.如权利要求3所述的方法，其特征在于，所述待处理图像包括：前景子图像和背景子图像；其中，

6.如权利要求3所述的方法，其特征在于，所述待处理图像包括：前景对象的多个边缘像素点，其中，所述边缘图像信息包括：每个所述边缘像素点属于所述前景对象的置信度。

7.如权利要求1-6任一项所述的方法，其特征在于，所述待处理图像包括：多个图像像素点，其中，所述图像分割特征包括：每个所述图像像素点属于所述前景对象的置信度。

8.一种图像分割模型的生成方法，其特征在于，包括：

9.如权利要求8所述的方法，其特征在于，所述初始神经网络模型包括：初始共享特征提取子模型、初始语义提取子模型、初始边缘细节提取子模型，以及初始融合子模型；

10.一种图像处理装置，其特征在于，包括：

11.如权利要求10所述的装置，其特征在于，所述图像分割模型包括：共享特征提取子模型、语义提取子模型、边缘细节提取子模型，以及融合子模型，所述图像分割模型是对所述共享特征提取子模型、所述语义提取子模型、所述边缘细节提取子模型，以及所述融合子模型进行联合训练得到；其中，

12.如权利要求11所述的装置，其特征在于，所述第一处理模块，包括：

13.如权利要求12所述的装置，其特征在于，所述特征尺度的种类是多种，还包括：

14.如权利要求12所述的装置，其特征在于，所述待处理图像包括：前景子图像和背景子图像，其中，所述初始语义分割结果包括：所述前景子图像的前景语义分割结果，和所述背景子图像的背景语义分割结果，所述前景语义分割结果的输出尺度小于所述待处理图像的尺度，所述背景语义分割结果的输出尺度小于所述待处理图像的尺度。

15.如权利要求12所述的装置，其特征在于，所述待处理图像包括：前景对象的多个边缘像素点，其中，所述边缘图像信息包括：每个所述边缘像素点属于所述前景对象的置信度。

16.如权利要求10-15任一项所述的装置，其特征在于，所述待处理图像包括：多个图像像素点，其中，所述图像分割特征包括：每个所述图像像素点属于所述前景对象的置信度。

17.一种图像分割模型的生成装置，其特征在于，包括：

18.如权利要求17所述的方法，其特征在于，所述初始神经网络模型包括：初始共享特征提取子模型、初始语义提取子模型、初始边缘细节提取子模型，以及初始融合子模型；

19.一种计算机设备，其特征在于，包括：

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法，或者执行权利要求8-9中任一项所述的方法。

21.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述方法的步骤，或者实现根据权利要求8-9中任一项所述方法的步骤。

技术总结
本公开提出一种图像处理方法、装置、计算机设备和存储介质，该方法包括：获取待处理图像，其中，待处理图像包括前景对象，将待处理图像输入至图像分割模型中，得到图像分割模型输出的图像分割特征，根据图像分割特征对待处理图像中前景对象进行分割处理，得到目标图像，由此，可以基于图像分割模型有效提升图像处理的自动化程度，当基于共享图像特征和共享图像特征的特征尺度确定图像分割特征，可以有效降低图像分割处理的计算量，有效提升图像处理效果。

技术研发人员：葛运航,王利鸣,王晓涛,雷磊
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：
技术公布日：2024/1/15