图像处理方法、装置、设备及存储介质与流程

文档序号:21369314发布日期:2020-07-04 04:45阅读:来源:国知局

技术特征:

1.一种图像处理方法,其特征在于,所述方法包括:

获取原始图像,所述原始图像中包含至少一个目标对象;

将所述原始图像输入第一预测模型,得到所述第一预测模型输出的第一透明通道图像,所述第一透明通道图像中包括所述原始图像中各个像素点对应的预测透明度值;

将所述第一透明通道图像和所述原始图像输入第二预测模型,得到所述第二预测模型输出的第二透明通道图像,所述第二透明通道图像的精细度高于所述第一透明通道图像的精细度;

根据所述第二透明通道图像对所述原始图像进行分割处理,得到所述目标对象对应的图像。

2.根据权利要求1所述的方法,其特征在于,所述获取原始图像之前,所述方法还包括:

获取样本图像、样本标注图像和样本分割图像,所述样本标注图像中标注有所述样本图像中各个像素点对应的透明度值,所述样本分割图像是对样本标注图像进行二值化处理得到的二值化图像;

根据所述样本图像和所述样本分割图像,训练所述第一预测模型;

将所述样本图像输入训练得到的所述第一预测模型,得到所述第一预测模型输出的第一样本透明通道图像;

根据所述第一样本透明通道图像、所述样本标注图像和所述样本图像,训练所述第二预测模型。

3.根据权利要求2所述的方法,其特征在于,所述根据所述第一样本透明通道图像、所述样本标注图像和所述样本图像,训练所述第二预测模型,包括:

将所述第一样本透明通道图像和所述样本图像输入精细化网络,得到所述精细化网络输出的第二样本透明通道图像;

将所述样本图像、所述第二样本透明通道图像和所述样本标注图像输入边缘梯度网络,得到所述第二样本透明通道图像对应的边缘梯度损失;

根据所述第二样本透明通道图像和所述样本标注图像,计算所述第二样本透明通道图像对应的结构相似性损失和抠图损失;

将所述第二样本透明通道图像和所述样本标注图像输入连通性差异网络,得到所述第二样本透明通道图像对应的连通性差异损失;

根据所述边缘梯度损失、所述连通性差异损失、所述抠图损失和所述结构相似性损失,训练所述精细化网络;

将训练得到的所述精细化网络确定为所述第二预测模型。

4.根据权利要求3所述的方法,其特征在于,所述将所述样本图像、所述第二样本透明通道图像和所述样本标注图像输入边缘梯度网络,得到所述第二样本透明通道图像对应的边缘梯度损失,包括:

将所述样本图像输入预设算子中,得到所述样本图像对应的样本梯度图像,所述预设算子用于对所述原始样本图像进行一阶倒数运算;

对所述样本标注图像进行二值化和膨胀腐蚀操作,得到样本边缘图像,所述样本边缘图像用于指示所述样本标注图像中前景图像和背景图像的交界区域;

根据所述样本边缘图像和所述样本梯度图像,生成样本边缘梯度图像,所述样本边缘梯度图像用于指示所述样本图像中前景图像和背景图像的交界区域;

根据所述第二样本透明通道图像和所述样本边缘图像,生成边缘透明通道图像,所述边缘透明通道图像用于指示所述第二样本透明通道图像中前景图像和背景图像的交界区域;

根据所述边缘透明通道图像和所述样本边缘梯度图像,计算得到所述边缘梯度损失。

5.根据权利要求2所述的方法,其特征在于,所述第一预测模型包括多尺度编码网络、特征金字塔网络、多尺度解码网络和深度监督网络;

所述根据所述样本图像和所述样本分割图像,训练所述第一预测模型,包括:

将所述样本图像输入所述多尺度编码网络,得到所述多尺度编码网络输出的m个第一样本特征图,其中,不同第一样本特征图的分辨率和通道数不同,m为大于等于2的整数,所述多尺度编码网络用于对所述样本图像进行特征提取;

将m个所述第一样本特征图输入所述特征金字塔网络,得到所述特征金字塔网络输出的m个第二样本特征图,其中,不同第二样本特征图的通道数相同且分辨率不同,所述特征金字塔网络用于将m个所述第一样本特征图的通道数处理为目标通道数;

将m个所述第二样本特征图输入所述多尺度解码网络,得到所述多尺度解码网络输出的所述第一样本透明通道图像,所述多尺度解码网络用于对m个所述第二样本特征图进行相加和分辨率转换操作,所述第一样本透明通道图像的分辨率与所述样本图像的分辨率相同;

将m个所述第二样本特征图输入所述深度监督网络,得到所述深度监督网络输出的m个第三样本透明通道图像,所述深度监督网络用于对所述m个第二样本特征图进行上采样处理,不同第二样本特征图对应不同上采样倍数,m个所述第三样本透明通道图像的分辨率与所述样本图像的分辨率相同;

对所述第一样本透明通道图像和m个所述第三样本透明通道图像进行二值化处理,得到第一样本分割图像和m个第二样本分割图像;

根据所述第一样本分割图像、m个所述第二样本分割图像和所述样本分割图像,训练所述第一预测模型。

6.根据权利要求5所述的方法,其特征在于,所述将所述原始图像输入第一预测模型,得到所述第一预测模型输出的第一透明通道图像,包括:

将所述原始图像输入所述多尺度编码网络,得到所述多尺度编码网络输出的n个第一特征图,其中,不同第一特征图的分辨率和通道数不同,n为大于等于2的整数;

将n个所述第一特征图输入所述特征金字塔网络,得到所述特征金字塔网络输出的n个第二特征图,其中,不同第二特征图的通道数相同且分辨率不同,n个所述第二特征图的通道数为所述目标通道数;

将n个所述第二特征图输入所述多尺度解码网络,得到所述多尺度解码网络输出的所述第一透明通道图像。

7.根据权利要求6所述的方法,其特征在于,所述将n个所述第一特征图输入所述特征金字塔网络,得到所述特征金字塔网络输出的n个第二特征图,包括:

将n个所述第一特征图按照分辨率排列形成特征金字塔,所述特征金字塔中所述第一特征图的分辨率与所述第一特征图所在层级呈负相关关系;

响应于第n第一特征图对应的通道数为最大通道数,对所述第n第一特征图进行卷积处理,得到第n第二特征图;

响应于第n第一特征图对应的通道数不是最大通道数,对所述第n第一特征图进行卷积处理后得到第四特征图,对第n+1第一特征图进行卷积和上采样处理后得到第五特征图,对所述第四特征图和所述第五特征图进行混合,并进行卷积处理后得到所述第n第二特征图。

8.根据权利要求6所述的方法,其特征在于,所述将n个所述第二特征图输入所述多尺度解码网络,得到所述多尺度解码网络输出的所述第一透明通道图像,包括:

将n个所述第二特征图分别通过卷积块处理,得到n个第三特征图,n个所述第三特征图对应的分辨率相同,其中,不同第二特征图对应不同卷积块,且不同第二特征图对应使用的卷积块数目不同;

对n个所述第三特征图进行相加、卷积和上采样处理,得到所述第一透明通道图像。

9.一种图像处理装置,其特征在于,所述装置包括:

第一获取模块,用于获取原始图像,所述原始图像中包含至少一个目标对象;

第一预测模块,用于将所述原始图像输入第一预测模型,得到所述第一预测模型输出的第一透明通道图像,所述第一透明通道图像中包括所述原始图像中各个像素点对应的预测透明度值;

第二预测模块,用于将所述第一透明通道图像和所述原始图像输入第二预测模型,得到所述第二预测模型输出的第二透明通道图像,所述第二透明通道图像的精细度高于所述第一透明通道图像的精细度;

分割处理模块,用于根据所述第二透明通道图像对所述原始图像进行分割处理,得到所述目标对象对应的图像。

10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的图像处理方法。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的图像处理方法。


技术总结
本申请实施例公开了一种图像处理方法、装置、设备及存储介质,属于图像处理领域。该方法包括:获取原始图像,该原始图像中包含至少一个目标对象;将原始图像输入第一预测模型,得到第一预测模型输出的第一透明通道图像,第一透明通道图像中包括原始图像中各个像素点对应的预测透明度值;将第一透明通道图像和原始图像输入第二预测模型,得到第二预测模型输出的第二透明通道图像,第二透明通道图像的精细度高于第一透明通道图像的精细度;根据第二透明通道图像对原始图像进行分割处理,得到目标对象对应的图像。相较于相关技术中的图像分割方法,无需引入三分图,可以实现从原始图像直接生成透明通道图像,进一步提升了进行图像分割的准确性。

技术研发人员:刘钰安
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2020.02.18
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1