图像分割方法、背景替换方法、装置、设备及存储介质与流程

文档序号:21369316发布日期:2020-07-04 04:45阅读:来源:国知局

技术特征:

1.一种图像分割方法,其特征在于,所述方法包括:

对包括前景和背景的待分割图像进行下采样编码,将得到的下采样特征图进行上采样解码,得到上采样特征图;

对所述上采样特征图进行分类处理,得到所述上采样特征图中各个像素对应前景和背景的分类概率;

对所述各个像素对应前景和背景的分类概率的误差进行补偿处理,得到所述上采样特征图的补偿特征图;

对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理,得到融合特征图;

基于所述融合特征图中各个像素对应前景和背景的分类概率,从所述待分割图像中识别出前景和背景。

2.根据权利要求1所述的方法,其特征在于,

用于图像分割的神经网络模型包括编码网络和解码网络;

所述对包括前景和背景的待分割图像进行下采样编码,包括:

通过所述编码网络对包括前景和背景的待分割图像进行下采样编码,得到所述下采样特征图;

所述将得到的下采样特征图进行上采样解码,得到上采样特征图,包括:

通过所述解码网络对所述编码网络输出的下采样特征图进行上采样解码,得到所述上采样特征图。

3.根据权利要求2所述的方法,其特征在于,

所述下采样编码的编码网络中包括多个级联的编码层;

所述通过所述编码网络对包括前景和背景的待分割图像进行下采样编码,得到所述下采样特征图,包括:

通过所述多个级联的编码层的第一个编码层,对所述包括前景和背景的待分割图像进行下采样编码;

将所述第一编码层的编码结果输出到后续级联的编码层,以在后续级联的编码层中继续进行下采样编码和编码结果输出,直至最后一个编码层;

将所述最后一个编码层输出的编码结果作为所述编码网络输出的下采样特征图。

4.根据权利要求2所述的方法,其特征在于,

当所述下采样编码的编码网络中包括多个级联的编码层时,所述上采样解码的解码网络中包括多个级联的解码层,且相同层次的所述解码层与所述编码层之间存在跨层连接;

所述通过所述解码网络对所述编码网络输出的下采样特征图进行上采样解码,得到所述上采样特征图,包括:

通过所述多个级联的解码层中的第一个解码层,对所述下采样特征图进行上采样解码;

将上采样解码的解码结果与所述第一个解码层跨层连接的编码层输出的编码结果进行融合,将融合结果作为所述第一个解码层的最终解码结果输出到后续级联的解码层,以

在后续级联的解码层中继续进行上采样解码、解码结果融合和最终解码结果输出;

将最后一个解码层输出的最终解码结果作为所述解码网络输出的包括前景和背景的特征的上采样特征图。

5.根据权利要求1所述的方法,其特征在于,

用于图像分割的神经网络模型中还包括补偿网络;

所述对所述上采样特征图进行分类处理,得到所述上采样特征图中各个像素对应前景和背景的分类概率,包括:

通过所述补偿网络对所述上采样解码的中间解码结果和/或最终解码结果包括的上采样特征图执行以下处理:

对所述上采样特征图进行卷积处理,并对卷积处理后的所述上采样特征图进行归一化处理,得到所述上采样特征图中各个像素属于前景的概率和属于背景的概率;

将所述各个像素属于前景的概率和属于背景的概率中的最大值、确定为对应所述各个像素的分类概率。

6.根据权利要求1所述的方法,其特征在于,

当上采样解码的解码网络中包括多个级联的解码层时,所述对所述各个像素对应前景和背景的分类概率的误差进行补偿处理,得到所述上采样特征图的补偿特征图,包括:

通过补偿网络对所述至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理:

针对所述上采样特征图中的各个像素执行以下处理:将分类误差阈值与所述像素对应前景和背景的分类概率的差值,确定为所述像素的补偿值;

对所述上采样特征图中各个像素的补偿值进行组合处理,得到所述上采样特征图的补偿特征图。

7.根据权利要求1所述的方法,其特征在于,

当上采样解码的解码网络中包括多个级联的解码层时,所述对所述各个像素对应前景和背景的分类概率的误差进行补偿处理,得到所述上采样特征图的补偿特征图,包括:

通过所述补偿网络对所述至少一个解码层的上采样解码输出包括的上采样特征图执行以下处理:

当所述上采样特征图中任一像素的分类概率小于分类阈值时,将分类误差阈值与所述像素的分类概率的差值,确定为所述像素的补偿值;

当所述像素的分类概率大于或者等于分类阈值时,将所述像素的分类概率确定为所述像素的补偿值;

对所述上采样特征图中各个像素的补偿值进行组合处理,得到所述上采样特征图的补偿特征图。

8.根据权利要求1所述的方法,其特征在于,

所述对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理,得到融合特征图,包括:

针对所述下采样特征图中各个像素的特征执行以下处理:

将所述像素的特征与所述补偿特征图中对应所述像素的补偿值进行相乘处理,得到所述像素的补偿特征;

将所述像素的补偿特征与所述上采样特征图中相同位置的像素的特征进行相加处理,得到所述像素的融合特征;

将所述各个像素的融合特征进行组合,得到所述待分割图像的融合特征图。

9.根据权利要求1所述的方法,其特征在于,所述基于所述融合特征图中各个像素对应前景和背景的分类概率,从所述待分割图像中识别出前景和背景,包括:

针对所述融合特征图中的各个像素执行以下处理:

当所述像素对应前景分类概率大于前景概率阈值时,将所述像素确定为前景像素;

当所述像素对应背景的分类概率大于背景概率阈值时,将所述像素确定为背景像素;

对所述前景像素形成的前景像素集合和所述背景像素形成的背景像素集合分别进行连通处理,得到所述待分割图像中的多个连通域;

将所述多个连通域中的最大连通域确定为所述待分割图像的前景,并

将所述待分割图像中所述前景之外的区域确定为所述待分割图像的背景。

10.根据权利要求1-9任一所述的方法,其特征在于,所述方法还包括:

通过图像分割模型对待分割图像样本进行下采样编码,将得到的下采样特征图进行上采样解码,得到上采样特征图;

对所述上采样特征图进行分类处理,得到所述上采样特征图中各个像素对应前景和背景的分类概率;

对所述各个像素对应前景和背景的分类概率的误差进行补偿处理,得到所述上采样特征图的补偿特征图;

对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理,得到融合特征图;

对所述融合特征图中各个像素进行分类处理,得到所述待分割图像样本中属于前景的像素和属于背景的第二像素;

对所述融合特征图中各个像素进行边缘识别处理,得到所述待分割图像样本中属于边缘的像素;

基于所述属于前景的像素形成的前景像素集合、所述属于背景的像素形成的背景像素集合、所述属于边缘的像素形成的边缘像素集合、所述待分割图像样本的分割标签、以及所述待分割图像样本的边缘标签,构建所述图像分割模型的损失函数;

更新所述图像分割模型的参数直至所述损失函数收敛,将所述损失函数收敛时更新得到的参数,作为训练后的所述图像分割模型的参数。

11.一种图像背景替换方法,其特征在于,所述方法包括:

呈现待分割图像;

响应于针对所述待分割图像的替换操作,通过图像分割模型从所述待分割图像中识别出前景和背景;

将所述识别出的背景替换为目标背景,得到背景替换后的新图像,并

在客户端中呈现所述新图像;

其中,所述图像分割模型用于对所述前景和背景的分类概率的误差进行补偿处理,以得到所述前景和背景。

12.一种图像分割装置,其特征在于,所述装置包括:

编码模块,用于对包括前景和背景的待分割图像进行下采样编码;

解码模块,用于将得到的下采样特征图进行上采样解码,得到上采样特征图;

补偿模块,用于对所述上采样特征图进行分类处理,得到所述上采样特征图中各个像素对应前景和背景的分类概率;

对所述各个像素对应前景和背景的分类概率的误差进行补偿处理,得到所述上采样特征图的补偿特征图;

对所述补偿特征图、所述上采样特征图、以及所述下采样特征图进行融合处理,得到融合特征图;

分割模块,用于基于所述融合特征图中各个像素对应前景和背景的分类概率,从所述待分割图像中识别出前景和背景。

13.一种图像背景替换装置,其特征在于,所述装置包括:

呈现模块,用于呈现待分割图像;

识别模块,用于响应于针对所述待分割图像的替换操作,通过图像分割模型从所述待分割图像中识别出前景和背景;

替换模块,将所述识别出的背景替换为目标背景,得到背景替换后的新图像,并在客户端中呈现所述新图像;

其中,所述图像分割模型用于对所述前景和背景的分类概率的误差进行补偿处理,以得到所述前景和背景。

14.一种电子设备,其特征在于,所述电子设备包括:

存储器,用于存储可执行指令;

处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至10任一项所述的图像分割方法。

15.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于引起处理器执行时,实现权利要求1至10任一项所述的图像分割方法,或者权利要求11所述的图像背景替换方法。


技术总结
本发明提供了一种图像分割方法、装置、电子设备及存储介质;方法包括:对包括前景和背景的待分割图像进行下采样编码,将得到的下采样特征图进行上采样解码,得到上采样特征图;对上采样特征图进行分类处理,得到上采样特征图中各个像素对应前景和背景的分类概率;对各个像素对应前景和背景的分类概率的误差进行补偿处理,得到上采样特征图的补偿特征图;对补偿特征图、上采样特征图、以及下采样特征图进行融合处理,得到融合特征图;基于融合特征图中各个像素对应前景和背景的分类概率,从待分割图像中识别出前景和背景。通过本发明,能够精准地进行图像分割。

技术研发人员:涂娟辉;易阳;李峰
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2020.03.06
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1