一种图像实例分割方法、装置、电子设备及存储介质与流程

文档序号:29869284发布日期:2022-04-30 17:26阅读:来源:国知局

技术特征:
1.一种图像实例分割方法,其特征在于,所述方法包括:获取待分割图像;将所述待分割图像输入目标solov2模型,并通过所述目标solov2模型对所述待分割图像进行图像分割,得到最终实例分割图;其中,所述目标solov2模型是利用实例分割数据集对待训练的solov2模型进行训练得到;所述目标solov2模型包括resnext101网络、fpn网络、预测网络和arm模块,所述通过所述目标solov2模型对所述待分割图像进行图像分割的过程为:通过所述resnext101网络对所述待分割图像进行特征提取,得到目标浅层特征和目标深层特征;通过所述fpn网络将所述目标浅层特征和所述目标深层特征进行融合处理,得到目标高分辨率掩码特征;通过所述预测网络对所述目标高分辨率掩码特征进行实例分割处理,得到初始实例分割图,并将所述目标高分辨率掩码特征和所述初始实例分割图输入所述arm模块;通过所述arm模块利用所述高分辨率掩码特征和所述初始实例分割图进行边界信息增强处理,得到最终实例分割图。2.根据权利要求1所述的方法,其特征在于,所述待训练的solov2模型包括待训练的resnext101网络、待训练的fpn网络,以及待训练的预测网络,所述利用实例分割数据集对待训练的solov2模型进行训练,得到目标solov2模型,包括:获取实例分割数据集,其中,所述实例分割数据集包括多个实例分割数据;针对每个所述实例分割数据而言,将所述实例分割数据输入待训练的solov2模型,以使所述待训练的solov2模型对所述实例分割数据进行实例分割,得到第一训练实例分割图,利用所述第一训练实例分割图与对应的目标实例分割图构造第一损失函数,并利用所述第一损失函数对所述待训练的resnext101网络、所述待训练的fpn网络,以及所述待训练的预测网络的参数进行调整,直至所述待训练的solov2模型达到收敛,得到初始solov2模型;利用所述初始solov2模型和arm模块构建solov2模型;针对每个所述实例分割数据而言,将所述实例分割数据输入所述solov2模型;通过所述solov2模型中的resnext101网络对所述实例分割数据进行特征提取,得到浅层特征和深层特征;通过所述fpn网络将所述浅层特征和所述深层特征进行融合处理,得到高分辨率掩码特征;通过所述solov2模型中的预测网络对所述高分辨率掩码特征进行实例分割处理,得到第二训练实例分割图,并将所述高分辨率掩码特征和所述第二训练实例分割图输入所述solov2模型中的所述arm模块;通过所述solov2模型中所述arm模块的利用所述高分辨率掩码特征对所述第二训练实例分割图进行增强处理,得到第三训练实例分割图;利用所述第三训练实例分割图与对应的目标实例分割图构造第二损失函数,并利用所述第二损失函数对所述solov2模型中的预测网络和arm模块的参数进行调整,直至所述solov2模型达到收敛,得到目标solov2模型。
3.根据权利要求2所述的方法,其特征在于,所述预测网络包括类别分支和掩码分支,所述通过所述预测网络对所述目标高分辨率掩码特征进行实例分割处理,得到初始实例分割图,包括:通过所述类别分支对所述高分辨率掩码图进行类别预测,得到至少一个目标类别特征图;通过所述掩码分支对每个所述目标类别特征图进行分割处理,得到初始实例分割图。4.根据权利要求1所述的方法,其特征在于,所述通过所述arm模块利用所述高分辨率掩码特征和所述初始实例分割图进行边界信息增强处理,得到最终实例分割图,包括:通过所述arm模块采用预设算法对所述目标高分辨率掩码特征进行预测,得到目标实例边缘特征,并利用所述目标实例边缘特征对所述初始实例分割图进行边界信息增强处理,得到最终实例分割图。5.一种图像实例分割装置,其特征在于,所述装置包括:待分割图像获取单元,用于获取待分割图像;目标solov2模型,对输入的所述待分割图像进行图像分割,得到最终实例分割图;其中,所述目标solov2模型是基于预训练单元利用实例分割数据集对待训练的solov2模型进行训练得到;所述目标solov2模型包括resnext101网络、fpn网络、预测网络和arm模块;所述resnext101网络,用于对所述待分割图像进行特征提取,得到目标浅层特征和目标深层特征;所述fpn网络,用于将所述目标浅层特征和所述目标深层特征进行融合处理,得到目标高分辨率掩码特征;所述预测网络,用于对所述目标高分辨率掩码特征进行实例分割处理,得到初始实例分割图;并将所述目标高分辨率掩码特征和所述初始实例分割图输入所述arm模块;所述arm模块,用于利用所述高分辨率掩码特征和所述初始实例分割图进行边界信息增强处理,得到最终实例分割图。6.根据权利要求5所述的装置,其特征在于,所述待训练的solov2模型包括待训练的resnext101网络、待训练的fpn网络,以及待训练的预测网络,所述训练单元,包括:实例分割数据获取单元,用于获取实例分割数据集,其中,所述实例分割数据集包括多个实例分割数据;第一训练子单元,用于针对每个所述实例分割数据而言,将所述实例分割数据输入待训练的solov2模型,以使所述待训练的solov2模型对所述实例分割数据进行实例分割,得到第一训练实例分割图,利用所述第一训练实例分割图与对应的目标实例分割图构造第一损失函数,并利用所述第一损失函数对所述待训练的resnext101网络、所述待训练的fpn网络,以及所述待训练的预测网络的参数进行调整,直至所述待训练的solov2模型达到收敛,得到初始solov2模型;solov2模型构建单元,用于利用所述初始solov2模型和arm模块构建solov2模型;输入单元,用于针对每个所述实例分割数据而言,将所述实例分割数据输入所述solov2模型;特征提取单元,用于通过所述solov2模型中的所述resnext101网络对所述实例分割数据进行特征提取,得到浅层特征和深层特征;
融合处理单元,用于通过所述fpn网络将所述浅层特征和所述深层特征进行融合处理,得到高分辨率掩码特征;第一实例分割单元,用于通过所述solov2模型中的所述预测网络对所述高分辨率掩码特征进行实例分割处理,得到第二训练实例分割图;图像增强处理单元,用于将所述高分辨率掩码特征和所述第二训练实例分割图输入所述solov2模型中的所述arm模块,并通过所述solov2模型中所述arm模块的利用所述高分辨率掩码特征对所述第二训练实例分割图进行增强处理,得到第三训练实例分割图;第二训练子单元,用于利用所述第三训练实例分割图与对应的目标实例分割图构造第二损失函数,并利用所述第二损失函数对所述solov2模型中的预测网络和所述arm模块的参数进行调整,直至所述solov2模型达到收敛,得到目标solov2模型。7.根据权利要求6所述的装置,其特征在于,所述预测网络包括类别分支和掩码分支,所述用于对所述目标高分辨率掩码特征进行类别预测,并对得到的每个类别特征图进行分割处理,得到初始实例分割图的所述预测网络,具体用于:通过所述类别分支对所述目标高分辨率掩码图进行类别预测,得到至少一个目标类别特征图;通过所述掩码分支对每个所述目标类别特征图进行分割处理,得到初始实例分割图。8.根据权利要求5所述的装置,其特征在于,所述利用所述高分辨率掩码特征和所述初始实例分割图进行边界信息增强处理,得到最终实例分割图的所述arm模块,具体用于:通过所述arm模块采用预设算法对所述目标高分辨率掩码特征进行预测,得到目标实例边缘特征,并利用所述目标实例边缘特征对所述初始实例分割图进行边界信息增强处理,得到最终实例分割图。9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器用于存储图像实例分割的程序代码和数据,所述处理器用于调用所述存储器中的程序指令执行如权利要求1-4中任一项所述的一种图像实例分割方法。10.一种存储介质,其特征在于,所述存储介质包括存储程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1-4中任一项所述的一种图像实例分割方法。

技术总结
本发明提供一种图像实例分割方法、装置、电子设备及存储介质,将待分割图像输入目标SOLOV2模型,通过目标SOLOV2模型对待分割图像进行图像分割,得到最终实例分割图;目标SOLOV2模型包括ResNext101网络、FPN网络、预测网络和ARM模块,通过目标SOLOV2模型对待分割图像进行图像分割的过程为:通过FPN网络对通过ResNext101网络对待分割图像进行特征提取,得到的目标浅层特征和目标深层特征进行融合处理,得到目标高分辨率掩码特征;通过ARM模块利用高分辨率掩码特征和通过预测网络对目标高分辨率掩码特征进行实例分割处理得到的初始实例分割图,进行边界信息增强处理得到最终实例分割图。实例分割图。实例分割图。


技术研发人员:刘聪
受保护的技术使用者:飞狐信息技术(天津)有限公司
技术研发日:2022.03.30
技术公布日:2022/4/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1