图像分割方法、装置、电子设备及存储介质与流程

文档序号:22074890发布日期:2020-09-01 19:00阅读:106来源:国知局
图像分割方法、装置、电子设备及存储介质与流程

本公开涉及图像处理技术领域,尤其涉及一种图像分割方法、装置、电子设备及存储介质。



背景技术:

随着人工智能的发展,图像处理的应用领域也越来越广泛,例如人脸识别、指纹识别、车辆牌照识别、汉字识别、医学图像识别等高新技术的核心就是图像处理等相关知识,而图像分割技术是图像处理环节的关键技术。

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。相关的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于小波变换的分割方法、基于神经网络的分割方法以及基于特定理论的分割方法等。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像素赋予相同的编号。然而,相关技术中的图像分割方法效率不高。



技术实现要素:

本公开提供一种图像分割方法、装置、电子设备及存储介质,以至少解决相关技术中图像分割效率较低的问题。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种图像分割方法,包括:

获取待处理的图像集合,其中所述图像集合中包括原始图像和至少一个目标图像,所述目标图像是根据所述图像集合中比所述目标图像分辨率大的图像进行下采样得到的,且所述原始图像的分辨率最大;

按照分辨率由小到大的顺序,基于目标分割对象依次获取各分辨率对应的第一分割图像,并对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像,其中最小分辨率的第一分割图像是由所述图像集合中最小分辨率的目标图像进行图像分割得到的,最小分辨率的相邻分辨率对应的第一分割图像是由最小分辨率的第一分割图像进行上采样得到的,其他分辨率的第一分割图像是由上一次得到的第二分割图像进行上采样得到的;

根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像。

在一种可选的实施方式中,在所述根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像之前,还包括:

基于目标分割对象每获取一个除最小分辨率外的分辨率对应的第一分割图像之后,对所述分辨率对应的第一分割图像进行边界提取操作,提取所述第一分割图像中所述目标分割对象的分割边界;

将所述第一分割图像中位于所述分割边界内的区域作为所述目标分割对象对应的目标区域。

在一种可选的实施方式中,所述对所述分辨率对应的第一分割图像进行边界提取操作,提取所述第一分割图像中所述目标分割对象的分割边界,包括:

对所述分辨率对应的第一分割图像进行腐蚀操作得到腐蚀图像,以及对所述分辨率对应的第一分割图像进行膨胀操作得到膨胀图像;

将膨胀图像与腐蚀图像中对应位置像素点的像素值作差后,根据各位置像素点的像素值确定出所述目标分割对象的分割边界。

在一种可选的实施方式中,所述对所述分辨率对应的第一分割图像进行边界提取操作,提取所述第一分割图像中所述目标分割对象的分割边界,包括:

对所述分辨率对应的第一分割图像进行低通滤波,并将滤波后的图像中对应的像素值在指定范围内的像素点作为边界像素点;

将所述边界像素点组成的边界作为所述目标分割对象的分割边界。

在一种可选的实施方式中,所述对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像,包括:

针对任意一个分辨率,依次对所述分辨率对应的第一分割图像中各目标区域进行边界分割处理,得到所述分辨率对应的第二分割图像;

其中,在对第一个目标区域进行边界分割处理时,是在所述分辨率对应的第一分割图像上进行的;之后对其他目标区域进行边界分割处理时,都是在上一次进行边界分割处理后的图像上进行的。

在一种可选的实施方式中,所述对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像,包括:

针对任意一个分辨率,对所述分辨率对应的分割图像中各目标区域进行边界分割处理,得到各目标分割对象对应的第二分割图像;其中,对每个目标区域进行边界分割处理时,都是在所述分辨率对应的第一分割图像上进行的;

将各目标分割对象对应的第二分割图像作为所述分辨率对应的第二分割图像。

在一种可选的实施方式中,所述对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像时,具体包括:

针对任意一个分辨率,将所述分辨率对应的所述图像集合中的图像作为导向图像,对所述分辨率对应的第一分割图像中的所述目标区域进行导向滤波,得到所述分辨率对应的第二分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为一个;

所述根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像,包括:

对最大分辨率的第二分割图像进行二值化处理,得到所述原始图像对应的目标分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为多个;

所述根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像,包括:

根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;

对所述候选分割图像进行二值化处理,获取所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像时,具体包括:

针对任意一个分辨率,对所述分辨率对应的第一分割图像中的所述目标区域进行图像分割,得到所述分辨率对应的第二分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为一个;

所述根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像,包括:

将最大分辨率的第二分割图像,作为所述原始图像对应的目标分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为多个;

所述根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像,包括:

根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;

将所述候选分割图像作为所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值,包括:

针对任意一个像素点,将各目标分割对象对应的第二分割图像中所述像素点位置的像素值中的最大值,作为所述目标分割图像中对应位置像素点的像素值。

在一种可选的实施方式中,所述根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值,包括:

对于目标像素点,将最小分辨率的第一分割图像上采样至最大分辨率后得到的图像中所述目标像素点位置的像素值,作为所述候选分割图像中对应位置像素点的像素值,其中,所述目标像素点为各目标分割对象对应的第二分割图像中像素值都为预设像素值的位置的像素点;或

对于非目标像素点,将各目标分割对象对应的第二分割图像中所述非目标像素点位置的像素值中的最大值,作为所述候选分割图像中对应位置像素点的像素值。

根据本公开实施例的第二方面,提供一种图像分割装置,包括:

第一获取单元,被配置为执行根据图像集合中各图像的分辨率,对所述各图像进行排序,其中所述图像集合中包括原始图像和至少一个目标图像,所述目标图像是根据所述图像集合中比所述目标图像分辨率大的图像进行下采样得到的,且所述原始图像的分辨率最大;

处理单元,被配置为执行按照分辨率由小到大的顺序,基于目标分割对象依次获取各分辨率对应的第一分割图像,并对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像,其中,最小分辨率的第一分割图像是由所述图像集合中最小分辨率的目标图像进行图像分割得到的,其他分辨率的第一分割图像是由上一次得到的第二分割图像进行上采样得到的;

第二获取单元,被配置为执行根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述处理单元还被配置为执行:

在所述第二获取单元根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像之前,基于目标分割对象每获取一个除最小分辨率外的分辨率对应的第一分割图像之后,对所述分辨率对应的第一分割图像进行边界提取操作,提取所述第一分割图像中所述目标分割对象的分割边界;

将所述第一分割图像中位于所述分割边界内的区域作为所述目标分割对象对应的目标区域。

在一种可选的实施方式中,所述处理单元具体被配置为执行:

对所述分辨率对应的第一分割图像进行腐蚀操作得到腐蚀图像,以及对所述分辨率对应的第一分割图像进行膨胀操作得到膨胀图像;

将膨胀图像与腐蚀图像中对应位置像素点的像素值作差后,根据各位置像素点的像素值确定出所述目标分割对象的分割边界。

在一种可选的实施方式中,所述处理单元具体被配置为执行:

对所述分辨率对应的第一分割图像进行低通滤波,并将滤波后的图像中对应的像素值在指定范围内的像素点作为边界像素点;

将所述边界像素点组成的边界作为所述目标分割对象的分割边界。

在一种可选的实施方式中,所述处理单元具体被配置为执行:

针对任意一个分辨率,依次对所述分辨率对应的第一分割图像中各目标区域进行边界分割处理,得到所述分辨率对应的第二分割图像;

其中,在对第一个目标区域进行边界分割处理时,是在所述分辨率对应的第一分割图像上进行的;之后对其他目标区域进行边界分割处理时,都是在上一次进行边界分割处理后的图像上进行的。

在一种可选的实施方式中,所述处理单元具体被配置为执行:

针对任意一个分辨率,对所述分辨率对应的分割图像中各目标区域进行边界分割处理,得到各目标分割对象对应的第二分割图像;其中,对每个目标区域进行边界分割处理时,都是在所述分辨率对应的第一分割图像上进行的;

将各目标分割对象对应的第二分割图像作为所述分辨率对应的第二分割图像。

在一种可选的实施方式中,所述处理单元具体被配置为执行:

针对任意一个分辨率,将所述分辨率对应的所述图像集合中的图像作为导向图像,对所述分辨率对应的第一分割图像中的所述目标区域进行导向滤波,得到所述分辨率对应的第二分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为一个;

所述处理单元具体被配置为执行:

对最大分辨率的第二分割图像进行二值化处理,得到所述原始图像对应的目标分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为多个;

所述处理单元具体被配置为执行:

根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;

对所述候选分割图像进行二值化处理,获取所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述处理单元具体被配置为执行:

针对任意一个分辨率,对所述分辨率对应的第一分割图像中的所述目标区域进行图像分割,得到所述分辨率对应的第二分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为一个;

所述第二获取单元具体被配置为执行:

将最大分辨率的第二分割图像,作为所述原始图像对应的目标分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为多个;

所述第二获取单元具体被配置为执行:

根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;

将所述候选分割图像作为所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述第二获取单元具体被配置为执行:

针对任意一个像素点,将各目标分割对象对应的第二分割图像中所述像素点位置的像素值中的最大值,作为所述目标分割图像中对应位置像素点的像素值。

在一种可选的实施方式中,所述第二获取单元具体被配置为执行:

对于目标像素点,将最小分辨率的第一分割图像上采样至最大分辨率后得到的图像中所述目标像素点位置的像素值,作为所述候选分割图像中对应位置像素点的像素值,其中,所述目标像素点为各目标分割对象对应的第二分割图像中像素值都为预设像素值的位置的像素点;或

对于非目标像素点,将各目标分割对象对应的第二分割图像中所述非目标像素点位置的像素值中的最大值,作为所述候选分割图像中对应位置像素点的像素值。

根据本公开实施例的第三方面,提供一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现本公开实施例第一方面中任一项所述的图像分割方法。

根据本公开实施例的第四方面,提供一种非易失性可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例第一方面中任一项所述的图像分割方法。

根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

由于本公开实施例,通过将原始图像或其他目标图像进行下采样可以得到多个目标图像,且仅对最小分辨率的目标图像进行图像分割,其它图像对应的第一分割图像都是由最小分辨率的目标图像分割得到的结果进行处理得到的,由于最小分辨率的目标图像比最大分辨率的原始图像的分辨率要小很多,因此在最费时的图像分割过程中可以节省很多计算量,其次在获取到最小分辨率的分割图像之后,再对该分割图像进行一定的边界分割、上采样等处理,即可得到与原始图像分辨率一致的分割图像,其中下采样、上采样、边界分割等,可以通过硬件进行有效加速,且相对于一般图像分割算法来说,计算量更小,因此能够大幅提升性能。并且本公开实施例中的边界分割处理只针对目标区域,减少了需要处理的图像的面积,有效提高图像分割的效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种应用场景的示意图;

图2是根据一示例性实施例示出的一种图像分割方法的流程图;

图3是根据一示例性实施例示出的一种图像分割金字塔的示意图;

图4是根据一示例性实施例示出的第一种图像分割的完整方法的流程图;

图5是根据一示例性实施例示出的第二种图像分割的完整方法的流程图;

图6是根据一示例性实施例示出的第三种图像分割的完整方法的流程图;

图7是根据一示例性实施例示出的一种图像分割装置的框图;

图8是根据一示例性实施例示出的一种电子设备的框图;

图9是根据一示例性实施例示出的一种计算装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

下面对文中出现的一些词语进行解释:

1、本公开实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

2、本公开实施例中术语“电子设备”可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

3、本公开实施例中术语“低通滤波(low-passfilter)”是一种过滤方式,规则为低频信号能正常通过,而超过设定临界值的高频信号则被阻隔、减弱。但是阻隔、减弱的幅度则会依据不同的频率以及不同的滤波程序(目的)而改变。它有的时候也被叫做高频去除过滤(high-cutfilter)或者最高去除过滤(treble-cutfilter)。低通过滤是高通过滤的对立。低通过滤的概念存在于各种不同的领域,诸如电子电路,数据平滑,声学阻挡,图像模糊等领域经常会用到。在数字图像处理领域,从频域看,低通滤波可以对图像进行平滑去噪处理。

4、本公开实施例中术语“边缘分割”是指基于边缘的分割,即通过搜索不同区域之间的边界,来完成图像的分割,又称作边界分割。其具体做法是:首先利用合适的边缘检测算子提取出待分割场景不同区域的边界,然后对分割边界内的像素进行连通和标注。从而构成分割区域。在本公开实施例中的边界分割主要可基于边缘滤波和图像分割等方式实现,在下文中会进行详细说明。

5、本公开实施例中术语“图像金字塔”是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。金字塔的底部是待处理图像的高分辨率表示,而顶部是低分辨率的近似。当向金字塔的上层移动时,尺寸和分辨率就降低。

6、本公开实施例中术语“边缘保持滤波”是指保持图像边缘(细节信息)的滤波方法。导向滤波(guidedfiltering)和双边滤波(bf)、最小二乘滤波(wls)是三大边缘保持(edge-perserving)滤波器。当然,引导滤波的功能不仅仅是边缘保持,只有当引导图是原图的时候,它就成了一个边缘保持滤波器。它在图像去雾,图像抠图上均有相应的应用。

7、本公开实施例中术语“导向滤波”是使用导向图像作为滤波内容图像,在导向图像上实现局部线性函数表达,实现各种不同的线性变换,输出变形之后的导向第二分割图像。根据需要,导向图像可以跟目标图像不同或者一致。假设i是导向图像、p是目标图像、q是导向滤波输出图像,导向滤波是作为局部线性模型描述导向图像i与输出图像q之间的关系。对于该算法,当i=p时,即原始图像和引导图像是同一副图像时,该算法即成为一个边缘保持滤波器。

8、本公开实施例中术语“腐蚀操作”、“膨胀操作”都属于形态学操作。图像的膨胀(dilation)和腐蚀(erosion)是两种基本的形态学运算,主要用来寻找图像中的极大区域和极小区域。其中膨胀类似与领域扩张,将图像的高亮区域或白色部分进行扩张,其运行结果图比原图的高亮区域更大。腐蚀类似领域被蚕食,将图像中的高亮区域或白色部分进行缩减细化,其运行结果图比原图的高亮区域更小。

本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本公开的描述中,除非另有说明,“多个”的含义。

下面对本公开实施例的应用场景进行简单介绍:

如图1所示,其为本公开实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器130,可通过终端设备110登录相关界面120。终端设备110与服务器130之间可以通过通信网络进行通信。

在一种可选的实施方式中,通信网络是有线网络或无线网络。

在本公开实施例中,终端设备110为用户使用的电子设备,该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器130连接,服务器130是一台服务器或若干台服务器组成的服务器集群或云计算中心,或者是一个虚拟化平台。

可选地,服务器130还可以具有图像数据库,该图像数据库可以存储大量图像。

本公开实施例中,终端设备110可以直接根据本公开实施例中的图像分割方法对图像进行分割,并通过界面120向用户进行展示;或者,终端设备110在接收到用户触发的请求时,将本地的图像发送给服务器130,由服务器130接收到图像后对该图像进行分割,并将分割结果发送给终端设备110,再由终端设备110通过界面120向用户进行展示。可选的,当终端设备110检测到用户触发的请求时,也可以向服务器130发送请求,由服务器130根据终端设备发送的请求搜索图像,并对搜索到的图像进行图像分割后,将分割结果发送给终端设备110,再由终端设备110通过界面120向用户进行展示,等等。其中,图像分割技术可以应用于许多场景中,例如医学图像分割、人脸检测等。

下面对本公开实施例的图像分割方法进行详细介绍:

图2是根据一示例性实施例示出的一种图像分割方法的流程图,如图2所示,包括以下步骤。

在步骤s21中,获取待处理的图像集合,其中图像集合中包括原始图像和至少一个目标图像,目标图像是根据图像集合中比目标图像分辨率大的图像进行下采样得到的,且原始图像的分辨率最大;

在本公开实施例中,按照图像分辨率的大小对图像进行排序时可以按照图像分辨率由低到高或者由高到低的顺序进行排序,在此不做具体限定。基于上述过程可以构建图像金字塔,或者倒金字塔等。

需要说明的是,在本公开实施例中根据图像分辨率的大小对图像进行排序只是一种可行的排序方式,此外根据图像的尺寸、尺度、面积等对图像进行排序可以实现同样的效果,也就是说在本公开实施例中,图像分辨率可同等替换为图像尺度、图像尺寸、图像面积等可以表示图像大小的描述,在此不做具体限定。

在步骤s22中,按照分辨率由小到大的顺序,基于目标分割对象依次获取各分辨率对应的第一分割图像,并对除最小分辨率外各分辨率对应的第一分割图像中目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像,其中,最小分辨率的第一分割图像是由图像集合中最小分辨率的目标图像进行图像分割得到的,最小分辨率的相邻分辨率对应的第一分割图像是由最小分辨率的第一分割图像进行上采样得到的,其他分辨率的第一分割图像是由上一次得到的第二分割图像进行上采样得到的;

在本公开实施例中,目标分割对象是指在对图像内容进行分割时需要分割的对象,例如二分类情况下,可以将图像分为前景和除前景之外的背景,其中前景就是目标分割对象。以人脸检测为例,可将人脸看做前景,其它部分看作是背景,此时人脸即目标分割对象。在多分类情况下会有多个目标分割对象,例如把一张图像进行三分类,将图像划分为天空、草地和公路三部分时,天空、草地和公路都属于目标分割对象。

需要说明的是,本公开实施例中的最顶层图像是最小分辨率的目标图像,此外对最顶层图像进行图像分割之后,还可获取到最顶层对应的第一分割图像,也就是说最顶层图像不存在与其对应的第二分割图像,因此最顶层的下一层图像对应的第一分割图像是对最顶层对应的第一分割图像进行上采样得到的,之后的每一层图像对应的第一分割图像都是对上一层的第二分割图像进行上采样得到的。

在步骤s23中,根据最大分辨率的第二分割图像,获取原始图像对应的目标分割图像。

通过上述方案,基于下采样得到多个目标图像,且仅对最小分辨率的目标图像进行图像分割,其它图像对应的第一分割图像都是由最小分辨率的目标图像分割得到的结果进行处理得到的,由于最小分辨率的目标图像比最大分辨率的原始图像的分辨率要小很多,因此在最费时的图像分割过程中可以节省很多计算量,其次在获取到最小分辨率的分割图像之后,再对该分割图像进行一定的边界分割、上采样等处理,即可得到与原始图像分辨率一致的分割图像,其中下采样、上采样、边界分割等,可以通过硬件进行有效加速,且只针对目标区域,减少了需要处理的图像的面积,有效提高图像分割的效率。

在本公开实施例中,目标图像是通过下采样得到的,具体的,目标图像可以是由原始图像进行下采样得到的,也可以是由比该目标图像分辨率大的其他目标图像进行下采样得到的。

以图3所示的图像金字塔为例,该金字塔一共n层,由下至上图像的分辨率逐渐减小。其中最底层(第n层)图像为原始图像,分辨率最大,剩余n-1层图像都为目标图像,其中最顶层(第1层)的目标图像分辨率最小。假设每相邻两层图像中,下一层图像的分辨率是上一层图像的两倍。假设由上至下各层分辨率分别为:k1<k2<k3<…<kn,其中最底层分辨率为kn,最顶层分辨率为k1。

以第n-2层所示的目标图像为例,该目标图像的分辨率为kn-2比该目标图像分辨率更大的图像有第n层的原始图像(分辨率为kn)以及第n-1层的目标图像(分辨率为kn-1),故该目标图像可以由第n层的原始图像进行0.25倍下采样得到,也可以由第n-1层图像进行0.5倍下采样得到。

在本公开实施例中,图像集合至少包含两张图像,一张原始图像以及至少一张目标图像,其中图像集合中不同图像的分辨率不同,原始图像的分辨率最大。在本公开实施例中,下采倍数可以视情况设置,一般为0.5。

需要说明的是,在图像集合中仅包含一张目标图像时,即图像集合中包含两张图像时,步骤s22中不存在迭代的过程;而当图像集合中包含的目标图像的数量大于一张时,即图像集合中包含至少三张图像时,步骤s22中存在迭代的过程。也就是说,图像集合中只包含两张图像时是最简单的情况,随着图像集合中图像数量的增加,迭代的次数也会增多。

下面根据图像集合中图像数量的不同,对步骤s22的实现过程进行详细介绍:

示例一:图像集合仅包含两张图像,此时图像集合中仅包含一张目标图像,且该目标图像是通过原始图像下采样得到的。在该情况下,按照图像分辨率大小对图像进行排序后可得到一个两层的图像金字塔。将图像按照分辨率排序时,最小分辨率的图像(第1层)与最大分辨率的图像(第2层)相邻。

下面以二分类分割为例(例如前背景分割,将图像内容分为两类),对步骤s22的具体实现过程进行介绍:

首先,对图像金字塔中最小分辨率的目标图像(即第1层的图像)进行图像分割等操作,得到最小分辨率的图像分割结果,即最小分辨率的第一分割图像;

之后,对最小分辨率的第一分割图像进行一次上采样,上采样至与其下一层图像(第2层)的分辨率大小一致,即与原始图像的分辨率一致,得到的上采样结果即最大分辨率的第一分割图像;

之后,对最大分辨率的第一分割图像进行一定的边界提取操作,得到一个有宽度的分割边界,即目标分割对象的边界,例如前景的边界,基于该边界可以将图像分为前景和背景两大类,边界中的区域即目标分割对象对应的目标区域;

之后,根据提取到的分割边界即可确定出最大分辨率的第一分割图像中的目标区域,进而对该图像中的目标区域再次进行边界分割处理,得到最大分辨率的第二分割图像。

最后,基于最大分辨率的第二分割图像即可获取原始图像对应的目标分割图像。

示例二、假设图像集合包含至少三张图像,即图像集合中包含原始图像以及至少两张目标图像时,在该情况下,按照图像分辨率大小对图像进行排序后可得到一个至少三层的图像金字塔,最小分辨率的图像位于最顶层,最大分辨率的图像位于最底层。该情况下,步骤s22是一个迭代的过程,按照分辨率由小到大的顺序,基于目标分割对象依次获取各分辨率对应的第一分割图像,并对除最小分辨率外各分辨率对应的第一分割图像中目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像的过程的具体实现方式如下:

首先,对图像金字塔中最小分辨率的目标图像(即第1层的图像)进行图像分割等操作,得到最小分辨率的图像分割结果,即最小分辨率的第一分割图像;

之后,对最小分辨率的第一分割图像进行一次上采样,上采样至与第2层图像的分辨率大小一致,得到的第2层对应的第一分割图像;对得到的第一分割图像进行一定的边界提取操作,得到一个有宽度的分割边界;根据提取到的分割边界即可确定出第2层图像对应的第一分割图像中的目标区域,进而对该第一分割图像中的目标区域进行边界分割处理,得到第2层图像对应的第二分割图像;

之后,对得到的第二分割图像进行上采样,上采样至与第3层图像分辨率大小一致,得到第3层图像对应的第一分割图像;对得到的第一分割图像进行一定的边界提取操作,得到一个有宽度的分割边界;根据提取到的分割边界即可确定出第3层图像对应的第一分割图像中的目标区域,进而对该第一分割图像中的目标区域进行边界分割处理,得到第3层图像对应的第二分割图像;

不断重复上述步骤,直至到达最底层,也就是第n层,得到第n层图像对应的第二分割图像,也就是最大分辨率的第二分割图像;

最后,基于最大分辨率的第二分割图像即可获取原始图像对应的目标分割图像。

需要说明的是,在本公开实施例中,在获取到处最小分辨率外的各分辨率对应的第一分割图像之后,仅对第一分割图像之中的目标区域进行边界分割处理,其它区域无需处理,因此在根据最大分辨率的第二分割图像,获取原始图像对应的目标分割图像之前,还需要获取各分辨率对应的第一分割图像中的目标区域。

在一种可选的实施方式,基于目标分割对象每获取一个除最小分辨率外的分辨率对应的第一分割图像之后,对分辨率对应的第一分割图像进行边界提取操作,提取第一分割图像中目标分割对象的分割边界;将第一分割图像中位于分割边界内的区域作为目标分割对象对应的目标区域。

也就是说,对于图像金字塔中除最顶层外的每一层图像,获取到该层图像对应的第一分割图像之后,即对该层图像的第一分割图像进行边界提取操作,确定目标区域,进而根据确定出的目标区域对第一分割图像进行边界分割处理,确定该层图像对应的第二分割图像。

在上述实施方式中,通过边界提取操作提取出目标分割对象的边界后,则可仅对边界内部的目标区域进行边界分割处理,这样能够减小需要处理的图像面积,从而达到加速的目的,提高图像分割的效率。

在本公开实施例中,对各个分辨率对应的第一分割图像进行边界提取操作时的方式有很多种,下面列举两种:

提取方式一、针对任意一个分辨率对应的第一分割图像,通过形态学操作提取该分辨率对应的第一分割图像中目标分割对象的边界,具体过程如下:

对分辨率对应的第一分割图像进行腐蚀操作得到腐蚀图像,以及对分辨率对应的第一分割图像进行膨胀操作得到膨胀图像;将膨胀图像与腐蚀图像中对应位置像素点的像素值作差后,根据各位置像素点的像素值确定出目标分割对象的分割边界。

也就是说,对第一分割图像进行腐蚀操作,以及膨胀操作,并将膨胀结果与腐蚀结果相减,即可得到一个有一定宽度的分割边界,也就是目标分割对象的分割边界。

在上述实施方式中,基于腐蚀、膨胀等形态学操作可以简单高效的提取出目标分割对象的分割边界,基于提取到的分割边界即可确定目标分割对象对应的目标区域。

提取方式二、针对任意一个分辨率对应的第一分割图像,通过低通滤波的方式获取该分辨率对应的第一分割图像中目标分割对象的边界,具体过程如下:

对分辨率对应的第一分割图像进行低通滤波,并将滤波后的图像中对应的像素值在指定范围内的像素点作为边界像素点;将边界像素点组成的边界作为目标分割对象的分割边界。

也就是说,先对第一分割图像进行低通滤波,然后用阈值筛出分割边界附近的像素点,一般情况下分割边界两端的像素点的像素值不会太小,也不会太大,因此可以指定一个像素值的取值范围,比如[t1,t2],则可通过分析低通滤波后的结果,从低通滤波后得到的结果中像素值取值位于[t1,t2]这一指定范围内的像素点作为边界像素点,通过这些边界像素点组合形成目标分割对象的分割边界。

在上述实施方式中,通过低通滤波和阈值筛选可以简单高效的提取出目标分割对象的分割边界,基于提取到的分割边界即可确定目标分割对象对应的目标区域。

需要说明的是,本公开实施例中所列举的两种边界提取操作只是举例说明,其它边界提取操作同样适用于本公开实施例,在此不做具体限定。

在本公开实施例中,对各分辨率对应的第一分割图像中的目标区域进行边界分割处理时的处理方式有很多中,下面列举两种:

处理方式一:针对任意一个分辨率,将该分辨率对应的图像集合中的图像作为导向图像,对该分辨率对应的第一分割图像中的目标区域进行导向滤波,得到该分辨率对应的第二分割图像。

也就是采用导向滤波的方法,将与该分辨率对应的(图像集合中)图像作为导向图像,也就是引导图,对该分辨率对应的第一分割图像中的目标区域进行导向滤波即可,非目标区域无需处理,使得滤波后得到的该分辨率对应的第二分割图像中的目标区域大体上与该分辨率对应的第一分割图像相似,但纹理部分与导向图像相似,通过边缘导向滤波可以实现边缘平滑的效果,将目标分割对象的分割边界变得更加清晰。

需要说明的是,除了导向滤波之外还有其他的边缘保持滤波方法同样适用于本公开实施例,在对图像进行滤波的同时保持图像中的边缘等细节信息。

处理方式二、针对任意一个分辨率,对该分辨率对应的第一分割图像中的目标区域进行图像分割,得到该分辨率对应的第二分割图像。

在该方式中,也是仅对第一分割图像中的目标区域部分进行图像分割,非目标区域部分无需进行处理,其中,在对图像中的目标区域进行图像分割时,可以使用原始的或者一些简单的图像分割算法,仅对分割边界内部进行处理,例如基于阈值的分割方法,基于区域的分割方法等。这样,能够减小需要处理的图像面积,从而达到加速的目的。

需要说明的是,上述实施例中所列举的两种边界分割的处理方式只是举例说明,任何一种边界分割的处理方式都适用于本公开实施例,在此不做具体限定。

在上述过程之后,即可获取到最大分辨率的第二分割图像,即与原始图像分辨率一致的第二分割图像,进而基于该图像即可确定出原始图像对应的目标分割图像,不过根据上述过程中的边界分割处理方式的不同,确定原始图像的目标分割图像时的方式也不相同,如果使用边缘导向滤波等滤波方式,还需要通过阈值处理,将图像金字塔最底层的经过边缘导向滤波得到的第二分割图像做二值化处理,得到最终的目标分割图像。如果直接采用图像分割的方式获取第二分割图像,则无需再对最底层的经过图像分割得到的第二分割图像做二值化处理。

需要说明的是,上述过程都是针对二分类的情况而言,在多分类情况下,原始图像中会包含至少两个目标分割对象,此时针对各分辨率,每个分辨率对应的第一分割图像或是第二分割图像可以是一个,也可以是多个,这与目标分割对象的数量有关,在二分类情况下,每个分辨率对应的第一分割图像或是第二分割图像都是一个,在多分类情况下,根据分割方式的不同,每个分辨率对应的第二分割图像可以是一个,也可以是多个,下面进行详细说明:

在一种可选的实施方式中,对除最小分辨率外各分辨率对应的第一分割图像中目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像时,可采用如下两种分割方式:

分割方式一、针对任意一个分辨率,依次对该分辨率对应的第一分割图像中各目标区域进行边界分割处理,得到该分辨率对应的第二分割图像;

其中,在对第一个目标区域进行边界分割处理时,是在分辨率对应的第一分割图像上进行的;之后对其他目标区域进行边界分割处理时,都是在上一次进行边界分割处理后的图像上进行的。

针对任意一个分辨率,例如kn(图像金字塔的最底层):

以二分类为例,目标分割对象仅包含一个,例如前景,此时目标区域也只有一个,即前景区域(不含前景对应的边界),此时仅需要对第一分割图像中前景所在目标区域内的图像内容进行边界分割处理,即可得到该分辨率对应的第二分割图像。

以多分类为例,目标分割对象包括至少两个,例如天空、草地和公路,此时目标区域也有3个,分别对应三个目标分割对象,假设第一个目标区域为天空边界内部的区域,第二个目标区域为草地边界内部的区域,第三个目标区域为公路边界内部的区域,此时则可先在第一分割图像的第一目标区域内进行边界分割处理,进而在此分割结果上在对第二目标区域内的图像内容进行边界分割处理,最后再在对第二目标区域内的图像内容进行边界分割处理的结果上对第三目标区域内的图像内容进行边界分割处理,得到该分辨率对应的第二分割图像。

该方式下,无论是二分类还是多分类的情况,每个分辨率都只会对应一张第二分割图像。也就是说,本公开实施例中的图像分割方法不仅适用于二分类的情况,还适用于多分类的情况,可以有效提高图像分割的效率。

分割方式二、针对任意一个分辨率,对该分辨率对应的分割图像中各目标区域进行边界分割处理,得到各目标分割对象对应的第二分割图像;其中,对每个目标区域进行边界分割处理时,都是在该分辨率对应的第一分割图像上进行的;将各目标分割对象对应的第二分割图像作为该分辨率对应的第二分割图像。

针对任意一个分辨率,例如kn(图像金字塔的最底层):

仍以分割方式一中列举的二分类为例,目标分割对象仅包含一个,此时还是仅需要对第一分割图像中前景对应的目标区域内的图像内容进行边界分割处理,即可得到该分辨率对应的第二分割图像。

仍以分割方式一中列举的多分类为例,目标分割对象包括天空、草地和公路,此时目标区域也有3个,针对各个目标区域,则需要在各个目标区域对应的第一分割图像上进行相应的边界分割处理,得到各个目标分割对象对应的第二分割图像。

具体的,该方式下,在第1层,多个目标分割对象也仅对应一张第一分割图像,在除第1层外的各个层,各个目标分割对象都会有其对应的第一分割图像。例如在分辨率为k2时,即第2层,针对3个目标分割对象,分别在第一分割图像上的3个目标区域内进行边界分割处理,即可得到3个目标分割对象对应的第二分割图像,每个目标分割对象都对应一张第二分割图像,再对这3张第二分割图像进行上采样,即可得到第3层图像对应的3张第一分割图像,每张第一分割图像对应一个目标分割对象,此时则可在各个目标分割对象对应的第一分割图像上,对各个目标分割对象对应的目标区域内的图像内容进行边界分割处理,得到各个目标分割对象对应的第二分割图像,不断迭代上述过程,在分辨率为kn时,则会存在3张分辨率为kn的第一分割图像,分别对应3个目标分割对象,在第一张第一分割图像上对第一目标区域内的图像内容进行边界分割处理,则可得天空对应的第二分割图像,同理,在第二张第一分割图像上对第二目标区域内的图像内容进行边界分割处理,则可得草地对应的第二分割图像,在第三张第一分割图像上对第三目标区域内的图像内容进行边界分割处理,则可得公路对应的第二分割图像。

该方式下,一个目标分割对象对应一个第二分割图像,这样在多分类的情况下,目标分割对象有多个,因此一个分辨率会对应有多个第二分割图像。在本公开实施例中,仅需要将多分类看做是多个二分类的过程,可以轮流仅对某一类进行类似处理,实现多分类图像分割算法的加速。

需要说明的是,在上述列举的两种分割方式下,对第一分割图像中的目标区域进行边界分割处理时,可采用上述所列举的两种处理方式中的任意一种,在此不再重复赘述。

由上述实施例可知,一个分辨率对应的第二分割图像可以是一个,也可以是多个;因此,根据最大分辨率对应的第二分割图像的数量的不同,获取原始图像对应的目标分割图像时的方式也不相同。此外,考虑到在获取第二分割图像时进行的边界分割处理的方式不同,在获取原始图像对应的目标分割图像时的方式也不相同,基于此,下面对获取原始图像对应的目标分割图像的方式分情况进行介绍。

情况一、通过处理方式一获取各分辨率对应的第二分割图像,且一个分辨率对应的第二分割图像为一个。

此时,最大分辨率的第二分割图像也为一个;在根据最大分辨率的第二分割图像,获取原始图像对应的目标分割图像时,对最大分辨率的第二分割图像进行二值化处理,即可得到原始图像对应的目标分割图像。

由于处理方式一需要进行滤波,因此还需要通过阈值处理,将最大分辨率的第二分割图像进行二值化,此时才可得到原始图像对应的目标分割图像。

情况二、通过处理方式一获取各分辨率对应的第二分割图像,且一个分辨率对应的第二分割图像为多个。

此时最大分辨率的第二分割图像为多个,在根据最大分辨率的第二分割图像,获取原始图像对应的目标分割图像时,首先根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;进而对候选分割图像进行二值化处理,获取原始图像对应的目标分割图像。

情况三、通过处理方式二获取各分辨率对应的第二分割图像,且一个分辨率对应的第二分割图像为一个。

此时,最大分辨率的第二分割图像为一个,在根据最大分辨率的第二分割图像,获取原始图像对应的目标分割图像时,由于处理方式二为简单的图像分割方式,而无需滤波,因此可直接将最大分辨率的第二分割图像,作为原始图像对应的目标分割图像。

情况四、通过处理方式二获取各分辨率对应的第二分割图像,且一个分辨率对应的第二分割图像为一个。

此时最大分辨率的第二分割图像为多个,在根据最大分辨率的第二分割图像,获取原始图像对应的目标分割图像时,同情况二类似,也需要首先根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;进而则可直接将候选分割图像作为原始图像对应的目标分割图像。

在上述列举的情况二和情况四中都需要确定候选分割图像,下面对候选分割图像的确定方式进行详细说明:

在一种可选的实施方式中,根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值时,可采用如下方式:

针对任意一个像素点,将各目标分割对象对应的第二分割图像中像素点位置的像素值中的最大值,作为目标分割图像中对应位置像素点的像素值。

对于分辨率kn,仍以上述列举的多分类情况为例,则天空、草地和公路各对应有一张第二分割图像,假设分别为a1、a2和a3,在此这3张第二分割图像可以理解为概率图,在a1中各像素点的像素值表示该像素点为天空的概率,同理,a2中各像素点的像素值表示该像素点为草地的概率,a3中各像素点的像素值表示该像素点为公路的概率,对于任意位置处的像素点,该像素点在a1中的像素值为a1,在a2中的像素值为a2,在a3中的像素值为a3,假设a1>a2>a3,则可确定在候选分割图像中,该像素点的像素值为a1;针对其他像素点也采用同样的方式即可确定出候选分割图像中各个位置处像素点的像素值,得到候选分割图像。

在上述实施方式中,基于各个目标分割对象对应的第二分割图像中各像素点的像素值即可确定出候选分割图像,提供了一种简单高效的候选分割图像确定方法。

在另一种可选的实施方式中,根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值时,可采用如下方式:

对于目标像素点,将最小分辨率的第一分割图像上采样至最大分辨率后得到的图像中目标像素点位置的像素值,作为候选分割图像中对应位置像素点的像素值,其中,目标像素点为各目标分割对象对应的第二分割图像中像素值都为预设像素值的位置的像素点;对于非目标像素点,将各目标分割对象对应的第二分割图像中非目标像素点位置的像素值中的最大值,作为候选分割图像中对应位置像素点的像素值。

在该方式下,将一张图像中的像素点分成了两类,目标像素点和非目标像素点,下面仍以上述实施例中所列举的多分类情况为例,对于3张第二分割图像a1、a2和a3,若这3张图像中某一位置像素点的像素值相同,且都为预设像素值(例如0),则表示该像素点为目标像素点,否则,该像素点为非目标像素点。

其中,预设像素值为0可表示该像素点为目标分割对象的概率为0,因此在3张图像中同一位置处的像素点的像素值都为0时,则表示该像素点既不属于天空,也不属于草地,也不属于公路,此时则可根据最小分辨率的第一分割图像上采样至kn后得到的图像中该位置处的像素点的像素值来确定候选分割图像中该位置处的像素值。而对于非目标像素点,则可采用上一实施例中所列举的方式来确定即可。

例如针对目标像素点x1,在a1、a2、a3中该位置处像素值都为0,但是将最小分辨率的第一分割图像上采样至kn后得到的图像中x1位置处的像素值为x,此时则可确定候选分割图像中x1位置处的像素值为x;针对非目标像素点x2,在a1、a2、a3中像素值分别为b1,b2,b3,此时b3>b2>b1,因此在候选分割图像中x2位置处的像素值为b3,基于该方式即可确定出候选分割图像中各个位置处像素点的像素值,得到候选分割图像。

在上述实施方式中,基于各个目标分割对象对应的第二分割图像中各像素点的像素值即可确定出候选分割图像,同样提供了一种简单高效的候选分割图像确定方法。此外,该方式下还利用了最小分辨率的以分割图像确定目标像素点的像素值,提高准确性。

需要说明的是,上述图像分割方式适用于任何对像素分配标签的任务,例如前景分割,即为给像素分配前景或背景两种标签的任务,也就是任何图像分割任务都可以用本公开实施例中的方法进行加速。对于多分类的图像分割方法,例如图像语义分割等,可以轮流仅对某一类进行类似处理,也就是上述实施例中所列举的分割方式二等。这种方法适用于任意分割算法,由于下采样、边缘导向滤波等操作非常容易通过硬件加速,且相对于一般图像分割算法来说,计算量更小,因此能够大幅提升性能。此外,边缘导向滤波也可以换成其他的保持边缘的滤波方法,例如双边滤波、最小二乘滤波等,在此不做具体限定。

下面以二分类分割为例,对图像分割的完整方法进行介绍。图4是根据一示例性实施例示出的一种图像分割的完整方法流程图,具体包括以下步骤:

s41:对于原始图像进行下采样,得到一个图像金字塔,其中该图像金字塔一共有三层,最顶层的图像分辨率最小,最底层的图像分辨率最大;

s42:对最顶层的图像进行图像分割操作,获得最顶层对应的第一分割图像;

s43:对最顶层对应的第一分割图像进行上采样,得到中间层对应的第一分割图像;

s44:对中间层对应的第一分割图像进行边界提取,基于提取到的边界确定中间层对应第一分割图像中的目标区域;

s45:根据中间层的图像对中间层对应的第一分割图像中的目标区域进行边缘导向滤波,得到中间层对应的第二分割图像;

s46:对中间层对应的第二分割图像进行上采样,得到最顶层对应的第一分割图像;

s47:对最顶层对应的第一分割图像边界提取,基于提取到的边界确定最顶层对应第一分割图像中的目标区域;

s48:根据最顶层的图像对最顶层对应的第一分割图像中的目标区域进行边缘导向滤波,得到最顶层对应的第二分割图像;

s49:对最顶层对应的第二分割图像进行二值化处理,获得原始图像的目标分割图像。

下面以二分类分割为例对另一种图像分割的完整方法进行介绍。图5是根据一示例性实施例示出的另一种图像分割的完整方法流程图,具体包括以下步骤:

s51:对于原始图像进行下采样,得到一个图像金字塔,其中该图像金字塔一共有三层,最顶层的图像分辨率最小,最底层的图像分辨率最大;

s52:对最顶层的图像进行图像分割操作,获得最顶层对应的第一分割图像;

s53:对最顶层对应的第一分割图像进行上采样,得到中间层对应的第一分割图像;

s54:对中间层对应的第一分割图像进行边界提取,基于提取到的边界确定中间层对应第一分割图像中的目标区域;

s55:根据中间层的图像对中间层对应的第一分割图像中的目标区域进行图像分割,得到中间层对应的第二分割图像;

s56:对中间层对应的第二分割图像进行上采样,得到最顶层对应的第一分割图像;

s57:对最顶层对应的第一分割图像边界提取,基于提取到的边界确定最顶层对应第一分割图像中的目标区域;

s58:根据最顶层的图像对最顶层对应的第一分割图像中的目标区域进行图像分割,得到最顶层对应的第二分割图像,即原始图像的目标分割图像。

图4和图5列举的是将本公开实施例中的图像分割方法用于二分类时的具体流程,对于多分类的情况是需要看成多个二分类来处理。

下面以多分类分割为例,对图像分割的完整方法进行介绍,例如目标分割对象分别为a对象、b对象和c对象,将图像内容分为三类。图6是根据一示例性实施例示出的一种图像分割的完整方法流程图,具体包括以下步骤:

s61:对于原始图像进行下采样,得到一个图像金字塔,其中该图像金字塔一共有三层,最顶层的图像分辨率最小,最底层的图像分辨率最大;

s62:对最顶层的图像进行图像分割操作,获得最顶层对应的第一分割图像;

s63:对最顶层对应的第一分割图像进行上采样,得到中间层对应的第一分割图像;

s64:对中间层对应的第一分割图像进行边界提取,基于提取到的边界确定中间层对应第一分割图像中的目标区域;

s65:根据中间层的图像对中间层对应的第一分割图像中的第一目标区域(即a对象所在区域)进行边缘导向滤波,得到中间层对应的第二分割图像;

s66:对中间层对应的第二分割图像进行上采样,得到最顶层对应的第一分割图像;

s67:对最顶层对应的第一分割图像边界提取,基于提取到的边界确定最顶层对应第一分割图像中的目标区域;

s68:根据最顶层的图像对最顶层对应的第一分割图像中的第一目标区域进行边缘导向滤波,得到最顶层对应的第二分割图像,该第二分割图像为a对象对应的最大分辨率的第二分割图像;

s65':根据中间层的图像对中间层对应的第一分割图像中的第二目标区域(即b对象所在区域)进行边缘导向滤波,得到中间层对应的第二分割图像;

s66':对中间层对应的第二分割图像进行上采样,得到最顶层对应的第一分割图像;

s67':对最顶层对应的第一分割图像边界提取,基于提取到的边界确定最顶层对应第一分割图像中的目标区域;

s68':根据最顶层的图像对最顶层对应的第一分割图像中的第二目标区域进行边缘导向滤波,得到最顶层对应的第二分割图像,该第二分割图像为b对象对应的最大分辨率的第二分割图像;

s65”:根据中间层的图像对中间层对应的第一分割图像中的第三目标区域(即c对象所在区域)进行边缘导向滤波,得到中间层对应的第二分割图像;

s66”:对中间层对应的第二分割图像进行上采样,得到最顶层对应的第一分割图像;

s67”:对最顶层对应的第一分割图像边界提取,基于提取到的边界确定最顶层对应第一分割图像中的目标区域;

s68”:根据最顶层的图像对最顶层对应的第一分割图像中的第三目标区域进行边缘导向滤波,得到最顶层对应的第二分割图像,该第二分割图像为c对象对应的最大分辨率的第二分割图像;

s69:根据a对象、b对象和c对象对应的最大分辨率的第二分割图像,确定候选分割图像中各像素点的像素值;

s610:对候选分割图像进行二值化处理,获得原始图像对应的目标分割图像。

需要说明的是,在多分类场景下若采用图像分割的方式,而不再是边缘导向滤波的方式对各分辨率的第一分割图像进行边界分割处理时,实际过程同图6所示的流程类似,区别之处在于,在根据a对象、b对象和c对象对应的最大分辨率的第二分割图像,确定候选分割图像中各像素点的像素值之后,无需对候选分割图像进行二值化处理,而是直接将候选分割图像作为原始图像对应的目标分割图像即可。

基于同一发明构思,本公开实施例中还提供了图像分割装置,图7是根据一示例性实施例示出的一种图像分割装置700的示意图,参照图7,该装置包括第一获取单元701,处理单元702和第二获取单元703。

第一获取单元701,被配置为执行根据图像集合中各图像的分辨率,对所述各图像进行排序,其中所述图像集合中包括原始图像和至少一个目标图像,所述目标图像是根据所述图像集合中比所述目标图像分辨率大的图像进行下采样得到的,且所述原始图像的分辨率最大;

处理单元702,被配置为执行按照分辨率由小到大的顺序,基于目标分割对象依次获取各分辨率对应的第一分割图像,并对除最小分辨率外各分辨率对应的第一分割图像中所述目标分割对象对应的目标区域进行边界分割处理,得到各分辨率对应的第二分割图像,其中,最小分辨率的第一分割图像是由所述图像集合中最小分辨率的目标图像进行图像分割得到的,其他分辨率的第一分割图像是由上一次得到的第二分割图像进行上采样得到的;

第二获取单元703,被配置为执行根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述处理单元702还被配置为执行:

在所述第二获取单元703根据最大分辨率的第二分割图像,获取所述原始图像对应的目标分割图像之前,基于目标分割对象每获取一个除最小分辨率外的分辨率对应的第一分割图像之后,对所述分辨率对应的第一分割图像进行边界提取操作,提取所述第一分割图像中所述目标分割对象的分割边界;

将所述第一分割图像中位于所述分割边界内的区域作为所述目标分割对象对应的目标区域。

在一种可选的实施方式中,所述处理单元702具体被配置为执行:

对所述分辨率对应的第一分割图像进行腐蚀操作得到腐蚀图像,以及对所述分辨率对应的第一分割图像进行膨胀操作得到膨胀图像;

将膨胀图像与腐蚀图像中对应位置像素点的像素值作差后,根据各位置像素点的像素值确定出所述目标分割对象的分割边界。

在一种可选的实施方式中,所述处理单元702具体被配置为执行:

对所述分辨率对应的第一分割图像进行低通滤波,并将滤波后的图像中对应的像素值在指定范围内的像素点作为边界像素点;

将所述边界像素点组成的边界作为所述目标分割对象的分割边界。

在一种可选的实施方式中,所述处理单元702具体被配置为执行:

针对任意一个分辨率,依次对所述分辨率对应的第一分割图像中各目标区域进行边界分割处理,得到所述分辨率对应的第二分割图像;

其中,在对第一个目标区域进行边界分割处理时,是在所述分辨率对应的第一分割图像上进行的;之后对其他目标区域进行边界分割处理时,都是在上一次进行边界分割处理后的图像上进行的。

在一种可选的实施方式中,所述处理单元702具体被配置为执行:

针对任意一个分辨率,对所述分辨率对应的分割图像中各目标区域进行边界分割处理,得到各目标分割对象对应的第二分割图像;其中,对每个目标区域进行边界分割处理时,都是在所述分辨率对应的第一分割图像上进行的;

将各目标分割对象对应的第二分割图像作为所述分辨率对应的第二分割图像。

在一种可选的实施方式中,所述处理单元702具体被配置为执行:

针对任意一个分辨率,将所述分辨率对应的所述图像集合中的图像作为导向图像,对所述分辨率对应的第一分割图像中的所述目标区域进行导向滤波,得到所述分辨率对应的第二分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为一个;

所述处理单元702具体被配置为执行:

对最大分辨率的第二分割图像进行二值化处理,得到所述原始图像对应的目标分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为多个;

所述处理单元702具体被配置为执行:

根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;

对所述候选分割图像进行二值化处理,获取所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述处理单元702具体被配置为执行:

针对任意一个分辨率,对所述分辨率对应的第一分割图像中的所述目标区域进行图像分割,得到所述分辨率对应的第二分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为一个;

所述第二获取单元703具体被配置为执行:

将最大分辨率的第二分割图像,作为所述原始图像对应的目标分割图像。

在一种可选的实施方式中,最大分辨率的第二分割图像为多个;

所述第二获取单元703具体被配置为执行:

根据各目标分割对象在对应的第二分割图像中的位置,确定候选分割图像中各像素点的像素值;

将所述候选分割图像作为所述原始图像对应的目标分割图像。

在一种可选的实施方式中,所述第二获取单元703具体被配置为执行:

针对任意一个像素点,将各目标分割对象对应的第二分割图像中所述像素点位置的像素值中的最大值,作为所述目标分割图像中对应位置像素点的像素值。

在一种可选的实施方式中,所述第二获取单元703具体被配置为执行:

对于目标像素点,将最小分辨率的第一分割图像上采样至最大分辨率后得到的图像中所述目标像素点位置的像素值,作为所述候选分割图像中对应位置像素点的像素值,其中,所述目标像素点为各目标分割对象对应的第二分割图像中像素值都为预设像素值的位置的像素点;或

对于非目标像素点,将各目标分割对象对应的第二分割图像中所述非目标像素点位置的像素值中的最大值,作为所述候选分割图像中对应位置像素点的像素值。

为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本公开时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。

图8是根据一示例性实施例示出的一种电子设备800的框图,该装置包括:

处理器810;

用于存储所述处理器810可执行指令的存储器820;

其中,所述处理器810被配置为执行所述指令,以实现本公开实施例中的图像分割方法。

在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器820,上述指令可由电子设备800的处理器810执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

在一些可能的实施方式中,根据本公开的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中,存储单元存储有程序代码,当程序代码被处理单元执行时,使得处理单元执行本说明书上述描述的根据本公开各种示例性实施方式的图像分割方法中的步骤。例如,处理单元可以执行如图2中所示的步骤。

下面参照图9来描述根据本公开的这种实施方式的计算装置90。图9的计算装置90仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图9,计算装置90以通用计算装置的形式表现。计算装置90的组件可以包括但不限于:上述至少一个处理单元91、上述至少一个存储单元92、连接不同系统组件(包括存储单元92和处理单元91)的总线93。

总线93表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制模块、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元92可以包括易失性存储器形式的可读介质,例如随机存取存储器(ram)921和/或高速缓存存储单元922,还可以进一步包括只读存储器(rom)923。

存储单元92还可以包括具有一组(至少一个)程序模块924的程序/实用工具925,这样的程序模块924包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置90也可以与一个或多个外部设备94(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算装置90交互的设备通信,和/或与使得该计算装置90能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口95进行。并且,计算装置90还可以通过网络适配器96与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器96通过总线93与用于计算装置90的其它模块通信。应当理解,尽管图中未示出,可以结合计算装置90使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中,本公开提供的图像分割方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的图像分割方法中的步骤,例如,计算机设备可以执行如图2中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本公开的实施方式的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码,并可以在计算装置上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中,远程计算装置可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算装置,或者,可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。

应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序命令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品,该命令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1