一种实现交互式图像分割的方法、装置及终端与流程

文档序号:12675152阅读:来源:国知局

技术特征:

1.一种实现交互式图像分割的方法,包括:

检测到原始图像上的勾勒轨迹后,将所述勾勒轨迹进行封闭处理后形成标记区,确定包含所述涂抹轨迹的一块区域作为感兴趣区域,所述感兴趣区域包含所述标记区,生成图像分割算法的输入掩模图:将所述标记区中所有的像素作为所述掩模图中的前景点,将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点;

获取包含目标对象颜色信息的彩色图和包含目标对象深度信息的深度图,根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数,根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数,所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异;将所述第一分割参数与所述第二分割参数进行融合;

构建无向图,将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中,根据最小割-最大流算法对所述无向图进行处理,获得精细分割后的掩模图;

从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。

2.根据权利要求1所述的方法,其特征在于:

根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数,包括:根据所述彩色图和掩模图确定所述掩模图上各个像素的第一区域项分割参数:

按EM方法进行高斯混合模型GMM计算,所述EM方法包括E步骤和M步骤;迭代运行E步骤和M步骤,在所述迭代运行达到收敛条件后停止所述迭代过程;将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类,将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第一区域项分割参数,所述第一区域项分割参数是所述像素基于所述彩色图判决为前景点或背景点的概率;

其中,所述E步骤和M步骤分别包括以下处理:

E步骤:根据所述掩模图上各个像素的颜色值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇,确定各个簇的GMM模型;其中,像素的分类包括前景点或背景点;簇的分类包括前景点簇或背景点簇;

M步骤:根据各个簇的GMM模型确定每一个像素归属于各个簇的概率,对任意一个像素,根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类;

根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数,还包括:根据所述深度图和掩模图确定所述掩模图上各个像素的第二区域项分割参数:

按EM方法进行高斯混合模型GMM计算,所述EM方法包括E步骤和M步骤;迭代运行E步骤和M步骤,在所述迭代运行达到收敛条件后停止所述迭代过程;将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类,将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的第二区域项分割参数,所述第二区域项分割参数是所述像素基于所述深度图判决为前景点或背景点的概率;

其中,所述E步骤和M步骤分别包括以下处理:

E步骤:根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇,确定各个簇的GMM模型;其中,像素的分类包括前景点或背景点;簇的分类包括前景点簇或背景点簇;

M步骤:根据各个簇的GMM模型确定每一个像素归属于各个簇的概率,对任意一个像素,根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。

3.根据权利要求2所述的方法,其特征在于:

根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数,还包括:根据所述彩色图和掩模图确定所述掩模图上各个像素的第一边界项分割参数:

根据所述像素与相邻像素的颜色差异确定所述像素的第一边界项分割参数;

其中,对任意一个像素,将RGB三个颜色通道上所述像素与邻近的各个像素之间的数值差值绝对值进行累加,再对累加和进行归一化处理,得到归一化后的累加和作为所述像素的第一边界项分割参数;

根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数,还包括:根据所述深度图和掩模图确定所述掩模图上各个像素的第二边界项分割参数:

根据所述像素与相邻像素的深度值差异确定所述像素的第二边界项分割参数;

其中,对任意一个像素,将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加,再对累加和进行归一化处理,得到归一化后的累加和作为所述像素的第二边界项分割参数。

4.根据权利要求3所述的方法,其特征在于:

将所述第一分割参数与所述第二分割参数进行融合,包括:将所述第一区域项分割参数与所述第二区域项分割参数进行融合:

对任意一个像素,将所述第一区域项分割参数乘以权重(1-a)得到调整后的第一区域项分割参数,将所述第二区域项分割参数乘以权重a得到调整后的第二区域项分割参数;

如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数指示的像素分类相同,则将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数相加的和作为融合后的区域项分割参数;

如果所述第一区域项分割参数指示的像素分类与所述第二区域项分割参数指示的像素分类不相同,则将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数中数值较大者指示的像素分类作为所述像素的最终分类,将所述调整后的第一区域项分割参数与所述调整后的第二区域项分割参数的差值的绝对值作为融合后的区域项分割参数;

将所述第一分割参数与所述第二分割参数进行融合,还包括:将所述第一边界项分割参数与所述第二边界项分割参数进行融合:

将所述第一边界项分割参数乘以权重(1-a)得到调整后的第一边界项分割参数,将所述第二边界项分割参数乘以权重a得到调整后的第二边界项分割参数,然后将所述调整后的第一边界项分割参数与所述调整后的第二边界项分割参数相加得到所述像素的融合后的边界项分割参数;a大于或等于0且小于或等于1。

5.根据权利要求4所述的方法,其特征在于:

所述权重a根据自评价参数k1和一致性参数k2进行确定:将自评价参数k1和一致性参数k2的积作为权重a;

其中,自评价参数k1采用以下方式进行确定:根据像素的深度值确定像素对应的拍摄距离的远近程度,根据所述拍摄距离的远近程度设置自评价参数k1,所述拍摄距离越近,自评价参数k1设置得越大;k1大于或等于0且小于或等于1;

其中,所述一致性参数k2采用以下方式进行确定:

如果所述第一边界项分割参数与所述第二边界项分割参数相等,则设置一致性参数k2为第一常数;

如果所述第一边界项分割参数与所述第二边界项分割参数不相等,在所述第一边界项分割参数与所述第二边界项分割参数同时大于阈值或同时小于阈值时,设置一致性参数k2为第一常数;在所述第一边界项分割参数与所述第二边界项分割参数不同时大于阈值或不同时小于阈值时,设置一致性参数k2为第二常数;所述第一常数大于所述第二常数;所述第一常数大于0且小于或等于1,所述第二常数大于0且小于1。

6.根据权利要求1所述的方法,其特征在于:

构建无向图并将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中,包括:

构建一个无向图,在所述无向图的平面外设置两个悬空点Q0和Q1,所述悬空点Q0为虚拟前景点,所述悬空点Q1为虚拟背景点;在所述无向图的平面上建立所述掩模图上各个像素的映射点,在前景点的映射点与所述悬空点Q0之间建立连线,在背景点的映射点与所述悬空点Q1之间建立连线;

对掩模图中的任意一个像素Pi,将所述像素Pi的融合后的区域项分割参数作为所述无向图中映射点Pi'的权值,将所述像素Pi的融合后的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值;

根据最小割-最大流算法对所述无向图进行处理,获得精细分割后的掩模图,包括:

迭代执行以下C步骤和D步骤,在迭代运行达到收敛条件后停止迭代过程,将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点;

其中,C步骤和D步骤分别包括以下处理:

C步骤:将无向图中的一部分像素划分为与悬空点Q0同类的前景点,由划分为前景点的像素构成前景点集合Q;

D步骤:计算所述前景点集合Q的权值总和,所述权值总和是所述前景点集合Q中所有前景点的权值和,再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和;

其中,所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。

7.根据权利要求1所述的方法,其特征在于:

所述将所述勾勒轨迹进行封闭处理后形成标记区,确定包含所述涂抹轨迹的一块区域作为感兴趣区域,包括:

在所述勾勒轨迹已经闭合时,将所述勾勒轨迹所封闭的区域确定为标记区;在所述勾勒轨迹未闭合时,对所述勾勒轨迹做封闭处理,如果封闭成功,则将封闭后的勾勒轨迹所封闭的区域确定为标记区,如果封闭不成功,则对所述勾勒轨迹进行膨胀处理,将所述膨胀后的区域确定为标记区;

根据所述勾勒轨迹的形状特点套用几何形状模板,根据所述几何形状模板生成包含所述勾勒轨迹的感兴趣区域,如果所述感兴趣区域没有包含所述标记区,则将所述感兴趣区域扩展至包含所述标记区;或者对所述标记区进行膨胀处理形成感兴趣区域。

8.根据权利要求7所述的方法,其特征在于:

所述对所述勾勒轨迹做封闭处理,包括:

如果所述勾勒轨迹的起点和终点之间的距离大于或等于阈值,则获取所述勾勒轨迹的起点和终点之间的区域中的边缘线,将所述勾勒轨迹叠加上所述边缘线;如果所述勾勒轨迹叠加上所述边缘线能够形成封闭区域,则判定封闭成功,如果所述勾勒轨迹叠加上所述边缘线不能够形成封闭区域,则判定封闭失败;

如果所述勾勒轨迹的起点和终点之间的距离小于阈值,则在所述起点和终点之间做线段连接,完成勾勒轨迹的闭合。

9.一种实现交互式图像分割的装置,包括:

预处理模块,用于检测到原始图像上的勾勒轨迹后,将所述勾勒轨迹进行封闭处理后形成标记区,确定包含所述涂抹轨迹的一块区域作为感兴趣区域,所述感兴趣区域包含所述标记区,生成图像分割算法的输入掩模图:将所述标记区中所有的像素作为所述掩模图中的前景点,将所述感兴趣区域中标记区外的像素作为所述掩模图中的背景点;

分割参数计算及融合模块,用于获取包含目标对象颜色信息的彩色图和包含目标对象深度信息的深度图,根据所述彩色图和掩模图确定所述掩模图上各个像素的第一分割参数,根据所述深度图和掩模图确定所述掩模图上各个像素的第二分割参数,所述第一分割参数和第二分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的数值差异;将所述第一分割参数与所述第二分割参数进行融合;

掩模图调整模块,用于构建无向图,将所述掩模图中的每一个像素的融合后的分割参数映射到所述无向图中,根据最小割-最大流算法对所述无向图进行处理,获得精细分割后的掩模图;

输出模块,用于从所述彩色图中分割出所述精细分割后的掩模图中前景点对应的图像。

10.一种终端,包括上述权利要求9所述的实现交互式图像分割的装置。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1