一种实现交互式图像分割的方法、装置及终端与流程

文档序号:12471840阅读:来源:国知局

技术特征:

1.一种实现交互式图像分割的方法,包括:

检测到原始图像上的涂抹轨迹或勾勒轨迹后,将所述涂抹轨迹或勾勒轨迹的邻接区域确定为标记区,生成图像分割算法的输入掩模图:将所述标记区中所有的像素作为所述掩模图中的前景点,将所述原始图像上标记区外的像素作为所述掩模图中的背景点;

获取包含目标对象深度信息的深度图,根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数,所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异;

构建无向图,将所述掩模图中的每一个像素的分割参数映射到所述无向图中,根据最小割-最大流算法对所述无向图进行处理,获得精细分割后的掩模图;

从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。

2.根据权利要求1所述的方法,其特征在于:

根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数,包括:按EM方法进行高斯混合模型GMM计算,所述EM方法包括E步骤和M步骤;迭代运行E步骤和M步骤,在所述迭代运行达到收敛条件后停止所述迭代过程;将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类,将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数,所述区域项分割参数是所述像素判决为前景点或背景点的概率;

其中,所述E步骤和M步骤分别包括以下处理:

E步骤:根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇,确定各个簇的GMM模型;其中,像素的分类包括前景点或背景点;簇的分类包括前景点簇或背景点簇;

M步骤:根据各个簇的GMM模型确定每一个像素归属于各个簇的概率,对任意一个像素,根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。

3.根据权利要求2所述的方法,其特征在于:

根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数,还包括:根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数;

其中,对任意一个像素,将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加,再对累加和进行归一化处理,得到归一化后的累加和作为所述像素的边界项分割参数。

4.根据权利要求3所述的方法,其特征在于:

构建无向图,将所述掩模图中的每一个像素的分割参数映射到所述无向图中,包括:

构建一个无向图,在所述无向图的平面外设置两个悬空点Q0和Q1,所述悬空点Q0为虚拟前景点,所述悬空点Q1为虚拟背景点;在所述无向图的平面上建立所述掩模图上各个像素的映射点,在前景点的映射点与所述悬空点Q0之间建立连线,在背景点的映射点与所述悬空点Q1之间建立连线;

对掩模图中的任意一个像素Pi,将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值,将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。

5.根据权利要求4所述的方法,其特征在于:

所述根据最小割-最大流算法对所述无向图进行处理,获得精细分割后的掩模图,包括:

迭代执行以下C步骤和D步骤,在迭代运行达到收敛条件后停止迭代过程,将所述前景点集合Q中的各个像素作为精细分割后的掩模图中的前景点;

其中,C步骤和D步骤分别包括以下处理:

C步骤:将无向图中的一部分像素划分为与悬空点Q0同类的前景点,由划分为前景点的像素构成前景点集合Q;

D步骤:计算所述前景点集合Q的权值总和,所述权值总和是所述前景点集合Q中所有前景点的权值和,再加上所述前景点集合Q中所有前景点与悬空点Q0之间连线的权值和;

其中,所述收敛条件是前景点集合Q的权值总和小于阈值且变化趋于稳定。

6.一种实现交互式图像分割的装置,包括:

预处理模块,用于检测到原始图像上的涂抹轨迹或勾勒轨迹后,将所述涂抹轨迹或勾勒轨迹的邻接区域确定为标记区,生成图像分割算法的输入掩模图:将所述标记区中所有的像素作为所述掩模图中的前景点,将所述原始图像上标记区外的像素作为所述掩模图中的背景点;

分割参数计算模块,用于获取包含目标对象深度信息的深度图,根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数,所述分割参数用于表示像素判决为前景点或背景点的概率以及所述像素与相邻像素的深度值差异;

掩模图调整模块,用于构建无向图,将所述掩模图中的每一个像素的分割参数映射到所述无向图中,根据最小割-最大流算法对所述无向图进行处理,获得精细分割后的掩模图;

输出模块,用于从拍摄所述目标对象所获得的原始图像中分割出所述精细分割后的掩模图中前景点对应的图像。

7.根据权利要求6所述的装置,其特征在于:

分割参数计算模块,用于采用以下方式根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数:按EM方法进行高斯混合模型GMM计算,所述EM方法包括E步骤和M步骤;迭代运行E步骤和M步骤,在所述迭代运行达到收敛条件后停止所述迭代过程;将最后一次执行M步骤获得的所述像素的分类确定为所述像素的分类,将最后一次执行M步骤获得的所述像素归属于某个簇的最大概率值Pmax确定为所述像素的区域项分割参数,所述区域项分割参数是所述像素判决为前景点或背景点的概率;

其中,所述E步骤和M步骤分别包括以下处理:

E步骤:根据所述掩模图上各个像素的深度值以及像素之间的位置关系通过聚簇将同种类型的像素聚成一个或多个簇,确定各个簇的GMM模型;其中,像素的分类包括前景点或背景点;簇的分类包括前景点簇或背景点簇;

M步骤:根据各个簇的GMM模型确定每一个像素归属于各个簇的概率,对任意一个像素,根据所述像素的最大概率值Pmax对应的簇确定所述像素的分类。

8.根据权利要求7所述的装置,其特征在于:

分割参数计算模块,还用于采用以下方式根据所述深度图和掩模图确定所述掩模图上各个像素的分割参数:根据所述像素与相邻像素的深度值差异确定所述像素的边界项分割参数;

其中,对任意一个像素,将所述像素与邻近的各个像素之间的深度值差值绝对值进行累加,再对累加和进行归一化处理,得到归一化后的累加和作为所述像素的边界项分割参数。

9.根据权利要求8所述的装置,其特征在于:

掩模图调整模块,用于采用以下方式构建无向图并将所述掩模图中的每一个像素的分割参数映射到所述无向图中:

构建一个无向图,在所述无向图的平面外设置两个悬空点Q0和Q1,所述悬空点Q0为虚拟前景点,所述悬空点Q1为虚拟背景点;在所述无向图的平面上建立所述掩模图上各个像素的映射点,在前景点的映射点与所述悬空点Q0之间建立连线,在背景点的映射点与所述悬空点Q1之间建立连线;

对掩模图中的任意一个像素Pi,将所述像素Pi的区域项分割参数作为所述无向图中映射点Pi'的权值,将所述像素Pi的边界项分割参数作为所述无向图中映射点Pi'与悬空点Q0或Q1之间连线的权值。

10.一种终端,包括上述权利要求6-9中任一项所述的实现交互式图像分割的装置。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1