本发明涉及计算机视觉技术领域，尤其涉及一种基于rgb-d约束的双目图像目标分割方法和装置。
背景技术
双目立体视觉能很好的对人的双眼视觉系统进行模拟，可以对三维世界进行视觉感知，其中的一些研究成果已广泛地应用于我们的生产和生活中。其中，双目图像的目标分割作为双目立体视觉领域的重要研究方向之一，是提取双目图像中关键信息的重要步骤，在立体图像的合成、三维图像的重建、遥感图像的分析、机器人智能控制等方面都有着重大的研究意义。可以应用于ar/vr技术、三维摄像、3d电影、医疗、军事、航天等诸多方面。双目图像中蕴含着三维深度信息，是相比于单目图像最大的优势所在。深度信息能更好的描述场景中的对象，更有效的表达前景和背景信息。
现有技术中双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题。
技术实现要素：
本发明实施例提供了一种基于rgb-d约束的双目图像目标分割方法和装置，解决现有技术中双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题。
鉴于上述问题，提出了本申请实施例以便提供一种基于rgb-d约束的双目图像目标分割方法和装置。
第一方面，本发明提供了一种基于rgb-d约束的双目图像目标分割方法，所述方法包括：
获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
优选地，获得双目图像的视差信息，还包括：将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；根据图割法计算所述代价函数的最小解，估计视差图。
优选地，获得所述双目图像的颜色数据模型，还包括：根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
优选地，根据所述视差信息获得视差图的深度数据模型，还包括：根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
优选地，计算所述双目图像相邻像素点的相似性，还包括：计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。
优选地，获得所述双目图像目标分割的图模型与能量函数表达式，还包括：根据所述双目图像构建网络流图；将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；将所述第三相似性设定为所述网络流图的第二边权值；根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
优选地，根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
第二方面，本发明提供了一种基于rgb-d约束的双目图像目标分割装置，所述装置包括：
第一获得单元，所述第一获得单元用于获得双目图像的视差信息；
第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型；
第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型；
第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性；
第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式；
第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
优选地，第一获得单元，所述第一获得单元用于获得双目图像的视差信息，还包括：
第六获得单元，所述第六获得单元用于将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；
第二计算单元，所述第二计算单元用于根据图割法计算所述代价函数的最小解，估计视差图。
优选地，第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型，还包括：
第一分类单元，所述第一分类单元用于根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；
第七获得单元，所述第七获得单元用于根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；
第八获得单元，所述第八获得单元用于根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；
第九获得单元，所述第九获得单元用于根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
优选地，第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型，还包括：
第二分类单元，所述第二分类单元用于根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；
第十获得单元，所述第十获得单元用于根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；
第十一获得单元，所述第十一获得单元用于根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；
第十二获得单元，所述第十二获得单元用于根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
优选地，第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性，还包括：
第三计算单元，所述第三计算单元用于计算色彩空间两个相邻像素点的第一相似性；
第四计算单元，所述第四计算单元用于根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；
第五计算单元，所述第五计算单元用于根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。
优选地，第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式，还包括：
第一构建单元，所述第一构建单元用于根据所述双目图像构建网络流图；
第一设定单元，所述第一设定单元用于将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；
第二设定单元，所述第二设定单元用于将所述第三相似性设定为所述网络流图的第二边权值；
第十三获得单元，所述第十三获得单元用于根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
优选地，第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：
第十四获得单元，所述第十四获得单元用于根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
第三方面，本发明提供了一种基于rgb-d约束的双目图像目标分割装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
1.本申请实施例提供的一种基于rgb-d约束的双目图像目标分割方法和装置，通过获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中的双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题，实现了网络流图的边权值不只依赖与rgb值，还需要计算图像的深度值，减少概率计算的依赖性，增强概率模型的通用性，有助于提升分割的结果，同时考虑像素点的视差信息，利用前景和背景处于不同的深度中的特征，可以提升分割的结果的技术效果。
2.本申请实施例通过计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。进一步计算图像相邻像素点的相似性时，考虑了像素点的视差信息，计算两个相邻点在rgb-d约束下的相似性，对于交互输入的依赖较小，并且在图像前景和背景较相似的情况下，提升分割效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例中一种基于rgb-d约束的双目图像目标分割方法的流程示意图；
图2为本发明实施例中一种基于rgb-d约束的双目图像目标分割装置的结构示意图；
图3为本发明实施例提供的网络流图的结构示意图。
具体实施方式
本发明实施例提供了一种基于rgb-d约束的双目图像目标分割方法和装置，本发明提供的技术方案总体思路如下：获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的图模型与能量函数表达式；根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中的双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题，实现了网络流图的边权值不只依赖与rgb值，还需要计算图像的深度值，减少了概率计算的依赖性，增强了概率模型的通用性，有助于提升分割的结果，同时考虑了像素点的视差信息，利用前景和背景处于不同的深度中的特征，可以提升分割的结果的技术效果。
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
图1为本发明实施例中一种基于rgb-d约束的双目图像目标分割方法的流程示意图。如图1所示，所述方法包括：
步骤110：获得双目图像的视差信息。
进一步的，获得双目图像的视差信息，还包括：将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；根据图割法计算所述代价函数的最小解，估计视差图。
具体而言，将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数，然后对所述代价函数，分别求解得出数据项、平滑项以及可见度项，并使用图割法来求解所述代价函数的最小解；最后根据所述代价函数的求解结果来估计所述双目图像的视差图。
步骤120：获得所述双目图像的颜色数据模型。
进一步的，获得所述双目图像的颜色数据模型，还包括：根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
具体而言，根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型。在计算输入所述双目图像的颜色数据模型时，考虑所述双目图像中的像素点在构建的颜色数据模型中属于前景和背景的第一概率。在本发明实施例中用p(xi|ci)表示第一概率，其含义是代表像素点pi在色彩值为ci的情况下，被分配为前景(xi＝1)和背景(xi＝0)的第一概率。本发明实施例使用第一混合高斯函数模型的概率表示形式进行前景/背景建模，根据混合高斯函数模型的理论知识获得p(xi|ci)的表达式，即：
p(xi|ci)＝π(xi,ki)·p(ci|xi,ki,θ)
其中，ki表示像素点pi属于混合高斯模型的第ki个高斯分量，π(xi,ki)表示所述高斯分量ki在整个第一混合高斯函数模型所有分量所占的权值，其取值范围为：0≤π(xi,ki)≤1。其中θ的表示第一混合高斯函数的参数，其表达式为：
θ＝{π(x,k),μ(x,k),∑(x,k),x＝0,1,k＝1...k}
其中，μ(x,k)表示高斯分量为k的所有像素点在色彩空间的均值向量。∑(x,k)表示高斯分量为k的所有像素点在色彩空间的协方差矩阵。由迭代地图割法理论可知，混合高斯函数模型的参数是随着每一次图割的分类结果而不断的进行更新。所以，本发明实施例中可以采用k-means聚类的方式对其θ参数进行初始化。式中的p(ci|xi,ki,θ)表示第一混合高斯函数模型的概率密度分布函数，其计算公式如下所示。
步骤130：根据所述视差信息获得视差图的深度数据模型。
进一步的，根据所述视差信息获得视差图的深度数据模型，还包括：根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
具体而言，根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型。在计算输入所述双目图像的颜色数据模型时，考虑所述双目图像中的像素点在构建的深度数据模型中属于前景和背景的第二概率。本发明实施例中用p(xi|di)表示第二概率，其含义是代表像素点在深度值为di的情况下，被分配为前景(xi＝1)和背景(xi＝0)的第二概率。其中，p(xi|di)的计算方法与步骤120相同。对于所述颜色数据模型和深度数据模型，加权计算方式如下：
r(pi,xi)＝-λclogp(xi|ci)-λdlogp(xi|di)
其中，r(pi,xi)表示像素点xi属于前景和背景的加权概率。
步骤140：计算所述双目图像相邻像素点的相似性。
进一步的，计算所述双目图像相邻像素点的相似性，还包括：计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。
具体而言，本发明实施例中在计算所述双目图像相邻像素点的相似性时，同时考虑了所述双目图像的颜色信息和深度信息。通过计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性。根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。其中，对计算相似性的数学表达式作进一步的描述。
b(pi,pj)＝λcfg(pi,pj)+λdfd(pi)
式中，b(pi,pj)表示称为图像的边界项，即将所述双目图像分割为前景和背景两个子集的分界线，式中的λc和λd分别表示颜色项和深度项的权值，且满足λc+λd＝1。b(pi,pj)体现邻域像素点pi和pj之间不连续的损失。也就是说，假如两个相邻像素点的相似性很大，那么所述两个相邻像素点就有很大可能性属于相同的目标或者相同的背景；假如两个相邻像素点的相似性很小，那么所述两个相邻像素点属于目标和背景的边缘部分的可能性就比较大，故所述两个相邻像素点就有很大可能性被分割开，因此，当两个相邻像素点极不相似时，所求的能量函数的值就很小。b(pi,pj)表示的就是所述双目图像相邻像素点的相似性，通常的方法在计算像素点的相似性时，只是在rgb空间进行数学计算，而本发明实施例中不仅考虑色彩空间，同时也考虑了深度信息。
表达式b(·)中的fg(pi,pj)体现的相邻像素点在rgb空间的相似性，计算方法如下：
在计算fg(pi,pj)时只考虑像素点的色彩值，其中，α为常数项，表示为度量因子；β为惩罚项，根据所述双目图像全局的对比度计算而来。表达式b(·)中的fd(pi)表示相邻像素点在视差图中的相似性(视差空间的距离)，其计算方法如下：
其中，
步骤150：获得所述双目图像目标分割的图模型与能量函数表达式；
进一步的，获得所述双目图像目标分割的网络流图与能量函数表达式，还包括：根据所述双目图像构建网络流图；将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；将所述第三相似性设定为所述网络流图的第二边权值；根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
具体而言，根据所述双目图像构建网络流图，请参考图3，本发明实施例中用i＝{il,ir}代表输入的所述双目图像的左视图和右视图，同时令图g＝(v,ε)表示为i的图模型。式中的v表示图的节点的集合，图中的每个节点代表中的i一个像素点。图像目标分割的目的是为图中的每个节点pi分配一个xi∈{0,1}的标签来表示前景或背景。式中的ε表示图的边集合，所述边集合包含图像内四邻域的边、图像间对应点的边以及每个像素点连接的分别代表前景和背景两个端点的边。此处定义的三种边的边权值共同决定了所述双目图像目标分割的结果。
构建所述双目图像目标分割的图模型后，需要对网络流图的每条边的权值进行定量计算，下面对网络流图的能量函数作进一步的描述。
函数e(·)表示图模型的能量函数，r(pi,xi)是一次项表示图像像素点pi与前景和背景先验模型的相似性，即该像素点被分配为前景还是背景的概率；b(pi,pj)表示所述双目图像各个图像中的像素点与它的领域像素点的相似性，也可以记作图像内的二次项，nb是一个集合，该集合中的每个元素表示双目图像中的一个像素点与它相邻像素点的像素点对；
图像间的二次项可以保证两个视图中的对应像素点有着相同的分类结果(前景或背景)。所述二次项的数学表达式如下：
在公式c(·)中，
其中，
其中，
步骤160：根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
进一步的，根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
具体而言，根据最大流最小割定理，使用最大流算法获得所述网络流图的最大流，所述最大流对应的割即为最小割，亦即能量函数的最小解，网络流图的分割结果亦即图像的目标分割结果。
实施例2
基于与前述实施例中一种基于rgb-d约束的双目图像目标分割方法同样的发明构思，本发明还提供一种基于rgb-d约束的双目图像目标分割装置，如图2所示，所述装置包括：
第一获得单元，所述第一获得单元用于获得双目图像的视差信息；
第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型；
第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型；
第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性；
第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的图模型与能量函数表达式；
第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。
进一步的，第一获得单元，所述第一获得单元用于获得双目图像的视差信息，还包括：
第六获得单元，所述第六获得单元用于将输入的双目图像进行立体匹配，获得所述双目图像匹配的代价函数；
第二计算单元，所述第二计算单元用于根据图割法计算所述代价函数的最小解，估计视差图。
进一步的，第二获得单元，所述第二获得单元用于获得所述双目图像的颜色数据模型，还包括：
第一分类单元，所述第一分类单元用于根据所述双目图像的颜色信息，利用聚类算法将所述双目图像中的像素分为若干类第一像素集；
第七获得单元，所述第七获得单元用于根据所述若干类第一像素集计算每类像素集颜色信息的均值、方差获得第一混合高斯函数模型；
第八获得单元，所述第八获得单元用于根据第一混合高斯函数的表达式计算每个像素点的第一高斯分量，获得颜色信息的高斯概率密度函数；
第九获得单元，所述第九获得单元用于根据所述颜色信息的高斯概率密度函数获得每个像素点属于前景和背景的第一概率。
进一步的，第三获得单元，所述第三获得单元用于根据所述视差信息获得视差图的深度数据模型，还包括：
第二分类单元，所述第二分类单元用于根据所述视差信息，利用聚类算法将所述双目图像中的像素分为若干类第二像素集；
第十获得单元，所述第十获得单元用于根据所述若干类第二像素集计算每类像素集视差信息的均值、方差获得第二混合高斯函数模型；
第十一获得单元，所述第十一获得单元用于根据第二混合高斯函数的表达式计算每个像素点的第二高斯分量，获得深度信息的高斯概率密度函数；
第十二获得单元，所述第十二获得单元用于根据所述深度信息的高斯概率密度函数获得每个像素点属于前景和背景的第二概率。
进一步的，第一计算单元，所述第一计算单元用于计算所述双目图像相邻像素点的相似性，还包括：
第三计算单元，所述第三计算单元用于计算色彩空间两个相邻像素点的第一相似性；
第四计算单元，所述第四计算单元用于根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；
第五计算单元，所述第五计算单元用于根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。
进一步的，第四获得单元，所述第四获得单元用于获得所述双目图像目标分割的网络流图与能量函数表达式，还包括：
第一构建单元，所述第一构建单元用于根据所述双目图像构建网络流图；
第一设定单元，所述第一设定单元用于将所述颜色数据模型与深度数据模型的加权之和设定为所述网络流图的第一边权值；
第二设定单元，所述第二设定单元用于将所述第三相似性设定为所述网络流图的第二边权值；
第十三获得单元，所述第十三获得单元用于根据所述第一边权值与第二边权值获得所述网络流图的能量函数数学表达式。
进一步的，第五获得单元，所述第五获得单元用于根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果，还包括：
第十四获得单元，所述第十四获得单元用于根据最大流最小割定理获得所述网络流图的最大流，所述最大流对应的割为最小割，即所述能量函数的最小解。
前述图1实施例1中的一种基于rgb-d约束的双目图像目标分割方法的各种变化方式和具体实例同样适用于本实施例的一种基于rgb-d约束的双目图像目标分割装置，通过前述对一种基于rgb-d约束的双目图像目标分割方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于rgb-d约束的双目图像目标分割装置的实施方法，所以为了说明书的简洁，在此不再详述。
实施例3
本发明还提供了仿真试验，选取30个双目图像对作为测试样例，采用本发明的一种基于rgb-d约束的双目图像目标分割方法对所述测试样例进行双目图像的目标分割。将选取分割准确率作为仿真结果的评价准则，首先对该评价准则作进一步描述，在图像分割中，测试数据集为整幅图像i,正确的分类样本数则是指分割所得的结果图与真值图进行比较所有被正确分类到前景和背景的像素点的数量n,总样本数则是整幅图像i的像素点的数量s,因此准确率的计算公式为：
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
1.本申请实施例提供的一种基于rgb-d约束的双目图像目标分割方法和装置，通过获得双目图像的视差信息；获得所述双目图像的颜色数据模型；根据所述视差信息获得视差图的深度数据模型；计算所述双目图像相邻像素点的相似性；获得所述双目图像目标分割的网络流图与能量函数表达式；根据计算所述能量函数的最小解获得所述网络流图的分割结果，其中，所述网络流图的分割结果即所述双目图像的目标分割结果。解决现有技术中的双目图像目标分割的准确率较低、实时性差、完整性不太理想，分割结果精确度不高，分隔效果不好的技术问题，实现了网络流图的边权值不只依赖与rgb值，还需要计算图像的深度值，减少概率计算的依赖性，增强概率模型的通用性，有助于提升分割的结果，同时考虑像素点的视差信息，利用前景和背景处于不同的深度中的特征，可以提升分割的结果的技术效果。
2.本申请实施例通过计算色彩空间两个相邻像素点的第一相似性；根据所述视差图进行特征变换，且在特征空间计算视差空间两个相邻像素点的第二相似性；根据所述第一相似性和第二相似性，计算rgb-d约束的两个相邻像素点的第三相似性。进一步计算图像相邻像素点的相似性时，考虑了像素点的视差信息，计算两个相邻点在rgb-d约束下的相似性，对于交互输入的依赖较小，并且在图像前景和背景较相似的情况下，提升分割效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。