一种融合颜色和深度信息的图像分割方法
【专利摘要】本发明公开了一种融合颜色和深度信息的图像分割方法，本发明首先利用meanshift算法对输入彩色图像作分割，得到过分割区域集合，然后计算各区域之间的相似度，包括颜色相似度和深度相似度，以及两者的融合；接着根据深度图像自动选取目标和背景种子区域；最后利用MSRM算法进行区域合并，得到最终的分割结果。本发明在计算区域之间相似度时，不仅仅利用颜色信息，还动态融合了深度信息，解决了当目标和背景颜色相近，即物体与物体之间为低对比度边缘时，无法正确分割的问题；本发明利用图像深度信息自动选取种子区域，无需人工交互地标注目标和背景的种子区域，直接利用深度图像的区域特性，而不是边缘特性来确定种子区域，具有较好的鲁棒性。
【专利说明】一种融合颜色和深度信息的图像分割方法
【技术领域】
[0001] 本发明属于计算机视觉领域，具体涉及一种融合颜色和深度信息的图像分割方 法。
【背景技术】
[0002] 图像分割是将图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的 技术和过程。它是图像处理到图像分析的关键步骤。图像分割后提取出的目标可以用于图 像语义识别，图像检索等领域。传统图像分割方法一般基于图像的外观特征，如颜色、亮度、 纹理、形状、结构等。而真实的物体存在三维世界中，物体应该由物理上的连通性来定义，结 合图像的深度信息来分割图像，可以有效地克服过分割和欠分割问题，获取具有一定语义 的图像分割结果。
[0003] 目前，图像分割方法不计其数，其中[文献1]提出的基于最大相似度的区域合并 的方法（以下简称MSRM算法）比较简单，对图像内容自适应，无需事先设置相似度阈值，能 够从复杂背景中提取目标轮廓。MSRM算法的优势在于：与人工交互的经典算法图割（graph cut)相比，在相同的人工交互条件下，分割效果更好。局限性在于：需要标记覆盖主要的特 征区域，当出现阴影、低对比度边缘和模糊区域时，分割是失败的。
[0004] 近年来有很多文献将深度图像引入图像分割领域，[文献2]提出一种基于深度和 颜色信息的图像物体分割算法，首先利用meanshift分割算法对目标图像进行过分割，同 时借助双目立体视觉算法获取立体图对的稠密深度图，依据深度不连续性从过分割结果中 选取继续进行"精致"分割的种子点集，对未分配种子标签的区域用图割算法分配标签，并 对彼此之间没有深度不连续边界但具有不同标签的相邻区域进行融合。该算法的局限性在 于：（1)用图割算法（graph cut)进行全局优化时，仅仅用到了颜色信息；（2)获得的图像二 值化深度不连续边缘强烈依赖于实验阈值，且边缘线本身是间断、不连续的，这将影响种子 点选取的可靠性。[文献3]提出一种基于颜色和深度信息的多模语义分割方法，该算法将 纹理、颜色描述子和3D描述子通过马尔科夫随机场模型融合到一起，为超像素分配标签。 该方法需要训练，计算量大。[文献4]提出的在机器人视觉导航系统中利用彩色和深度图 像定位物体，只适用于图像中几个物体颜色单一且完全一致时，利用深度的不同来区分。
[0005] 文献 1 :Ning J.，Zhang L.，Zhang D.，et al. Interactive image segmentation by maximal similarity based region merging. Pattern Recognition, 2010, 43 (2) : 445-456 ；
[0006] 文献2 :皮志明，汪增福.融合深度和颜色信息的图像物体分割算法.模式识别与 人工智能，2013, 26 (2) : 151-158 ;
[0007] 文献 3 :Islem Jebari, David Filliat. Color and depth-based superpixels for background and object segmentation. Procedia Engineering, 2012,41:1307-1315 ；
[0008] 文献 4 ： Jose-Juan, Hernandez-Lopez, Ana-Linnet, et al. Detecting objects using color and depth segmentation with Kinect sensor. Procedia Technology, 2012, 3:196-204。
【发明内容】
[0009] 本发明的目的在于提供一种当目标和背景颜色复杂且相近时能够更准确地加以 区分、且能够利用深度图像的区域特性自动选取种子区域的图像分割方法。
[0010] 本发明所采用的技术方案是：一种融合颜色和深度信息的图像分割方法，其特征 在于，包括以下步骤：
[0011] 步骤1 :利用meanshift算法对输入彩色图像作分割，得到过分割区域集合G = 泣} i = ι ...，KN，其中，上标i代表区域序号，RN为区域总数目；
[0012] 步骤2 :计算G中各区域之间的相似度，包括颜色相似度S。和深度相似度Sd，以及 颜色相似度S。和深度相似度s d的融合；
[0013] 步骤3 :根据深度图像自动选取目标和背景种子区域；
[0014] 步骤4 :利用MSRM算法进行区域合并，得到最终的分割结果。
[0015] 作为优选，步骤2中所述的计算G中各区域之间的颜色相似度，其具体实现过程是 采用Bhattacharyya系数定义G中任意两个区域R和Q的颜色相似度S c :
[0016]
【权利要求】
1. 一种融合颜色和深度信息的图像分割方法，其特征在于，包括以下步骤： 步骤1 :利用meanshift算法对输入彩色图像作分割，得到过分割区域集合G=沁1 = ，其中，上标i代表区域序号，RN为区域总数目； 步骤2 :计算G中各区域之间的相似度，包括颜色相似度S。和深度相似度Sd，以及颜色 相似度S。和深度相似度Sd的融合； 步骤3 :根据深度图像自动选取目标和背景种子区域； 步骤4 :利用MSRM算法进行区域合并，得到最终的分割结果。
2. 根据权利要求1所述的融合颜色和深度信息的图像分割方法，其特征在于： 步骤2中所述的计算G中各区域之间的颜色相似度，其具体实现过程是采用 Bhattacharyya系数定义G中任意两个区域R和Q的颜色相似度Sc :
其中，Hist!^PHistQ分别为区域R和Q的归一化颜色直方图，上标u表示直方图的第 u个元素，U为直方图的总柄数。
3. 根据权利要求1所述的融合颜色和深度信息的图像分割方法，其特征在于： 步骤2中所述的计算G中各区域之间的深度相似度，其具体实现过程是将G中每个区 域的像素的深度值取算术平均作为该区域的深度值，构成区域深度集合D = = 上标i代表区域序号，定义G中任意两个区域R和Q的深度相似度Sd :
其中，max {D1} i = 1; ...，KN表示所有区域深度取最大值，min {D1} i = 1;...，KN为所有区域深度除 了 〇以外的最小值。
4. 根据权利要求3所述的融合颜色和深度信息的图像分割方法，其特征在于：所述的 将G中每个区域的像素的深度值取算术平均作为该区域的深度值，针对图像中部分像素的 深度由于遮挡等原因不能确定，而给出的深度图像中是以〇作为深度值进行填补的情况， 具体处理方法为：将过分割区域集合G映射到深度图像中，若过分割区域i中元素的深度值 全为0,表明该区域物体的深度信息不确定，那么只考虑该区域与相邻区域的颜色相似度； 若过分割区域i中有部分元素的深度值为0,那么计算该区域深度值Di时，只对区域i中深 度不为零的那些像素点取算术平均。
5. 根据权利要求1所述的融合颜色和深度信息的图像分割方法，其特征在于：步骤2 中所述的颜色相似度S。和深度相似度Sd的融合，S。和S d融合后总的相似度为： S = Sc+w · Sd 其中，S。和Sd融合的权值W采用非线性的Sigmod曲线来描述：
其中A确定了 Sigmod曲线的最大逼近值，B和C分别确定了 Sigmod曲线的位移和陡 峭程度。
6.根据权利要求1所述的融合颜色和深度信息的图像分割方法，其特征在于：步骤3 所述的根据深度图像自动选取目标和背景种子区域，其具体实现过程是首先利用K-means 算法对区域深度集合D中的元素进行聚类，类别个数取K = 2,自动聚成两大类，即目标和背 景，然后分别从这两大类中随机挑选若干区域作为目标和背景的种子区域。
【文档编号】G06T7/00GK104050682SQ201410324569
【公开日】2014年9月17日 申请日期:2014年7月9日 优先权日:2014年7月9日
【发明者】郑庆庆, 吴谨, 刘劲, 邓慧萍, 廖宇峰 申请人:武汉科技大学