专利名称：基于颜色分割的多目摄像立体匹配获取深度图像的方法
技术领域：
本发明涉及一种深度图像获取方法，特别是基于颜色分割的多目摄像立体匹配获
取深度图像的方法。
背景技术：
基于深度图像绘制(D印th Image Based Rendering, DIBR)技术是3DTV系统在解 码端的一项关键技术。DIBR技术通过给源图像中的可见象素引入深度信息利用彩色图像及 其对应的深度图像生成新视点图像。由于压縮传输多路视频所需要传输的数据量非常巨大 从而导致所要求的带宽会显著增加，尤其如果支持用户选择视点，则需要使用密集型摄像 机阵列采集，这样就使得多视点视频数据量急剧增加，严重妨碍了 3DTV的应用。因此"单视 点视频+深度"的表示方法被作为立体视频的替代方案，在解码端利用DIBR技术，实时生成 一个或者多个虚拟视点的3D场景，产生三维视觉效果并满足一定的视点选择的交互性；而 "多视点视频+深度"是目前MPEG/JVT拟采用的3D视频表示方法，可用较稀疏的摄像机阵 列拍摄3D场景并支持视点选择的交互性。以上利用单路或多路二维彩色视频加上其相对 应的深度信息的3D视频表示方式，能大幅减小3D视频数据量，从而节省传输带宽。然而， 用于基于深度图像绘制的深度图的获取是其中的关键技术，也是一个难点。
目前深度获取主要有以下两类方法，一类是利用特殊的硬件设备来主动获取场景 中每个点的深度信息。例如3DV系统公司开发的Zcam深度相机，它是一种带有测距功能的 摄像机，利用红外脉冲光源向场景发射信号，然后用红外传感器来检测场景中物体反射回 来的红外光，从而确定场景中物体的每一点到摄像机的距离。由于此类系统设备的价格非 常昂贵，不适合推广。另一类方法是基于传统的计算机立体视觉方法，利用在两个不同视点 获得的同一景物的两幅图像或多个视点图像进行立体匹配来恢复场景物体的深度信息。此 类方法一般包含两步(l)对图像进行立体匹配，得到对应点的视差图像；(2)根据对应点 的视差与深度的关系计算出深度，得到深度图像。 立体匹配算法主要可以分为基于区域的立体匹配算法和基于特征的立体匹配算 法这两大类。基于区域(窗口)的立体匹配算法，能够很容易地恢复出高纹理区域的视差， 但在低纹理区域会造成大量的误匹配，从而导致边界模糊，同时对遮挡的区域也很难进行 处理；基于特征的立体匹配方法提取的特征点对噪声不是太敏感，所以能得到比较精准的 匹配，但由于图像中的特征点很稀疏，此种方法只能获得一个稀疏的视差图。 一种基于分割 的立体匹配方法，由于它可以得到稠密的视差图，近来受到了很大程度的关注。这类方法假 设场景中物体结构由一组互不重叠的平面组成，每个平面对应着参考图像中的一个颜色分 割区域，且单一的颜色区域中视差变化是平滑的。
发明内容
本发明的目的是为了克服现有技术的不足，提供一种基于颜色分割的多目摄像立 体匹配获取深度图像的方法。该方法不仅能有效解决图像中周期性重复纹理特征、遮挡等带来的误匹配问题，还能提高匹配精度，从而得到一个准确且稠密的深度图像。
为达到上述目的，本发明的构思是 根据图像的颜色信息对输入参考图像进行颜色分割；然后利用参考图像与其余输 入图像进行局部窗口匹配得到多幅初始视差图，融合多幅初始视差图填充误匹配点的视差 信息；最后对得到的视差图进行优化处理后，根据视差与深度之间的关系，将视差图转换为 深度图。 根据上述构思，本发明的技术方案是 上述基于颜色分割的多目摄像立体匹配获取深度图像的方法，其步骤是 (1)、对所有输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成
对应点在不同视点图像上的颜色差异； (2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域； (3)、对多幅输入图像分别进行局部窗口匹配得到多幅视差图； (4)、应用双向匹配策略来消除在匹配过程中产生的误匹配点，提高视差精度； (5)、根据融合准则将多幅视差图融合成为一幅视差图，填充误匹配点的视差信
息； (6)、对视差图进行后处理优化，得到一个稠密视差图；
(7)、根据视差与深度之间的关系，将视差图转换为深度图。 本发明的基于颜色分割的多目摄像立体匹配获取深度图像的方法与已有技术相 比较，具有如下显而易见的实质性突出特点和显著优点该方法采用基于分割立体匹配算 法从多个视点图像中获取深度信息，合理地利用多个视点图像提供的图像信息，消除由图 像中周期性重复纹理特征、遮挡等带来的误匹配，提高了匹配精度，且能得到每个像素的视 差，最终能获得一个准确而稠密的深度图，从而满足基于图像绘制技术对深度图像质量的 要求，从而可以在基于深度图像绘制的深度获取方面得到应用。
图1是本发明的基于颜色分割的多目摄像立体匹配获取深度图像的方法的流程 框图； 图2是平行摄像机配置系统示意图； 图3是图1中对图像进行颜色规正的流程框图； 图4是目标图像Q、参考图像C。、目标图像Cr的不同视点图像间的遮挡关系示意 图； 图5是按照本发明所述方法得到的立体匹配结果图。
具体实施例方式
以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术 方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施 例。 本发明的实施例是以3幅输入图像为例，其3幅输入图像是由如图2所示的平行 摄像机配置系统拍摄得到，中间的视点C。所拍摄的图像为参考图像C。，其左右两个视点Q，&所拍摄的图像分别为两幅目标图像Q， Cr。
f表示这3个摄像机的焦距，深度值为Z的空
间场景点P在这三个图像平面上的投影点分别为(Xl， y) ， (xc， y)和(xr， y)。参见图l，本发明的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其步
骤是 (1)、对3幅输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成 对应点在不同视点图像上的颜色差异； (2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域； (3)、对3幅输入图像分别进行局部窗口匹配，得到2幅视差图；即参考图像分别与
左边目标图像匹配以及参考图像与右边目标图像匹配； (4)、采用双向匹配来消除在匹配过程中产生的误匹配点； (5)、根据融合准则将多幅视差图合成为一幅视差图，填充误匹配点的视差信息； (6)、对视差图进行优化处理，得到一个稠密视差图； (7)、根据视差与深度之间的关系，计算深度将视差图转换为深度图。 参见图3，上述步骤(1)所述的对输入图像进行图像规正，消除因图像噪声、光照
条件、遮挡等因素造成对应点在不同视点图像上的颜色差异，其具体步骤是 (1-1)、按照像素的亮度值，计算出每幅输入图像的累积直方图； (1-2)、以C。视点图像作为参考图像C。，将累积直方图按像素个数平均分成10段，
分别找出每一段的亮度上下边界值，由此确定参考图像c。与目标图像q或目标图像c;对
应段间的线性映射关系； (l-3)、对目标图像中的每一像素点，求其在累积直方图中的分段号，然后根据相 应的映射公式将其亮度值映射为另一个值，对像素进行规正。 上述步骤(2)所述的对参考图像进行颜色分割，提取参考图像中的颜色一致性区 域，其具体步骤如下 采用Mean Shift算法根据图像的颜色信息对参考图像C。进行颜色分割，利用概率 分布的梯度寻找分布峰值，将图像中每一个像素归类到相应的密度模式下，从而实现聚类， 使得得到的每一个分割区域内的像素具有相同的颜色值。 上述步骤(3)所述的对多幅输入图像分别进行局部窗口匹配，得到多幅视差图， 其具体步骤如下(3-i)、确定参考图像c。与目标图像Q、目标图像c;的位置关系； 当在一幅目标图像中找不到匹配点时，在另外一幅目标图像可以找到其相应的匹
配点。如图4所示，图中涂黑长条框表示两个场景物体，设定中间的视点C。所拍摄的图像
为参考图像C。，则取其左右两个视点Q，Cr所拍摄的图像分别为目标图像Q和目标图像Cr。
场景中PiP3线段区域在Q视点处被遮挡，当立体匹配求参考图像C。的视差时，该区域的像
素点在Q视点图像中找不到匹配点，但在&视点图像中能找到对应匹配点。 (3-2)、分别对参考图像C。与左边目标图像Q以及参考图像C。与右边目标图像&
进行局部窗口匹配； 以上述参考图像C。作为基准图像，基准图像中待匹配点为中心像素创建一个大 小为5*5窗口，在目标图像中搜索与待匹配点邻域同样大小为5*5的像素邻域，依次与待 匹配点的窗口进行比较，其中采用自适应的像素异性测量(self-ad即ting dissimilaritymeasure)作为相似度测量函数，如下式，其最大相似性对应的点就是最佳匹配点。
C (x， y， d) = (1- ") *CSAD (x， y， d) + " *CGM) (x， y， d) C，(x，y，")=S K(^)-^("A力I CG ^O,:v，fi0= Z Iv^(/j)—^/2(/ + 6/,/)| + ZIV/,(Z',力—7/20 + ",力| 其中，N(x， y)是以匹配点(x， y)为中心像素的5*5窗口 ， V,表示图像梯度的水平 分量，V,表示图像梯度的垂直分量，"表示权重。 通过对d视点图像与C。视点图像(参考图像)匹配，得到视差图Iu (x， y) 。 &视 点图像与C。视点图像(参考图像)匹配，得到视差图lM(x，y)。得到的两幅视差图中包含 很多误匹配点。 上述步骤(4)所述的采用双向匹配来消除在匹配过程中产生的误匹配点，它用在 参考图像与左边目标图像匹配以及参考图像与右边目标图像匹配这两个相同的匹配过程 中，其具体步骤如下 (4-l)、以左图像作为参考图像，右图像作为目标图像，从左到右进行局部窗口匹 配得到从左到右的视差图cU ; (4-2)、以右图像作为参考图像，左图像作为目标图像，从右到左进行局部窗口匹 配得到从右到左的视差图< ; (4-3)、根据下面公式找出在两幅视差图中视差不一致的对应点，确定为误匹配点。 fi^(X,力J见(XR,力:
2
0 e/se 其中A是误差阈值，左图上的像素(&， y)与右图上的像素(xK， y)是一对匹配 点，即xK = xL+dLK(xL， y)。 当两幅视差图中对应点的视差误差满足lc^(&， y)-c^(xK， y) |《A (A为允许 的视差误差阈值)时，则表明对应点视差匹配正确。当视差误差不满足lc^(&， y)-c^(XK， y)l《A时，表明该点为误匹配点，将该点赋值为O。 上述步骤(5)所述的将多幅视差图合成为一幅视差图，填充误匹配点的视差信 息，其具体步骤如下 (5-1)、根据相机的外参矩阵中的平移向量t计算比例系数a ; a = 其中，V tc、 tK分别为左边摄像机、中间摄像机、右边摄像机的外参矩阵中的平移向量。 (5-2)、根据以下的融合准则，将2幅视差图Iu(x，y)和IKI(x，y)合成为最终的视
差图I (x， y)，填充误匹配点的视差信息。融合方式用公式表示如下
8<formula>formula see original document page 9</formula>
^(x，力无匹配估计值 G(x，力无匹配估计值
<formula>formula see original document page 9</formula>
其中，I(x， y)是参考图像坐标最终合成的视差图。ILI(x， y)， IKI(x， y)分别表示 参考图像与其邻近的左右两幅图像匹配得到的视差图。S表示一个误差阈值。
上述步骤(6)所述的对视差图进行优化处理，得到一个稠密视差图，其具体步骤 如下 (6-1)、假设参考图像中的每个颜色分割区域内视差变化是平滑的；
(6-2)、取每个分割区域内的所有像素的中间视差值作为整个分割区域的视差，得 到每个像素的视差值，其数学表示形式如下面公式。最后得到了一个高质量稠密的视差图 I' (x，y)。 其中，ISEe(x， y)表示分割区域。 上述步骤(7)所述的根据视差与深度之间的关系，计算深度将视差图转换为深度 图，其具体是 平行摄像机配置系统中场景的深度值与其视差有如下关系
<formula>formula see original document page 9</formula> <formula>formula see original document page 9</formula> 其中，Z表示深度值，B表示基线距离(相机间距)，f为相机焦距，D为视差。
根据深度与视差的关系，在视差已知的情况下，计算出每个像素的深度值，从而将 视差图I' (x，y)转化为深度图。 图5中图(a) 、 (b)分别为按照本发明所述方法得到的匹配结果。其中图(a)是对 静态场景序列的匹配结果，图(b)是对动态场景序列的匹配结果。从图5中可以看出最后 的匹配结果能保持精确的视差图边界，特别一些缺少匹配的遮挡区域的视差也得到了很好 的恢复，场景物体的深度层次表现得非常明显。按照本发明所述方法，能得到理想的匹配效 果，由此也验证了本发明的有效性。
权利要求
一种基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，该方法根据图像的颜色信息对输入参考图像进行颜色分割；然后利用参考图像与其余输入图像进行局部窗口匹配得到多幅初始视差图，融合多幅初始视差图填充误匹配点的视差信息；最后对得到的视差图进行优化处理后，根据视差与深度之间的关系，将视差图转换为深度图，其具体步骤如下(1)、对所有输入图像进行图像规正，消除因图像噪声、光照条件、遮挡等因素造成对应点在不同视点图像上的颜色差异；(2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域；(3)、对多幅输入图像分别进行局部窗口匹配得到多幅视差图；(4)、应用双向匹配策略来消除在匹配过程中产生的误匹配点，提高视差精度；(5)、根据融合准则将多幅视差图合成为一幅视差图，填充误匹配点的视差信息；(6)、对视差图进行后处理优化，得到一个稠密视差图；(7)、根据视差与深度之间的关系，将视差图转换为深度图。
2. 根据权利要求1所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其 特征在于，上述步骤(1)所述的所有输入图像进行图像规正，其具体步骤是(l-l)、按照像素的亮度值，计算出每幅输入图像的累积直方图；(1-2)、以C。视点图像作为参考图像C。，将累积直方图按像素个数平均分成10段，分别找出每一段的亮度上下边界值，由此确定参考图像c。与目标图像Q、目标图像c;对应段间的线性映射关系；(l-3)、对目标图像中的每一像素点，求其在累积直方图中的分段号，然后根据相应的 映射公式将其亮度值映射为另一个值。
3. 根据权利要求2所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其 特征在于，上述步骤(2)所述的对参考图像进行颜色分割，提取参考图像中的颜色一致性 区域，其具体步骤如下采用Mean Shift算法根据图像的颜色信息对参考图像C。进行颜色 分割，利用概率分布的梯度寻找分布峰值，将图像中每一个像素归类到相应的密度模式下， 从而实现聚类，使得得到的每一个分割区域内的像素具有相同的颜色值。
4. 根据权利要求3所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其 特征在于，上述步骤(3)所述的对多幅输入图像分别进行局部窗口匹配，得到多幅视差图， 其具体步骤如下(3-i)、确定参考图像c。与目标图像q、目标图像c;的位置关系；当在一幅目标图像中找不到匹配点时，在另外一幅目标图像可以找到其相应的匹配点，设定中间的视点c。所拍摄的图像为参考图像c。，则取其左右两个视点q， c;所拍摄的图 像分别为目标图像q和目标图像c;，场景中线段区域在q视点处被遮挡，当立体匹配 求参考图像c。的视差时，该区域的像素点在Q视点图像中找不到匹配点，但在c;视点图像中能找到对应匹配点；(3-2)、分别对参考图像C。与左边目标图像Q以及参考图像C。与右边目标图像&进行 局部窗口匹配；以上述参考图像C。作为基准图像，基准图像待匹配点为中心像素创建一个大小为 5*5窗口，在目标图像中搜索与待匹配点邻域同样大小为5*5的像素邻域，依次与待匹配点的窗口进行比较，其中采用自适应的像素异性测量(self-adapting dissimilarity measure)作为相似度测量函数，如下式，其最大相似性对应的点就是最佳匹配点， <formula>formula see original document page 3</formula>其中，N(x，y)是以匹配点(x，y)为中心像素的5*5窗口 ， V^表示图像梯度的水平分量， V^表示图像梯度的垂直分量，"表示权重，通过对Q视点图像与c。视点图像(参考图像)匹配，得到视差图iu(x， y) ， c;视点图像与C。视点图像(参考图像)匹配，得到视差图I^(x，y)，得到的两幅视差图中包含很多误 匹配点。
5.根据权利要求4所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其特征在于，上述步骤(4)所述的采用双向匹配来消除在匹配过程中产生的误匹配点，它用在参考图像与左边目标图像匹配以及参考图像与右边目标图像匹配这两个相同的匹配过 程中，其具体步骤如下(4-l)、以左图像作为参考图像，右图像作为目标图像，从左到右进行局部窗口匹配得 到从左到右的视差图d^;(4-2)、以右图像作为参考图像，左图像作为目标图像，从右到左进行局部窗口匹配得 到从右到左的视差图c^;(4-3)、根据下面公式找出在两幅视差图中视差不一致的对应点，确定为误匹配点，<formula>formula see original document page 3</formula>其中A是误差阈值，左图上的像素(&，y)与右图上的像素(xK，y)是一对匹配点，即 xR = xL+dLK(xL， y)，当两幅视差图中对应点的视差误差满足lc^(&，y)-c^0^，y) I《A (A为允许的视差 误差阈值)时，则表明对应点视差匹配正确，当视差误差不满足lc^(^，y)-d虹(XK，y) I《入 时，表明该点为误匹配点，将该点赋值为0。
6.根据权利要求5所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其 特征在于，上述步骤(5)所述的将多幅视差图合成为一幅视差图，填充误匹配点的视差信 息，其具体步骤如下(5-l)、根据相机的外参矩阵中的平移向量t计算比例系数a ; 其中，t。 tc、 ^分别为左边摄像机、中间摄像机、右边摄像机的外参矩阵中的平移向(5-2)、根据以下的融合准则，将2幅视差图Iu(x，y)和IKI(x，y)合成为最终的视差图I (x， y)，填充误匹配点的视差信息，融合方式用公式表示如下<formula>formula see original document page 4</formula>/w(x,力无匹配估计值 /i,"力无匹配估计值 其中，I(x，y)是参考图像坐标最终合成的视差图，Iu(x，y)， IKI(x，y)分别表示参考图 像与其邻近的左右两幅图像匹配得到的视差图，S表示一个误差阈值。
7.根据权利要求6所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其 特征在于，上述步骤(6)所述的对视差图进行优化处理，得到一个稠密视差图，其具体步骤 如下(6-1)、假设参考图像中的每个颜色分割区域内视差变化是平滑的； (6-2)、取每个分割区域内的所有像素的中间视差值作为整个分割区域的视差，得到 每个像素的视差值，其数学表示形式如下面公式，最后得到了一个高质量稠密的视差图 (x， y)，<formula>formula see original document page 4</formula>其中，i^(x，y)表示分割区域。
8.根据权利要求7所述的基于颜色分割的多目摄像立体匹配获取深度图像的方法，其 特征在于，上述步骤(7)所述的根据视差与深度之间的关系，计算深度将视差图转换为深 度图，其具体是平行摄像机配置系统中场景的深度值与其视差有如下关系<formula>formula see original document page 4</formula>其中，Z表示深度值，B表示基线距离(相机间距)，f为相机焦距，D为视差，根据深度 与视差的关系，在视差已知的情况下，计算出每个像素的深度值，从而将视差图I' (x， y) 转化为深度图。
全文摘要
本发明公开了一种基于颜色分割的多目摄像立体匹配获取深度图像的方法，它包括步骤(1)、对所有输入图像进行图像规正；(2)、对参考图像进行颜色分割，提取图像中的颜色一致性区域；(3)、对多幅输入图像分别进行局部窗口匹配得到多幅视差图；(4)、应用双向匹配策略来消除在匹配过程中产生的误匹配点；(5)、将多幅视差图合成为一幅视差图，填充误匹配点的视差信息；(6)、对视差图进行后处理优化，得到一个稠密视差图；(7)、根据视差与深度之间的关系，将视差图转换为深度图。该方法从多个视点图像中获取深度信息，利用多个视点图像提供的图像信息，不仅能解决图像中周期性重复纹理特征、遮挡等带来的误匹配，还能提高匹配精度，得到一个准确的深度图像。
文档编号H04N13/00GK101720047SQ20091019823
公开日2010年6月2日 申请日期2009年11月3日 优先权日2009年11月3日
发明者吴妍菲, 安平, 张倩, 张兆杨, 鞠芹 申请人:上海大学