专利名称：利用基于区域的局部立体匹配获取视差的方法
技术领域：
本发明涉及视觉处理领域，具体涉及利用基于区域的局部立体匹配获取视差的方法。背景技木
在信息化数字化的时代，随着社会的发展，普通2D视频已经在某些方面不能满足人类生活和工作的需要，3D视频相关技术成为目前科技发展的重要领域。立体视频的制作具有广泛的前景和商业价值，目前获取立体视频通常有三种方式，I)采用立体摄像机进行拍摄。该方式需要采用专业的立体视频拍摄设备及完整的后期处理流水线，成本过高。同时，立体摄像机拍摄时需要在不同视角间进行匹配校准，对拍摄环境及摄像机运动都有着一定的限制。2)三维建模软件制作立体视频，这种方法需要专业人员花费大量精力对场景、对象进行建摸。3) 2D转3D，直接将常见的平面视频转换为立体视频。这种方法的成本较低，而且可以将任何一组现有的平面视频转换为立体视频。但由于视频本身深度信息的有限，得出的立体视频效果并不能完全满足实际应用的需要。普通的立体视频通常只有两个视点，需要佩戴相关的设备例如立体眼镜才能观看，极为不便，且与真实场景的3D感受相距甚远。裸眼显示设备不仅可以讲人们从立体眼镜中解放出来，同时采用播放多视点视频的方式可以提高观影者的自由度，在不同视角间切换可以看到不同的效果，更接近真实世界中的立体感受。但是要得到多视点视频序列以供裸眼显示设备播放，就必须得到精确地深度信息，配合虚拟视点合成技术才能实现。目前获取深度图的方法很多，就针对处理对象不同来分类的或主要分为三类，单视点，双目视频和多视点视频，单视点由于信息量较少难以得到令人满意的深度信息，而多视点视频的获取又过于复杂，所以如何利用双目视频获取深度信息就成为目前最具发展潜カ的研究课题，通常的方法是立体匹配。自20世纪80年代，美国麻省理工学院的Marr提出了一种视觉计算理论并应用在双目匹配上，使两张有视差的平面图产生具有深度的立体图形，那时便奠定了双目立体视觉发展的理论基础。知道现在，立体匹配依然是计算机视觉的研究热点之一，其基本原理是从两个视点观察同一景物以获取立体像对，匹配出相应像素点，从而计算出视差并获得深度信息。立体匹配算法根据所选的特征及特征相似性量度，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映射点对应起来。立体匹配算法实质上是在匹配机缘相似性准则下的最佳搜索问题。根据匹配机缘的不同，目前的立体匹配算法就可以分为三类基于区域的立体匹配算法，基于特征的立体匹配算法，基于相位的立体匹配算法。其中最常用的是基于区域的立体匹配算法，以待匹配点为中心创建ー个窗ロ，用领域像素的弧度制分布来表征像素，当捜索区域中某像素点与待匹配点的相似性測度最佳是，则认为这两点匹配。该方法实现简单，在视差连续且纹理丰富的地方可以达到比较高的精度，但是对噪声比较敏感。基于区域的立体匹配算法，根据能量函数选择 及优化策略的不同又可以分为局部算法和全局算法。
发明内容
为了克服现有技术的不足，本发明提供了利用基于区域的局部立体匹配获取视差的方法，包括以下步骤
A.对第一路视点图像的当前像素点，在作为參考的第二路视点图像中选取若干个搜索像素点；
B.采用SAD算法得到当前像素点与某个搜索像素点之间的第一匹配代价值，采用Rank转换算法得到当前像素点与该搜索像素点之间的第二匹配代价值；
C.对第一路视点图像进行边缘检测得到对应的ニ 值化边缘图像，在ニ值化边缘图像中与当前像素点对应的像素点的周围设定区域内，计算边缘像素点的个数，根据边缘像素点的个数确定第一匹配权值和第二匹配权值，其中，所述边缘像素点的个数越多第一匹配权值越小且第二匹配权值越大；
D.第一匹配代价值与第一匹配权值之积加上第二匹配代价值与第二匹配权值之积的和作为当前像素点与所述搜索像素点之间的最終匹配代价值；
E.重复步骤B至D，直至得到当前像素点分别与其余捜索像素点之间的最終匹配代价值，在所有最終匹配代价值中的最小值对应的捜索像素点与当前像素点之间的向量差，即是当前像素点对于第二路视点图像的第一视差。优选地，还包括如下步骤
若当前像素点周围预定区域内的某一个像素点的最小最終匹配代价值与当前像素点的最小最終匹配代价值之差在设定阈值之内，则将其作为校正当前像素点的视差的基准。优选地，所述步骤B中第一匹配代价值通过如下步骤确定
BI.确定在以当前像素点为中心的目标窗口内的各个像素点相对于当前像素点的支持权值；
B2.确定在以某个捜索像素点为中心的參考窗口内的各个像素点相对于该捜索像素点的支持权值；
B3.计算目标窗ロ的像素点的支持权值与參考窗ロ对应像素点的支持权值之积作为综合权值，将所有得到的综合权值进行相加得到综合权值和；
B4.计算目标窗ロ的像素点与參考窗ロ对应的像素点之间的色彩绝对误差，对每个色彩绝对误差与步骤B3中对应的综合权值进行相乘得到综合色彩绝对误差；
B5.将所有得到的综合色彩绝对误差相加得到的和除以综合权值和即得到所述第一匹配代价值；
其中，目标窗ロ与參考窗ロ大小相等，像素点之间的色彩相似度越大，支持权值越大，像素点之间距离越近，支持权值越大。优选地，若某个综合权值小于综合权值阈值，则将该综合权值置为零。优选地，若以当前像素点为中心的目标窗口内的某一个像素点的最小最終匹配代价值与当前像素点的最小最終匹配代价值之差的绝对值在设定阈值之内，则将该像素点的视差权值设置为较大视差权值，若差在设定阈值之外，则将该像素点的视差权值设置为较小视差权值，并保存在与目标窗ロ大小相等的视差权值矩阵的对应位置中；
将目标窗口内的各个像素点的综合权值分别与对应位置的视差权值矩阵的视差权值相乘之积，得到校正权值矩阵的对应位置的校正权值；
计算目标窗口内的像素点的视差与校正权值矩阵中对应位置的校正权值之积作为加权视差，将所有得到的加权视差进行相加得到加权视差和；
计算校正权值矩阵内所有校正权值之和作为校正权值和；
将加权视差和除以校正权值和的商作为校正视差。优选地，所述步骤B中第二匹配代价值通过如下步骤确定，包括
按照两个像素点之间的亮度差的大小分作若干个亮度差等级，每个亮度差等级对应一个转换权值；
以当前像素点为中心的转换目标窗口中的像素点的亮度值减去当前像素点的亮度值得到目标亮度差，根据目标亮度差的大小确定对应的转换权值，依次将转换目标窗口内所有像素点对应的转换权值保存在相应大小的转换目标权值矩阵中；
以当前像素点的某个搜索像素点为中心的转换參考窗口中的像素点的亮度值减去该搜索像素点的亮度值得到參考亮度差，根据參考亮度差的大小确定对应的转换权值，依次将转换參考窗口内所有像素点对应的转换权值保存在相应大小的转换參考权值矩阵中；建立大小与转换目标权值矩阵和转换參考权值矩阵相等的第二匹配权值矩阵，若转换目标权值矩阵中某个元素与转换參考权值矩阵中对应元素的权值不相等，则在第二匹配 权值矩阵的对应元素赋予较小转换权值，若相等，则在第二匹配权值矩阵的对应元素赋予较大转换权值；
对第二匹配权值矩阵中的所有元素进行累加得到第二匹配代价值。优选地，还包括如下步骤
利用当前像素点的视差找到第二路视点图像中的对应像素点，以对应像素点为当前像素点，相应地将第二路视点图像代替第一路视点图像，重复步骤A至E，得到对应像素点相对于第一路视点图像的第二视差；
若当前像素点的第一视差与对应的第二视差之差的绝对值大于视差阈值，则将最近的第一视差最小的、且第一视差与对应的第二视差之差的绝对值小于视差阈值的像素点的第ー视差，作为当前像素点的第一视差。优选地，还包括如下步骤对第一路视点图像和第二路视点图像分别作一次投影变换，使得两者对应的极线在同一扫描线上。9、如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是在步骤BI和B2中确定当前像素点的目标窗ロ的支持权值和參考窗ロ的支持权值时使用的像素色彩和位置信息，从经过中值滤波后的第一路视点图像和第二路视点图像中获取。本发明的有益效果是1)本发明在立体匹配的代价积累过程中采取SAD (绝对误差和)和Rank Transform相结合的方法，SAD侧重考虑像素本身的亮度和彩色信息，RankTransform侧重于表征以当前像素为中心的窗ロ的结构信息。2)本发明在综合考虑SAD和Rank Transform时，采用自适应权值的方式，对于图像的不同区域自适应调整两种方法计算的匹配代价在确定最佳匹配过程中所占的比重，从而得到更精确的結果。3)本发明在获取基于SAD计算窗ロ的匹配代价时，对窗ロ内每个像素，计算该像素与窗口中心像素的顔色和距离的相似程度，进而得到该像素与中心像素的相关程度，自适应调整每个像素的支持权重。对于其中相似程度很小的像素，采用阈值截断的方式，直接将其权值设置为零，通过这种方式可以使得窗ロ的形状自适应变化，可以得到当前待匹配像素的最佳窗ロ形状。4)本发明在获取视差的同时保存了最小匹配代价对应的第一匹配代价值，根据第一匹配代价信息得到校正窗ロ，采用自适应窗ロ及支持权值的方式校正当前第一视差。附图
说 明
图I是本发明ー种具体实施例的流程 图2是本发明ー种具体实施方式
的流程 图3是图2中预处理步骤的ー种具体实施方式
的流程 图4是图2中视差获取步骤的ー种具体实施方式
的流程 图5是图2中视差校正步骤的ー种具体实施方式
的流程 图6是图2中后处理步骤的ー种具体实施方式
的流程 图7是本发明的ー种具体实施方式
的流程图。
具体实施方式
以下将结合附图，对本发明的具体实施例作进ー步详细说明。如图I所示，利用基于区域的局部立体匹配获取视差的方法的ー种具体实施例，包括以下步骤
A.对第一路视点图像的当前像素点，在作为參考的第二路视点图像中选取若干个搜索像素点；
B.采用SAD算法得到当前像素点与某个搜索像素点之间的第一匹配代价值，采用Rank转换算法得到当前像素点与该搜索像素点之间的第二匹配代价值；
C.对第一路视点图像进行边缘检测得到对应的ニ值化边缘图像，在ニ值化边缘图像中与当前像素点对应的像素点的周围设定区域内，计算边缘像素点的个数，根据边缘像素点的个数确定第一匹配权值和第二匹配权值，其中，所述边缘像素点的个数越多第一匹配权值越小且第二匹配权值越大；
D.第一匹配代价值与第一匹配值之积加第一匹配代价值与第二匹配值之积的和作为当前像素点与所述搜索像素点之间的最終匹配代价值；
E.重复步骤B至D，直至得到当前像素点分别与其余捜索像素点之间的最終匹配代价值，在所有最終匹配代价值中的最小值对应的捜索像素点与当前像素点之间的向量差，即是当前像素点对于第二路视点图像的第一视差。如图2-7所示，利用基于区域的局部立体匹配获取视差的方法的更为具体的实施例中，可以分为四个处理步骤，如图3所示，包括
100:预处理步骤
200:视差获取步骤 300 :视差校正步骤
400:后处理步骤
为了叙述方便，这里用ヂ￡表示第一路视点图像，在双目系统中为输入的左图，」Pjf表示第二路视点图像，在双目系统中为输入的右图，pL(fJ)表示左图第i行第j列的像素，
^(し )表示左图第i行第j列的像素。
100预处理步骤
101:读入待处理的左右路图片，作为立体匹配方法的输入。102:极线校正，对左右两幅图像各进行一次投影变换，使得两幅图像对应的极线在同一扫描线上。
200视差获取步骤
对于左图的当前像素点砂為,设定视差捜索范围为USS = 20 ,则搜索区域为右图同一水平线的像素点(称之为搜索像素点)集-め，其111 d^O’DSR]。计算Pz(U)和」__·め之间的匹配代价值先通过SAD(绝对误差和)算法得
到第一匹配代价值cbsiSIiJ (优选地，采用SAD和自适应窗ロ计算得到匹配代价偏通
),再由Rank Transform (Rank转换)算法计算第二匹配代价Jh2nsJbnB,确定
第一匹配代价值Cbsi—的第一匹配权值和第二匹配代的第二匹配代价权值，加权二者得到当前像素点与右图搜索像素点(參考点)之间的最終匹配代价值^rf。依次对视差捜索范围中的d<E
范围内的每个搜索像素点(參考点)Jjf(i,J-d),计算其与的最终匹配代价值,根据WTA原则(Winner-Take-All
原则)，在所有最总匹配代价值cifwrQ中选择最小值对应的搜索点(參考点)作为最佳匹配点，该最佳匹配点与当前像素点之间的向量差即为当前像素点巧:仏力的对应于右图的视
差值(第一视差)，即为d (由于 し·/)处于同一扫描线上)。具体步骤如下
201:对左图做边缘检测，采用一般方法即可，例如cany算法。得到一幅ニ值化的ニ值化边缘图像，边缘上的点亮度值为255，其他像素点的亮度值为O。为叙述方便，记左图的边缘图像为, PEdgBl(Kj)表示左图中第i行第j列像素的亮度值。202 203 :基于SAD和自适应窗ロ计算第一匹配代价值(め
I)像素点P和像素点q之间的绝对误差(AD)计算公式
H Ep —-GJyI+JBp - 丨，其中 RGB 代表像素的彩色分
量，⑶^ひぷ)表示像素点P和像素点q之间的色彩绝对误差。
2)自适应窗ロ的选择以当前像素点
权利要求
1.利用基于区域的局部立体匹配获取视差的方法，其特征是，包括以下步骤 A.对第一路视点图像的当前像素点，在作为参考的第二路视点图像中选取若干个搜索像素点； B.采用SAD算法得到当前像素点与某个搜索像素点之间的第一匹配代价值，采用Rank转换算法得到当前像素点与该搜索像素点之间的第二匹配代价值； C.对第一路视点图像进行边缘检测得到对应的二值化边缘图像，在二值化边缘图像中与当前像素点对应的像素点的周围设定区域内，计算边缘像素点的个数，根据边缘像素点的个数确定第一匹配权值和第二匹配权值，其中，所述边缘像素点的个数越多第一匹配权值越小且第二匹配权值越大； D.第一匹配代价值与第一匹配权值之积加上第二匹配代价值与第二匹配权值之积的和作为当前像素点与所述搜索像素点之间的最终匹配代价值； E.重复步骤B至D，直至得到当前像素点分别与其余搜索像素点之间的最终匹配代价值，在所有最终匹配代价值中的最小值对应的搜索像素点与当前像素点之间的向量差，即是当前像素点对于第二路视点图像的第一视差。
2.如权利要求I所述的利用基于区域的局部立体匹配获取视差的方法，其特征是，还包括如下步骤 若当前像素点周围预定区域内的某一个像素点的最小最终匹配代价值与当前像素点的最小最终匹配代价值之差在设定阈值之内，则将其作为校正当前像素点的视差的基准。
3.如权利要求I所述的利用基于区域的局部立体匹配获取视差的方法，其特征是所述步骤B中第一匹配代价值通过如下步骤确定 BI.确定在以当前像素点为中心的目标窗口内的各个像素点相对于当前像素点的支持权值； B2.确定在以某个搜索像素点为中心的参考窗口内的各个像素点相对于该搜索像素点的支持权值； B3.计算目标窗口的像素点的支持权值与参考窗口对应像素点的支持权值之积作为综合权值，将所有得到的综合权值进行相加得到综合权值和； B4.计算目标窗口的像素点与参考窗口对应的像素点之间的色彩绝对误差，对每个色彩绝对误差与步骤B3中对应的综合权值进行相乘得到综合色彩绝对误差； B5.将所有得到的综合色彩绝对误差相加得到的和除以综合权值和即得到所述第一匹配代价值； 其中，目标窗口与参考窗口大小相等，像素点之间的色彩相似度越大，支持权值越大，像素点之间距离越近，支持权值越大。
4.如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是若某个综合权值小于综合权值阈值，则将该综合权值置为零。
5.如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是 若以当前像素点为中心的目标窗口内的某一个像素点的最小最终匹配代价值与当前像素点的最小最终匹配代价值之差的绝对值在设定阈值之内，则将该像素点的视差权值设置为较大视差权值，若差在设定阈值之外，则将该像素点的视差权值设置为较小视差权值，并保存在与目标窗口大小相等的视差权值矩阵的对应位置中；将目标窗口内的各个像素点的综合权值分别与对应位置的视差权值矩阵的视差权值相乘之积，得到校正权值矩阵的对应位置的校正权值； 计算目标窗口内的像素点的视差与校正权值矩阵中对应位置的校正权值之积作为加权视差，将所有得到的加权视差进行相加得到加权视差和； 计算校正权值矩阵内所有校正权值之和作为校正权值和； 将加权视差和除以校正权值和的商作为校正视差。
6.如权利要求I所述的利用基于区域的局部立体匹配获取视差的方法，其特征是所述步骤B中第二匹配代价值通过如下步骤确定，包括 按照两个像素点之间的亮度差的大小分作若干个亮度差等级，每个亮度差等级对应一个转换权值； 以当前像素点为中心的转换目标窗口中的像素点的亮度值减去当前像素点的亮度值得到目标亮度差，根据目标亮度差的大小确定对应的转换权值，依次将转换目标窗口内所有像素点对应的转换权值保存在相应大小的转换目标权值矩阵中； 以当前像素点的某个搜索像素点为中心的转换参考窗口中的像素点的亮度值减去该搜索像素点的亮度值得到参考亮度差，根据参考亮度差的大小确定对应的转换权值，依次将转换参考窗口内所有像素点对应的转换权值保存在相应大小的转换参考权值矩阵中； 建立大小与转换目标权值矩阵和转换参考权值矩阵相等的第二匹配权值矩阵，若转换目标权值矩阵中某个元素与转换参考权值矩阵中对应元素的权值不相等，则在第二匹配权值矩阵的对应元素赋予较小转换权值，若相等，则在第二匹配权值矩阵的对应元素赋予较大转换权值； 对第二匹配权值矩阵中的所有元素进行累加得到第二匹配代价值。
7.如权利要求I所述的利用基于区域的局部立体匹配获取视差的方法，其特征是还包括如下步骤 利用当前像素点的视差找到第二路视点图像中的对应像素点，以对应像素点为当前像素点，相应地将第二路视点图像代替第一路视点图像，重复步骤A至E，得到对应像素点相对于第一路视点图像的第二视差； 若当前像素点的第一视差与对应的第二视差之差的绝对值大于视差阈值，则将最近的第一视差最小的、且第一视差与对应的第二视差之差的绝对值小于视差阈值的像素点的第一视差，作为当前像素点的第一视差。
8.如权利要求I所述的利用基于区域的局部立体匹配获取视差的方法，其特征是还包括如下步骤对第一路视点图像和第二路视点图像分别作一次投影变换，使得两者对应的极线在同一扫描线上。
9.如权利要求3所述的利用基于区域的局部立体匹配获取视差的方法，其特征是在步骤BI和B2中确定当前像素点的目标窗口的支持权值和参考窗口的支持权值时使用的像素色彩和位置信息，从经过中值滤波后的第一路视点图像和第二路视点图像中获取。
全文摘要
本发明公开了利用基于区域的局部立体匹配获取视差的方法，包括对第一路视点图像的当前像素点，在第二路视点图像中选取若干个搜索像素点；分别采用SAD算法和Rank变换算法得到当前像素点与某个搜索像素点之间的第一和第二匹配代价值；在第一路视点图像的二值化边缘图像中与当前像素点对应的像素点的周围设定区域内，根据边缘像素点的个数确定第一和第二匹配权值；第一匹配代价值与第一匹配权值之积加上第二匹配代价值与第二匹配权值之积的和作为当前像素点与搜索像素点之间的最终匹配代价值；得到其余的最终匹配代价值，在所有最终匹配代价值中，选择最小匹配代价值对应的搜索像素点与当前像素点之间的向量差即是当前像素点的第一视差。
文档编号H04N13/00GK102665086SQ201210125938
公开日2012年9月12日 申请日期2012年4月26日 优先权日2012年4月26日
发明者张永兵, 戴琼海, 杜成立, 王好谦 申请人:清华大学深圳研究生院