一种全局视差估计方法和系统的制作方法
【专利摘要】一种全局视差估计方法和系统，在进行图像分块时，将原始图像划分为若干个图像块后，先根据颜色对图像块进行合并，再根据视差对图像块进行合并，不仅利用了颜色信息进行分块，还引入了视差信息，因此，能够更好地保证最终视差计算的准确度。
【专利说明】一种全局视差估计方法和系统
【技术领域】
[0001] 本申请涉及立体匹配图像处理领域，具体涉及一种全局视差估计方法和系统。
【背景技术】
[0002] 在传统视频系统中，用户只能被动的观看由摄像机拍摄到的画面，无法从其他视 角观看不同视点的画面，而多视角视频（Multi-View Video)则允许用户从多个视点进行观 看，增强了交互性及3D感官效果，在立体电视、视频会议、自动导航、虚拟现实等领域有广 泛的应用前景。然而，更强的交互性及感官效果也同时增加了视频的数据量，对视频的存储 及传输等增加了负担，如何解决此类问题已成为目前的研究热点。
[0003] 立体匹配，也称视差估计，是根据前端摄像机获取的多目图像数据（一般为双 目），估计出对应图像中的像素点间的几何关系。利用视差估计，可以由一个视点的信息及 其深度（视差）信息得到对应视点的信息，从而减少了原始数据量，为多目视频的传输及存 储提供了便利。
[0004] 根据具体实现细节的不同，立体匹配方法可以大致分为局部立体匹配算法和全 局立体匹配算法（可参见 Scharstein D，Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International journal of computer vision, 2002, 47 (1-3): 7-42.)。局部立体匹配算法准确性不高，但速度较 快，不利于实际应用；全局立体匹配算法是基于对全局的能量函数最优化得到视差结果， 其准确性较高，但速度较慢，不过，已有一些改进的全局立体匹配算法产生了与局部立 体匹配算法相当的速度，如快速置信传播算法（可参见Pedro F. Felzenszwalb，Daniel P. Huttenlocher. Efficient Belief Propagation for Early Vision. International Journal of Computer Vision October 2006, Volume 70,Issue 1, pp 41-54)。
[0005] 综合上述叙述可知，立体匹配作为多视角视频中的重要环节，已受到广泛关注，并 有大量的立体匹配算法涌现。然而，立体匹配尚存在很多问题，特别是正确性和稳定性，需 要进一步提1?。
【发明内容】
[0006] 根据本申请的第一方面，本申请提供了一种全局视差估计方法，包括：
[0007] 读入原始图像，所述原始图像包括第一视点图像和第二视点图像，第一视点图像 为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像；
[0008] 计算第一视点图像中像素点的第一匹配空间和第二匹配空间；
[0009] 计算第一匹配空间内所有点的匹配代价之和，计算第二匹配空间内所有点的匹配 代价之和；
[0010] 根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代 价之和计算初始视差，并筛选得到可靠点；
[0011] 将原始图像划分为若干个图像块；
[0012] 根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块 中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素 点数量之和小于预设值时，将两个图像块合并；
[0013] 根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块 中颜色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到 的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并；
[0014] 基于所述图像分块，并根据所述可靠点的初始视差计算第一视点图像和第二视点 图像内每个像素点的最终视差。
[0015] 根据本申请的第二方面，本申请提供了一种全局视差估计系统，包括：
[0016] 图像读入模块，用于读入原始图像，所述原始图像包括第一视点图像和第二视点 图像，第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的 目标的图像；
[0017] 匹配空间计算模块，用于计算得到像素点的第一匹配空间和第二匹配空间；
[0018] 匹配代价计算模块，用于计算第一匹配空间内所有点的匹配代价之和，和计算第 二匹配空间内所有点的匹配代价之和；
[0019] 初始视差计算模块，用于根据第一匹配空间内所有点的匹配代价之和和第二匹配 空间内所有点的匹配代价之和计算初始视差，并筛选得到可靠点；
[0020] 图像分块模块，用于将原始图像划分为若干个图像块；
[0021] 根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块 中颜色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素 点数量之和小于预设值时，将两个图像块合并；
[0022] 根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块 中颜色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到 的；和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并；
[0023] 最终视差计算模块，用于基于所述图像分块，计算第一视点图像和第二视点图像 内每个像素点的最终视差。
[0024] 本申请提供的全局视差估计方法、系统及其图像分块方法中，在进行图像分块时， 将原始图像划分为若干个图像块后，先根据颜色对图像块进行合并，再根据视差对图像块 进行合并，不仅利用了颜色信息进行分块，还引入了视差信息，因此，能够更好地保证最终 视差计算的准确度。
【专利附图】
【附图说明】
[0025] 图1为本申请一种实施例中全局视差估计方法的流程示意图；
[0026] 图2为本申请一种实施例匹配空间计算方法中选取采样点的示意图；
[0027] 图3为本申请一种实施例匹配空间计算方法中第一匹配空间的计算示意图；
[0028] 图4为本申请一种实施例中全局视差估计系统的模块示意图；
[0029] 图5为采用本申请实施例提供的全局视差估计方法在Middlebury测试平台上的 测试结果。
【具体实施方式】
[0030] 下面通过【具体实施方式】结合附图对本申请作进一步详细说明。
[0031] 请参考图1，本实施列提供了一种全局视差估计方法，包括下面步骤：
[0032] S00 :读入第一视点图像和第二视点图像，第一视点图像为从第一视点获取的目标 的图像，第二视点图像为从第二视点获取的目标的图像。为了便于对本申请进行说明，以第 一视点图像为左视点图像（下面简称左图），第二视点图像为右视点图像（下面简称右图） 为例进行说明。左图和右图可以是通过双目摄像机拍摄得到的双目序列中的图像，或者是 单目摄像机在一定水平位移下拍摄得到的两幅图像。通常，左图和右图均为彩色图像，在某 些实施例中，也可以是非彩色图像。
[0033] 在某些实施例中，读入的左图和右图为已经过极线校正的图像，即两幅图像的极 线是水平平行的，以便于后续进行匹配代价计算，若输入的两幅图像未经过极线校正，则还 需要先对左图和右图进行极线校正。
[0034] S10 :计算初始视差，并筛选得到可靠点。
[0035] 在计算初始视差时，首先需要计算图像中像素点的匹配空间，本实施例中，匹配空 间包括第一匹配空间和第二匹配空间，其计算方法如下：
[0036] 根据预设规则选取采样点。首先在左图空间内选取采样点e，具体的，每个采样点 离其上、下、左、右四个相邻采样点的距离为一预设距离d，所有采样点形成网格状，如图2 所示。在其他实施例中，采样点的选取也可以采用其他约定方式，即用于选择采样点的预设 规则可以根据实际需求制定。
[0037] 根据约束条件计算第一匹配空间和第二匹配空间，其中，约束条件包括线性约束 条件和基于采样点的空间约束条件，线性约束条件为当前像素点与搜索点之间在颜色上的 欧氏距离的约束，空间约束条件为搜索点与采样点之间在颜色上的欧氏距离的约束。
[0038] 对于左图中的某一点p，从其分别向X轴（第一轴线）两个方向和Y轴（第二轴 线）两个方向根据颜色差延生出一段距离，用于匹配空间的计算。
[0039] 在左图上依次选取像素点作为当前像素点p,以点p为原点，沿X轴正方向和负方 向，以逐个像素点作为搜索点进行搜索，直到搜索到不满足预设的约束条件的点时停止，并 将搜索到的满足约束条件的所有点作为第一匹配点；分别以各个第一匹配点为原点，沿Y 轴正方向和负方向，以逐个像素点作为搜索点进行探索，直到搜索到不满足预设的约束条 件的点时停止，并将搜索到的满足约束条件的所有点作为第二匹配点；将第一匹配点和第 二匹配点作为点P的第一匹配空间&。如图3所示，为第一匹配空间Si的计算过程示意图。
[0040] 之后，再以点p为原点，沿Y轴正方向和负方向，以逐个像素点作为搜索点进行搜 索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约束条件的所有点 作为第三匹配点；分别以各个第三匹配点为原点，沿X轴正方向和负方向，以逐个像素点作 为搜索点进行探索，直到搜索到不满足预设的约束条件的点时停止，并将搜索到的满足约 束条件的所有点作为第四匹配点；将第三匹配点和第四匹配点作为点P的第二匹配空间 S 2。
[0041] 以点p为原点，分别沿X轴正方向、X轴负方向、Y轴正方向、Y轴负方向搜索到符 合约束条件的点，即图2所示的右臂、左臂、上臂、下臂。
[0042] 在具体实施例中，约束条件为：
[0043] 0lab(p,q)<k1 (l^Wj) ① 〇iab(P，q)<k2 (W, <1, <W2) @ 〇u,(p^])<<),：,,(q^i)(^^,<i2<k4*i,)③............
[0044] 其中，h为像素点p到搜索点q的距离，像素点p为当前像素点，12为像素点p到 采样点ei的距离，的选取通过条件kdWkjli确定，0lab(p, q)为像素点p与搜索点q在 颜色上的欧氏距离，〇lab(q，4)为搜索点q与采样点h在颜色上的欧氏距离，h、k2、k 3、k4、 A、w2 为自定义参数，且 k4>k3、w 2>wlt)例如，= 15、k2 = 5、k3 = 1. 5、k4 = 3、Wi = 10、w2 = 100。本实施例中，0lab(p，q)为像素点p与搜索点q在lab颜色上的欧氏距离， 〇lab(q，eD为搜索点q与采样点ei在lab颜色上的欧氏距离。需要说明的是，采样点 ei中 i的取值通过设置合适的匕值和匕值，使得i的取值唯一，以确定一个唯一的采样点。 [0045] 约束条件（1)中，条件①②属于线性约束，条件③属于基于采样点的空间约束。在 计算匹配空间时，由于不同图片上的颜色变化快慢不一样，同一副图片的不同区域的颜色 变化快慢也不一样，使得很难在单一线性约束上使得算法稳定。本实施例中，引入的空间约 束主要是用于改善图像中物体的边界区域点，使得计算出的匹配空间更加接近图像中物体 的边缘，由于参考了更多合理的颜色信息，也增强了算法的稳定性。因此，在线性约束的前 提下，结合基于采样点的空间约束，可以更好的保证立体匹配的准确率和稳定性。在其他实 施例中，可以根据实际需求适当改变上述约束条件。
[0046] 在计算出点的匹配空间后，还包括计算点的匹配代价的步骤。
[0047] 对于左图中的某一点Lp，在右图的指定范围Q内进行匹配，计算该范围内所有点 与点L p的匹配代价，范围Q是搜索范围，也即视差值的取值范围，且该搜索范围是与点1^ 在同一条扫描线（极线）上的，由于左、右图已经过极线校正，且极线是水平平行的，因此搜 索范围Q为一条水平方向的线段。对于范围Q内的每一个点的视差d，采用点L p的第一 匹配空间Si中的每个点w，去匹配右图中Rw+d点，每个点对的匹配代价的计算通过混合代价 函数得到，最终匹配代价为所有点对的匹配代价之和Q。用点L p的第二匹配空间S2以相同 的方式计算匹配代价之和C2。
[0048] 每个点对的匹配代价函数由三部分组成：一个灰度空间census变换（中心变 换）、一个彩色空间绝对值差（记作AD)、一个双向梯度，各部分的具体计算如下所示：
[0049] (1) census变换的使用场景是在灰度图上进行的，先将彩色图转换为灰度图，原图 中的P点的灰度值用GS (p)表示，同时，计算在以p为中心的7x9窗口中除去p外的所有点 q与P产生的census值x (p, q)，计算公式如下：
[0050]
【权利要求】
1. 一种全局视差估计方法，其特征在于，包括： 读入原始图像，所述原始图像包括第一视点图像和第二视点图像，第一视点图像为从 第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的图像； 计算第一视点图像中像素点的第一匹配空间和第二匹配空间； 计算第一匹配空间内所有点的匹配代价之和，计算第二匹配空间内所有点的匹配代价 之和； 根据第一匹配空间内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之 和计算初始视差，并筛选得到可靠点； 将原始图像划分为若干个图像块； 根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜 色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数 量之和小于预设值时，将两个图像块合并； 根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜 色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到的； 和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并； 基于所述图像分块，并根据所述可靠点的初始视差计算第一视点图像和第二视点图像 内每个像素点的最终视差。
2. 如权利要求1所述的方法，其特征在于，将原始图像划分为若干个图像块，具体为： 基于superpixel颜色分块将图像划分为若干个图像块。
3. 如权利要求1所述的方法，其特征在于，判断相邻两个图像块的视差变化是否平滑， 包括： 找出当前图像块S与其相邻图像块Sk的边界相邻点对Ps (i)、Psk(i)，Ps(i)与Psk(i)为 块s与块Sk的第i个相邻点对； 以ps(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块S的可靠点的视差的 均值Vs(i)，以Psk⑴为中心搜索一个a*b的矩形方框，计算该方框中属于块Sk的可靠点的 视差的均值Vsk(i)，其中，a、b为预设的像素宽度； 当max | Vs (i)-Vsk⑴|〈 j时，判断为当前图像块S与其相邻图像块Sk的视差变化平滑， 其中，i G Ws;sk，Ws，sk为块S与块Sk边界所有点对的下标集合，j为预设值。
4. 如权利要求1-3任一项所述的方法，其特征在于，在对原始图像进行图像分块后，计 算最终视差之前，还包括标记图像中的遮挡区域，具体为：取第一视点图像每个分块在每一 行中从左端开始的第一个可靠点L(p)，根据点L(p)的视差dp算得其对应于第二视点图像 的点R(p-cg ;在第二视点图像中从点R(p-dp_l)开始向左边找到第一个可靠点Rq，找出其 视差dq，算得点Rq对应于第一视点图像中的点L(q+cg，水平的两个点L(p)与L(q+cg之 间的点即为遮挡点。
5. 如权利要求4所述方法，其特征在于，根据第一匹配空间内所有点的匹配代价之和 和第二匹配空间内所有点的匹配代价之和，采用快速置信传播全局算法计算初始视差。
6. -种全局视差估计系统，其特征在于，包括： 图像读入模块，用于读入原始图像，所述原始图像包括第一视点图像和第二视点图像， 第一视点图像为从第一视点获取的目标的图像，第二视点图像为从第二视点获取的目标的 图像； 匹配空间计算模块，用于计算得到像素点的第一匹配空间和第二匹配空间； 匹配代价计算模块，用于计算第一匹配空间内所有点的匹配代价之和，和计算第二匹 配空间内所有点的匹配代价之和； 初始视差计算模块，用于根据第一匹配空间内所有点的匹配代价之和和第二匹配空间 内所有点的匹配代价之和计算初始视差，并筛选得到可靠点； 图像分块模块，用于将原始图像划分为若干个图像块； 根据颜色对图像块进行合并：将像素点数量小于预设值的图像块与其相邻图像块中颜 色最接近的图像块合并；和/或，判断到两个相邻图像块颜色接近，且两个图像块像素点数 量之和小于预设值时，将两个图像块合并； 根据视差对图像块进行合并：将可靠点数量小于预设值的图像块与其相邻图像块中颜 色最接近的图像块合并，所述可靠点为根据原始图像中各像素点的初始视差筛选得到的； 和/或，判断相邻两个图像块的视差变化是否平滑，如果是，则将两个图像块合并； 最终视差计算模块，用于基于所述图像分块，计算第一视点图像和第二视点图像内每 个像素点的最终视差。
7. 如权利要求6所述的系统，其特征在于，图像分块模块将原始图像划分为若干个图 像块时：图像分块模块基于superpixel颜色分块将图像划分为若干个图像块。
8. 如权利要求6所述的系统，其特征在于，图像分块模块判断相邻两个图像块的视差 变化是否平滑时： 图像分块模块找出当前图像块S与其相邻图像块Sk的边界相邻点对Ps (i)、Psk(i)， Ps⑴与Psk⑴为块S与块Sk的第i个相邻点对； 以Ps(i)为中心搜索一个a*b的矩形方框，计算该方框中属于块S的可靠点的视差的 均值Vs(i)，以Psk⑴为中心搜索一个a*b的矩形方框，计算该方框中属于块Sk的可靠点的 视差的均值Vsk(i)，其中，a、b为预设的像素宽度； 当max | Vs (i)-Vsk⑴|〈 j时，判断为当前图像块S与其相邻图像块Sk的视差变化平滑， 其中，i G Ws;sk，Ws，sk为块S与块Sk边界所有点对的下标集合，j为预设值。
9. 如权利要求6-8任一项所述的系统，其特征在于，还包括遮挡区域标记模块，用于在 所述图像分块模块对原始图像进行图像分块后，最终视差计算模块计算最终视差之前，标 记图像中的遮挡区域，具体为：取第一视点图像每个分块在每一行中从左端开始的第一个 可靠点L(p)，根据点L(p)的视差4算得其对应于第二视点图像的点R(p-dp);在第二视点 图像中从点R(P_dp-l)开始向左边找到第一个可靠点Rq，找出其视差d,，算得点Rq对应于 第一视点图像中的点L(q+cg，水平的两个点L(p)与L(q+cg之间的点即为遮挡点。
10. 如权利要求9所述的系统，其特征在于，初始视差计算模块用于根据第一匹配空间 内所有点的匹配代价之和和第二匹配空间内所有点的匹配代价之和计算初始视差时，采用 快速置信传播全局算法计算初始视差。
【文档编号】G06T7/00GK104331890SQ201410604083
【公开日】2015年2月4日 申请日期:2014年10月30日 优先权日:2014年10月30日
【发明者】彭祎, 王荣刚, 王振宇, 高文, 董胜富, 王文敏, 赵洋 申请人:北京大学深圳研究生院