Radar视差图优化方法、立体匹配视差图优化方法及系统的制作方法
【技术领域】
[0001] 本发明涉及立体匹配图像处理技术领域，具体涉及一种RADAR视差图优化方法、 立体匹配视差图优化方法及系统。
【背景技术】
[0002] 在传统视频系统中，用户只能被动的观看由摄像机拍摄到的画面，无法从其他视 角观看到不同的画面，而多视角视频（Multi-View Video)则允许用户从多个视点进行观 看，增强了交互性及3D感官效果，在立体电视、视频会议、自动导航、虚拟现实等领域有广 泛的应用前景。然而，多视角视频在增强交互性及感官效果的同时也增加了视频的数据量， 对视频存储及传输等增加了负担，如何解决此类问题已成为目前的研究热点。
[0003] 立体匹配，也称视差估计，是根据前端摄像机获取的多目图像数据(一般为双目）， 估计出对应图像中的像素点间的几何关系。利用视差估计，可以由一个视点的信息及其深 度(视差）信息得到对应视点的信息，从而减少了原始数据量，为多目视频的传输及存储提 供了便利。
[0004] 根据具体实现细节的不同，立体匹配方法可以大致分为局部立体匹配算法和全 局立体匹配算法（可参见 Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International journal of computer vision, 2002, 47(1-3) :7-42.)。全局立体匹配算法是基于对全局的能量函数最 优化得到视差结果，其准确性较高但计算复杂度也很高，不利于实际应用；局部立体匹配算 法虽然准确性一般不如全局算法高，但其实施相对简单方便，计算复杂度低，甚至可以达到 视差图的实时获取，因此获得越来越多研究者的关注，同时，已有一些局部的方法产生了与 全局效果相当的视差结果。
[0005] 近年来，基于自适应权重的局部方法获得了与全局相似的效果，其核心思想是通 过自适应权重描述窗口中心点与窗口内相邻点间的相似性，权重越大则两点越有可能属于 同一个物体，进而具有相似的视差。然而此类方法的计算量太大。后来，Hosni等人提出了 一种线性的立体匹配方法（参见 Rhemann C, Hosni A, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[C]//Computer Vision and Pattern Recognition(CVPR), 2011 ffiEE Conference on. IEEE, 2011:3017-3024·)，利用引导滤波器 (guided filter)作为聚合的方法，其计算复杂度与滤波窗口无关，并提出了一种新的聚 合方法，即对代价空间进行滤波，随后出现了很多基于滤波的方法。但这些方法的主要工作 在于代价聚合阶段，很少关注代价的测度及视差优化，在最终结果中仍然存在一些错误区 域，影响了视差图的效果。
[0006] 综合上述叙述可知，立体匹配作为多视角视频中的重要环节，已受到广泛关注，并 有大量的立体匹配算法涌现。然而，立体匹配尚存在很多问题，特别是基于滤波的局部方 法，需要进一步的提高性能。
【发明内容】
[0007] 本申请提出一种RADAR视差图优化方法、立体匹配视差图优化方法及系统，提高 视差图的准确率。
[0008] 根据本申请的第一方面，本申请提供一种RADAR视差图优化方法，包括步骤：获 取颜色分块图：对初始图像进行对比度增强并将其由RGB空间转换为CIELab空间，通过 mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图；获取视差图边缘信息： 接收所述初始图像的初始视差图，结合Canny算子提取初始视差图中的视差图边缘信息； 视差图优化：结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域图，根 据问题区域图对所述初始视差图进行OccWeight修正并滤波得到最终视差图。
[0009] 根据本申请的第二方面，本申请还提供一种立体匹配视差图优化方法，包括步骤： 匹配代价计算：读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第 二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间 中；代价空间滤波：对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称 Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；RADAR视 差图优化：对初始视差图应用上述所述的RADAR视差图优化方法的进行处理得到最终视差 图。
[0010] 根据本申请的第三方面，本申请还提供一种立体匹配视差图优化系统，包括：匹配 代价计算模块、代价空间滤波模块和RADAR视差图优化模块；所述匹配代价计算模块读入 经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过 代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；所述代价空间滤波 模块对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter 滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；所述RADAR视差图优化模 块对初始视差图应用上述所述的RADAR视差图优化方法进行处理得到最终视差图。
[0011] 本申请的方法，结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题 区域图，根据问题区域图对初始视差图进行OccWeight修正并滤波得到最终视差图，降低 了错误率，提高了最终视差图的准确率。
【附图说明】
[0012] 图1为本申请中立体匹配的框架图；
[0013] 图2为本申请中代价空间滤波的流程图；
[0014] 图3为本申请中基于RADAR的视差优化流程图；
[0015] 图4为本申请中交叉区域构造示例图；
[0016] 图5为本申请中视差优化性能对比图；
[0017] 图6为本申请中Middlebury测试集实验结果图；
[0018] 图7为本申请中Middlebury排名结果图；
[0019] 图8为本申请中实际场景序列对比结果图。
【具体实施方式】
[0020] 下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0021] 本申请中所用到的缩写词解释
[0022] MCCT !Modified Color Census Transform，改进的彩色空间 census 变换；其表达 式请见公式2、3 ;
[0023] ADc !Absolute Difference in Color space，截断的彩色空间绝对值差；
[0024] LRC ：Left-Right consistency Check, 一致性检测；
[0025] RADAR !Remaining Artifacts Detection and Refinement，剩余错误点检测及优 化；
[0026] MOW !Modified OccWeight，改进的 OccWeight ;
[0027] WTA :winner-takes_all，胜者为王。
[0028] 本申请中的RADAR视差图优化方法，包括步骤：
[0029] 获取颜色分块图：对初始彩色图像进行对比度增强并将其由RGB空间转换为 CIELab空间，通过mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图；
[0030] 获取视差图边缘信息：接收初始图像的初始视差图，结合Canny算子提取初始视 差图中的视差图边缘信息；
[0031] 视差图优化：结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题 区域图，根据问题区域图对初始视差图进行OccWeight修正并滤波得到最终视差图。
[0032] 具体的,进行OccWeight修正时采用交叉窗口进行相似点选取，并将更新后的点 作为可靠点参与其他点的更新过程，滤波时采用中值滤波器。步骤：获取视差图边缘信息 中，接收到初始视差图时还对初始视差图进行初始处理，具体为：对接收到的第一初始视差 图和第二初始视差图进行一致性检测查找错误点；通过交叉区域投票法修正初始视差图中 的错误点视差值；再通过加权中值滤波处理。
[0033] 本申请中的立体匹配视差图优化方法，包括步骤：
[0034] 匹配代价计算：读入经过极线校正的第一初始图像和第二初始图像，对第一初始 图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二 代价空间中；具体的，读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像 在第二初始图像的第一视差范围中通过代价函数计算第一视差范围中的每个点与第一初 始图像的第一匹配代价值，将第一匹配代价值存入第一代价空间中；对第二初始图像在第 一初始图像的第二视差范围中通过代价函数计算第二视差范围中的每个点与第二初始图 像的第二匹配代价值，将第二匹配代价值存入第二代价空间中。
[0035] 代价空间滤波：对第一代价空间和第二代价空间分别进行边缘增强，并分别通过 对称Guided Filter (引导滤波器）滤波聚合再通过WTA法得到第一初始视差图和第二初 始视差图；具体的，对第一代价空间和第二代价空间分别进行边缘增强，并通过对称Gui