ded Filter对第一代价空间中的每一个切片进行滤波聚合再通过WTA法筛选视差值得到第一 初始视差图；通过对称Guided Filter对第二代价空间中的每一个切片进行滤波聚合再通 过WTA法筛选视差值得到第二初始视差图；切片为视差值所对应的与初始彩色图像尺寸相 同的代价图。
[0036] 视差图初始处理：对第一初始视差图和第二初始视差图进行一致性检测查找错误 点，通过交叉区域投票法修正初始视差图中的错误点视差值，再通过加权中值滤波。
[0037] RADAR视差图优化：通过RADAR视差图优化法对进行视差图初始处理后的视差图 进行进一步处理得到最终视差图。如进行视差图初始处理时是针对第一初始视差图进行交 叉区域投票法修正错误点视差值并通过加权中值滤波，则得到的最终视差图与第一初始视 差图对应；同理，针对第二初始视差图进行交叉区域投票法修正错误点视差值并通过加权 中值滤波，则得到的最终视差图与第二初始视差图对应。
[0038] 其中，代价函数至少由MCCT代价项、截断的ADc代价项和截断的双向梯度代价项 加权构成。进行MCCT的代价项计算时，分别对第一初始图像和第二初始图像进行GCM变 换，并分别通过MCCT计算得到第一比特串和第二比特串；通过鲁棒的指数函数对第一比特 串和第二比特串的汉明距离进行归一化得到MCCT的代价项。进行截断的ADc代价项计算 时，通过第一限定阈值对第一初始图像和第二初始图像的RGB绝对值差的均值进行截断得 到截断的ADc代价项。进行截断的双向梯度代价项计算时，通过第二限定阈值对第一初始 图像和第二初始图像在水平和坚直方向的梯度差进行截断得到截断的双向梯度代价项。其 中，第一初始图像和第二初始图像为通过双目摄像机拍摄得到的双目序列中的彩色图像， 或者是单目摄像机在一定水平位移下拍摄得到的两幅彩色图像。
[0039] 本申请中的立体匹配视差图优化系统，请参照图1，包括：匹配代价计算模块、代 价空间滤波模块和RADAR视差图优化模块；匹配代价计算模块读入经过极线校正的第一初 始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价 值并分别存入第一代价空间和第二代价空间中；代价空间滤波模块对第一代价空间和第二 代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得到 第一初始视差图和第二初始视差图；RADAR视差图优化模块对初始视差图应用上述所述的 RADAR视差图优化方法进行处理得到最终视差图。
[0040] 实施例一
[0041] 本例中的立体匹配视差图优化方法，其中第一初始图像和第二初始图像分别选取 双目摄像机拍摄得到的双目序列中的图像中的左图和右图，并以左图作为参考图进行说 明，即对左图进行立体匹配（即视差估计)，对于右图估计方法相同。具体过程如下：
[0042] (1)读入两幅图像，这两幅图像是通过双目摄像机拍摄得到的双目序列中的图像， 分别为左图和右图，在其他实施例中，第一初始图像和第二初始图像还可以是单目摄像机 在一定水平位移下拍摄得到的两幅图像，这两幅图像均为彩色图像，且已经过极线校正，即 两幅图的极线（epipolar line)是水平平行的，便于后续进行匹配代价计算，若输入的两幅 图像未经过极线校正，则进行极线校正后再作为输入。
[0043] (2)匹配代价计算
[0044] 获得两幅输入图像后，进入立体匹配过程，首先计算匹配代价。对于左图中的某一 点P，在右图的视差范围D内进行匹配，计算视差范围内所有点与左图中点P的匹配代价， 视差范围D是搜索范围，也即视差值的取值范围，且该视差范围是与点p在同一条扫描线 (极线）上的，由于左图和右图已做过校正，极线是水平平行的，因此此处的扫描线即水平方 向的线段。匹配代价的计算通过代价函数得到，本例中的代价函数为混合代价函数，该混合 代价函数由三部分组成：一个改进的彩色空间census变换(缩写为MCCT，Modified Color Census Transform,后续简称MCCT)、一个截断的彩色空间绝对值差(缩写为ADc，Absolute Difference in Color space,后续简称ADc)、一个截断的双向梯度，各部分的具体计算如 下所示：
[0045] (2. I) MCCT代价项的计算
[0046] 传统的census变换的使用场景大都是在灰度图上进行，而这样丢失了颜色分量 所表达的信息，因此本发明使用一种改进的彩色空间census变换，即MCCT。首先，将左图和 右图由RGB空间利用高斯颜色模型(缩写为GCM，Gaussian Color Model，后续简称GCM)进 行变换，以消除对光照等因素的敏感性，具体变换公式如下所示：
【主权项】
1. 一种RADAR视差图优化方法，其特征在于，包括步骤： 获取颜色分块图：对初始图像进行对比度增强并将其由RGB空间转换为CffiL油空间， 通过mean-shift颜色分割对CffiL油空间进行颜色分块得到颜色分块图； 获取视差图边缘信息：接收所述初始图像的初始视差图，结合Canny算子提取初始视 差图中的视差图边缘信息； 视差图优化；结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域 图，根据问题区域图对所述初始视差图进行OccWei曲t修正并滤波得到最终视差图。
2. 如权利要求1所述的RADAR视差图优化方法，其特征在于，进行OccWei曲t修正时采 用交叉窗口进行相似点选取。
3. 如权利要求1所述的RADAR视差图优化方法，其特征在于，进行OccWei曲t修正滤波 时采用中值滤波器。
4. 如权利要求1所述的RADAR视差图优化方法，其特征在于，步骤：获取视差图边缘信 息中，接收到初始视差图时还对初始视差图进行初始处理，具体为：对接收到的第一初始视 差图和第二初始视差图进行一致性检测查找错误点；通过交叉区域投票法修正初始视差图 中的错误点的视差值；再通过加权中值滤波处理。
5. -种立体匹配视差图优化方法，其特征在于，包括步骤： 匹配代价计算：读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像 和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价 空间中； 代价空间滤波：对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称 Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图； RADAR视差图优化；对初始视差图应用权利要求1-3中任一项所述的RADAR视差图优 化方法进行处理得到最终视差图。
6. 如权利要求5所述的方法，其特征在于，进行RADAR视差图优化前包括步骤；视差图 初始处理；对所述第一初始视差图和第二初始视差图进行一致性检测查找错误点，通过交 叉区域投票法修正初始视差图中的错误点视差值，再通过加权中值滤波。
7. 如权利要求5所述的方法，其特征在于，所述代价函数至少由MCCT代价项、截断的 ADc代价项和截断的双向梯度代价项加权构成；进行MCCT的代价项计算时，分别对第一初 始图像和第二初始图像进行GCM变换，并分别通过MCCT计算得到第一比特串和第二比特 串，通过鲁棒的指数函数对第一比特串和第二比特串的汉明距离进行归一化得到MCCT的 代价项。
8. 如权利要求7所述的方法，其特征在于，进行截断的ADc代价项计算时，通过第一限 定阔值对第一初始图像和第二初始图像的RGB绝对值差的均值进行截断得到截断的ADc代 价项。
9. 如权利要求7所述的方法，其特征在于，进行截断的双向梯度代价项计算时，通过第 二限定阔值对第一初始图像和第二初始图像在水平和竖直方向的梯度差进行截断得到截 断的双向梯度代价项。
10. -种立体匹配视差图优化系统，其特征在于，包括：匹配代价计算模块、代价空间 滤波模块和RADAR视差图优化模块；所述匹配代价计算模块读入经过极线校正的第一初始 图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值 并分别存入第一代价空间和第二代价空间中；所述代价空间滤波模块对第一代价空间和第 二代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得 到第一初始视差图和第二初始视差图；所述radar视差图优化模块对初始视差图应用权利 要求1-4中任一项所述的RADAR视差图优化方法进行处理得到最终视差图。
【专利摘要】本申请公开了一种RADAR视差图优化方法、立体匹配视差图优化方法及系统，其中RADAR视差图优化方法包括步骤：获取颜色分块图：对初始图像进行对比度增强并将其由RGB空间转换为CIELab空间，通过mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图；获取视差图边缘信息：接收初始图像的初始视差图，结合Canny算子提取初始视差图中的视差图边缘信息；视差图优化；结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域图，根据问题区域图对初始视差图进行OccWeight修正并滤波得到最终视差图。通过本申请的方法对初始视差图进行优化后，降低了错误率，提高了最终视差图的准确率。
【IPC分类】G06T7-00, G06T5-50
【公开号】CN104680510
【申请号】CN201310698887
【发明人】焦剑波, 王荣刚, 王振宇, 高文, 王文敏, 董胜富
【申请人】北京大学深圳研究生院
【公开日】2015年6月3日
【申请日】2013年12月18日