一种基于自适应特征窗口的立体视觉匹配方法
【技术领域】
[0001] 本发明属于图像信息处理技术领域，具体涉及一种基于自适应特征窗口的立体视 觉匹配方法。
【背景技术】
[0002] 立体视觉旨在基于摄像头所获得的图像信息的基础上，通过图像匹配、空间几何 运算等方法，获取环境的距离信息。立体视觉在安防监控、人机交互、智能交通等领域有着 广泛的应用，近年来吸引了众多研宄者的注意，成为当前计算机视觉领域中的研宄热点之 一。双目立体视觉是应用和研宄最为广泛的一种配置，其利用左右两个摄像头分别获取同 一场景的左右两帧图像，通过计算左右两帧图像的视差，再应用相应的几何变换，得到场景 的深度距离信息。
[0003] 传统的立体视觉匹配方法分为两类，全局方法和局部方法。其中，全局方法将立体 匹配问题转化为优化问题来解决，通过动态规划、信念传播、图割等方法，求解最优视差。局 部方法则通常包含四个步骤，匹配代价计算、匹配代价聚合、视差计算和视差细化。全局方 法和局部方法的共同之处在于，两者都需要根据某种图像特征（例如像素灰度、边缘等）， 计算左右两帧图像之间的匹配代价，从而进一步搜索或者优化得到具有最优匹配的像素 对，从而得到最优视差。研宄表明，采用不同的图像特征，将会获得不同质量的匹配效果，从 而影响最终的视差准确率。因此，如何选择合适的图像特征进行立体匹配计算是立体视觉 中的一个关键问题。
[0004] 现有的方法中，多集中于讨论如何通过改进的匹配代价聚合方法，来提高视差计 算精度。近年来提出的方法，主要包括双边滤波法、最小支持树法、分割树法、以及多尺度匹 配代价聚合方法等。匹配聚合方法根据某些特征的立体匹配代价计算结果，将邻近像素或 者同处于某一颜色区域内的像素的代价值进行聚合。然而，匹配代价聚合是在得到匹配代 价计算的结果之后进行的，匹配代价结果的性能优劣在很大程度上决定了匹配代价聚合所 能改善的程度。因此，如何选择合适的图像特征，包括特征计算的尺度，从而提高匹配代价 本身的计算性能是提高立体匹配最终的视差计算准确率的关键环节。
[0005] 此外，现有的特征选择方法通常将特征选择结果直接应用到其他相似的问题中 去，这建立在特征选择结果具有优秀的泛化能力的基础上。然而，在实际应用中，通过训练 学习所得的结果的泛化能力并没有办法保证，类似的问题往往需要不同的途径才能得到好 的解决。
【发明内容】
[0006] 为了克服上述现有技术存在的缺陷，本发明的目的在于提供一种基于自适应特征 窗口的立体视觉匹配方法，该方法能够根据实际应用场景选择合适特征进行立体匹配，有 效提高匹配性能和视差计算精度。
[0007] 本发明是通过以下技术方案来实现：
[0008] 一种基于自适应特征窗口的立体视觉匹配方法，包括以下步骤：
[0009] 将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将 获得的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合 颜色特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者 的方式计算得到立体匹配的视差结果。
[0010] 包括以下步骤：
[0011] 步骤一：构建特征选择训练库
[0012] 采集标准立体视觉图像库中的图像对（每个图像对包括一帧左图、一帧右图），将 图像对中的左图分割为若干子图像块，组成标准图像训练库；
[0013] 米集实际应用场景相关图像库中的图像对（每个图像对包括一帧左图、一帧右 图），将图像对中的左图分割为若干子图像块，组成实际应用图像训练库；
[0014] 对采样得到的标准图像训练库和实际应用训练库，基于Sobel算子计算梯度图 像，并对横向梯度x方向和纵向梯度y方向分别施加不同的权重，所得梯度图像构成特征选 择训练库，并表示为：
[0015] {X(i)}，i= 1，2, ...，n，
[0016] 其中，X(i)表示第i个子图像块，n表示子图像块的数量，即训练样本的数目；
[0017] 步骤二：构建特征选择训练库的最终训练集
[0018] 分别采用尺度为3、6、9、12、15的Census特征，对步骤一中采样所得的子图像块进 行立体匹配代价计算，再应用分割树方法对所得的立体匹配代价进行聚合，对匹配代价聚 合结果采用留取胜者的方法进行最终的匹配视差选择；
[0019] 根据实际视差结果，对不同尺度下计算得到的视差结果统计其准确度，然后选择 准确度最高的尺度作为对应子图像块梯度图对应的标识，表示为：
[0020] {y』}，j= 1，2,…，5
[0021] 其中，yf3,y2= 6,y3= 9,y4= 12,y5= 15,分别对应Census特征的 5 个尺 度；再结合步骤一中获得的特征选择训练库，得到特征选择训练库的最终训练集，表示为：
[0022] {X⑴，y⑴}，i= 1，2,…，n;
[0023] 步骤三：构建特征选择分类器
[0024] 采用逻辑回归算法，使用一对其他策略，并基于步骤二获得的特征选择训练库的 最终训练集构造多类分类器优化目标函数为：
[0025]
【主权项】
1. 一种基于自适应特征窗口的立体视觉匹配方法，其特征在于，包括以下步骤： 步骤一：构建特征选择训练库 采集标准立体视觉图像库中的图像对，将图像对中的左图分割为若干子图像块，组成 标准图像训练库； 采集实际应用场景相关图像库中的图像对，将图像对中的左图分割为若干子图像块， 组成实际应用图像训练库； 对采样得到的标准图像训练库和实际应用训练库，基于Sobel算子计算梯度图像，并 对横向梯度x方向和纵向梯度y方向分别施加不同的权重，所得梯度图像构成特征选择训 练库，并表示为： {X(i)}，i= 1，2,…，n， 其中，X(i)表示第i个子图像块，n表示子图像块的数量，即训练样本的数目； 步骤二：构建特征选择训练库的最终训练集 分别采用尺度为3、6、9、12、15的Census特征，对步骤一中采样所得的子图像块进行立 体匹配代价计算，再应用分割树方法对所得的立体匹配代价进行聚合，对匹配代价聚合结 果采用留取胜者的方法进行最终的匹配视差选择； 根据实际视差结果，对不同尺度下计算得到的视差结果统计其准确度，然后选择准确 度最高的尺度作为对应子图像块梯度图对应的标识，表示为： {yj}，j= 1，2,…，5 其中，yi= 3,y2= 6,y3= 9,y4= 12,y5= 15,分别对应Census特征的5个尺度；再 结合步骤一中获得的特征选择训练库，得到特征选择训练库的最终训练集，表示为： {X⑴，y(i)}，i= 1，2,…，n; 步骤三：构建特征选择分类器 采用逻辑回归算法，使用一对其他策略，并基于步骤二获得的特征选择训练库的最终 训练集构造多类分类器优化目标函数为：
其中，n表示训练样本的数目
是由X(i)映射到y(1)的Sigmoid函 数，l〇g( ?)为对数函数，{ 0」}，j= 〇, 1，…，1483是由训练得到的分类器参数，A是稀疏 性约束的重要性系数，设为1或者根据实验效果设定，应用梯度下降法求解上述优化目标 函数，得到特征选择分类器； 步骤四，针对实际应用场景相关图像库中的图像对，采集左右两帧图像，将左图分解成 子图像块，求解各子图像块对应的梯度图，应用训练步骤三所得的特征选择分类器，对子图 像块进行分类，选择对应的特征尺度： 首先，应用所选择的特征尺度计算Census特征匹配代价； 其次，应用颜色绝对差特征计算颜色匹配代价； 再次，将两种匹配代价求和，得到最终的立体匹配代价； 最后，基于分割树方法进行立体匹配代价聚合，采取留取胜者的方式计算得到视差结 果，完成立体匹配。
2. 根据权利要求1所述的一种基于自适应特征窗口的立体视觉匹配方法，其特征在 于，步骤一中所述的采集标准立体视觉图像库中的图像对，将图像对中的左图分割为若干 子图像块是以Middlebury标准图像库来采集，实际应用场景相关图像库在实际应用中采 集。
3. 根据权利要求2所述的一种基于自适应特征窗口的立体视觉匹配方法，其特征在 于，对于Middlebury标准图像库，每帧图像采集100幅子图像，Middlebury图像库包含38 个图像对，组成大小为3800幅的标准图像训练库。
4. 一种基于自适应特征窗口的立体视觉匹配方法，其特征在于，包括： 将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将获得 的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合颜色 特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者的方 式计算得到立体匹配的视差结果。
【专利摘要】本发明公开了一种基于自适应特征窗口的立体视觉匹配方法，属于图像信息处理技术领域。包括：将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将获得的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合颜色特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者的方式计算得到立体匹配的视差结果。该方法能够根据实际应用场景选择合适特征进行立体匹配，能够有效得提高匹配性能，提高视差计算精度。
【IPC分类】G06T7-00
【公开号】CN104574391
【申请号】CN201410840802
【发明人】吕娜, 罗靖, 尹涛, 李腾飞
【申请人】西安交通大学
【公开日】2015年4月29日
【申请日】2014年12月29日