一种结合形状和颜色的双目立体视觉图像特征提取方法
【技术领域】
[0001] 本发明涉及一种结合形状和颜色的双目立体视觉图像特征提取方法，适用于双目 立体视觉图像特征提取、匹配和检索，属于计算机图像处理技术和多媒体信息检索等领域。
【背景技术】
[0002] 目前立体视觉产业和技术发展迅速，常见的立体视觉形式即为双目立体图像 或视频，是通过双目立体相机或摄像机获取的相关联的左右两路图像或视频，通常采用 side-by-side格式表示。网络和新媒体环境下，立体视觉资源内容的分析与获取成为重要 的需求方向，也使其成为多媒体数据应用和研宄的重要领域之一。立体视觉资源结构的复 杂性要求需从其特点出发进行特征的分析与获取，来提高其匹配和查询的效率。目前对双 目立体视觉图像特征提取主要采用针对单目二维图像进行特征提取的方法。二维图像特征 提取一直是研宄的热门领域，对特征提取的研宄主要集中在行人或人脸检测，以及特征匹 配和检索等相关应用。基于点的特征提取是一种常用的特征提取方法。尺度不变特征描 述符（ScaleInvariantFeatureDescriptor,SIFT)算法被广泛应用于特征描述符提取， 并产生很多相关改进算法，如快速鲁棒描述符（SpeedUpRobustDescriptor,SURF)算法 等。这些描述符的提取，大多具有旋转和尺度不变性，并且一些相关改进算法也减少了计 算和处理时间，但通常只对强纹理和恒定高亮度二维图像比较敏感，对于亮度变化和弱纹 理对象会大大降低效果。基于块的梯度特征提取近年来逐渐受到关注。方向梯度直方图 (HistogramofOrientedGradients,HOG)算法是基于形状的块特征提取的重要创新，它 在位置和方向空间的量化一定程度上可以实现平移和旋转不变性，同时采取在局部区域归 一化直方图，可以克服光照变化带来的影响。
[0003] 基于单目二维图像的特征提取不能够准确、全面的获取立体视觉图像特征。在三 维系统中，通常是将三维模型投影形成二维点云，然后进行特征提取。而深度图像是将三维 数据进行正交投影或对应视点匹配计算视差，按深度值重采样为规整数据而形成的图像。 与二维图像的区别在于二维图像是光线反射的投影，而三维数据的深度图像是深度值的投 影，蕴含了更多三维的内在信息，转化为深度图即可看作是一幅二维的图像。因而深度图像 也称为距离图像，是指从观察视角看去，图像所包含信息与场景中物体表面距离相关的一 种图像或一种图像通道。在深度图像中像素点的灰度值对应于场景中点的深度值。通常灰 度图像层次感变化丰富，纹理特征明显且复杂，而深度图像层次简单，纹理变化少，轮廓清 晰。同时深度图像具有颜色无关性，即与彩色图像相比，深度图像不会受光照、阴影、以及环 境变化的干扰。基于深度图像形状的特征提取，所获得的特征描述符不仅能够对轮廓形状 进行有效描述，而且能够对深度方向形状变化信息进行很好的表示，具有平移、旋转和尺度 不变等特性，因此可作为立体视觉资源特征提取的重要组成部分。
[0004] 基于RGB-D图像模式、利用深度图的立体视觉特征提取研宄逐渐受到人们的关注 并成为研宄的热门领域。由于深度图像具有弱纹理和区域形状特征明显等特性，基于HOG 的改进算法对深度图像特征提取进行研宄逐渐受到关注。基于块尺度和方向的深度图形状 描述符提取方法具有较好的方向不变和亮度不变鲁棒性，但目前相关算法存在的问题有： 使用固定大小窗口进行检测时，难以实现整幅图像特征的检测和提取，特征提取缺乏完整 性；特征检测时，被检测图像基于特定窗口比例进行缩放，会使对象形状发生畸变，导致特 征精度降低；特征维数较大，复杂度高。
[0005] 同时在利用深度图像进行特征提取的算法中深度的获取往往融合了硬件设备，通 常利用深度感应器Kinect来实时获取深度信息。但通过Kinect等设备获得的深度图像通 常有很多无效区域，这些区域因没有做合适的修复而会产生不良的效果，因而很难较好的 利用深度信息。事实上，这些方法单纯的从图像中进行特征的提取，这就会因为图像特征对 亮度变化的敏感性而不能够对弱纹理图像对象进行较好的处理。
【发明内容】
[0006] 本发明的目的在于：为克服基于单目二维图像来实现双目立体视觉图像特征提 取的不足，以及特征提取精确度不高、复杂度大等缺点，针对双目立体视觉图像的原理和特 点，引入深度图特性，发明了一种结合形状和颜色的双目立体视觉图像特征提取方法。该方 法提取左右图像匹配获取深度图像的轮廓形状特征以及左图像颜色特征，以此作为双目立 体视觉图像的特征。实现双目立体视觉图像特征的精确提取以及特征维数和复杂度的降 低。
[0007] 本发明的内容和特点有：首先，利用图割算法对左右图像进行立体匹配，计算视差 和深度，从而获取深度图。对深度图对象进行轮廓形状特征提取，即根据对选定大小的窗口 进行边缘检测和梯度计算，获取区域形状梯度模值和方向，同时采用滑动窗口方式提取整 幅深度图像特征，并且在基于窗口和整幅图像特征提取中分别运用主成分分析进行降维最 终形成p维特征；其次，对双目视觉左图像进行颜色特征提取，计算图像颜色直方图值，以 像素频率出现高的像素作为主色，频率较低的像素视为噪声，选取前p维值作为图像颜色 特征；最后，对轮廓形状特征和颜色特征进行高斯归一化处理，以此形成的2p维轮廓形状 和颜色融合特征作为双目立体视觉图像特征。
[0008] 本发明特征及创新和先进性有：（1)以深度图像轮廓形状特征和左图像颜色特征 的联合特征提取来作为双目立体视觉图像的特征，克服了基于单目二维图像特征提取低精 确度的不足；(2)引入立体匹配获取的深度图，利用其纹理结构简单、轮廓形状清晰的特点 将其作为特征提取的对象之一，提高了特征提取的精确度；（3)采用滑动窗口以及窗口重 叠方式实现深度图像区域内特征窗检测，克服了单窗口特征检测和图像缩放的缺点，实现 了特征检测的完整性，以及提取和匹配的精确性；(4)基于PCA算法实现了高维特征的两次 降维，在保留主要特征和确保精确性的前提下，能够有效实现特征维数和复杂度降低。
[0009] 本发明的技术方案为：一种结合形状和颜色的双目立体视觉图像特征提取方法， 包括如下步骤：
[0010] (1)运用图割算法，通过立体匹配对双目立体视觉图像进行视差计算和深度图提 取；
[0011] (2)基于选定大小窗口对双目立体视觉深度图像进行轮廓形状特征提取，并进行 降维；
[0012] (3)采用滑动窗口检测方法对完整深度图像进行特征提取，并进行降维；
[0013] (4)对双目立体视觉左图像进行颜色直方图特征提取，形成主色调颜色直方图特 征；
[0014] (5)对轮廓形状特征和颜色特征进行高斯归一化，形成多特征融合的双目立体视 觉图像特征。
[0015] 进一步地，所述步骤（1)中包括如下步骤：
[0016] 1. 1).对双目立体视觉左右图像，运用图割算法进行立体匹配，基于最小割和最大 流思想，构造全局能量函数，并进行优化，将