一种基于rgb-d传感器的局部图像描述方法
【技术领域】
[0001] 本发明涉及RGB-D传感器的图像和点云等数据的匹配方法，尤其涉及RGB图像纹 理信息和深度图像融合来实现RGB-D图像匹配的方法。
【背景技术】
[0002] 基于RGB-D传感器的局部图像描述方法的灵感源于二维图像和深度图像的局部 特征邻域描述。二维图像纹理丰富，信息熵高。因而现阶段存在的二维描述子从空间分块， 灰度、梯度等方面入手，有着良好的效果，但是二维描述子对于光照或者纹理变化较少的场 景，效果就不慎理想。在完全基于深度图像的场景中，深度图像不会受到纹理缺失或者光 照变化剧烈等影响，在此基础上构建各类描述子有着良好的匹配效果，但是此类描述子的 匹配结果有不唯一性，并且十分依赖于硬件的精度，且对噪声不敏感。并且在RGB-D传感器 中，只使用RGB图像或者深度图像会导致传感器数据的浪费。
[0003] RGB图像和深度图像融合描述子方法是专为RGB-D传感器设计的，这里的RGB-D摄 像设备主要指Kinect、Xtion等能够同时获取RGB图像和深度图像的体感设备。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于RGB-D传感器的局部图像描述方法， 主要解决从RGB-D传感器获取的数据的图像匹配问题。为此，本发明采用以下技术方案：
[0005] 一种基于RGB-D传感器的局部图像描述方法，所述D代表深度图像，其特征在于： 所述方法融合了RGB图像的纹理信息和深度图像的距离数据，所述深度图像的距离为纹理 信息距离光心的距离，包括如下步骤：
[0006] 步骤一、标定RGB-D传感器的参数，包括：焦距、光心；从RGB-D传感器中获取RGB 图像和深度图像；焦平面坐标系（〇')下的RGB图像和深度图像转换到世界坐标系（0U)下 的点云数据，点云数据包含RGB图像中每个点的R、G、B三个图像颜色通道的数值和深度图 像中对应的每个点的深度值，R为红色，G为绿色，B为蓝色；
[0007] 焦平面坐标系是固联于RGB图像所在平面的像素点坐标系；世界坐标系是以光心 为原点的坐标系；焦平面坐标系和世界坐标系都相对于RGB图像的位置不变，焦平面坐标 系以像素为单位，世界坐标系以米为单位，根据摄像头参数将RGB图像从焦平面坐标系转 换到世界坐标系下的点云数据，每个像素点的转换公式为
【主权项】
1. 一种基于RGB-D传感器的局部图像描述方法，所述D代表深度图像，其特征在于：所 述方法融合了RGB图像的纹理信息和深度图像的距离数据，所述深度图像的距离为纹理信 息距离光心的距离，包括如下步骤： 步骤一、标定RGB-D传感器的参数，包括：焦距、光心；从RGB-D传感器中获取RGB图像 和深度图像；焦平面坐标系（〇')下的RGB图像和深度图像转换到世界坐标系（Ou)下的点 云数据，点云数据包含RGB图像中每个点的R、G、B三个图像颜色通道的数值和深度图像中 对应的每个点的深度值，R为红色，G为绿色，B为蓝色； 焦平面坐标系是以RGB图像和深度图像所在平面为x，y轴，垂直于平面方向为z轴的 像素点坐标系；世界坐标系是以光心为原点的坐标系；焦平面坐标系和世界坐标系都相对 于RGB图像的位置不变，焦平面坐标系以像素为单位，世界坐标系以米为单位，根据摄像头 参数将RGB图像从焦平面坐标系转换到世界坐标系下的点云数据，每个像素点的转换公式
其中（cx，cy)是光心在焦平面上的坐标，z。是像素点在深度图像 中的值，f?是RGB-D摄像头的焦距，（x。，y。，z。）是转换到世界坐标系的坐标值； 步骤二、对步骤一中获取的RGB图像和深度图像做图像预处理和局部特征提取；图像 预处理是对RGB图像和深度图像使用高斯滤波，局部特征提取是在RGB图像用哈森仿射/ 哈里斯仿射（Hessian-affine/Harris-affine)提取局部特征，得到若干的局部特征，取局 部特征的中心点为特征点； 步骤三、本步骤包括对步骤二中提取的局部特征的中心点由空间分块、灰度序列标记、 法向量序列标记三个变量表述；根据步骤二中局部特征的中心点的深度图像数据计算出特 征点的尺度值和主方向； (1) 、空间分块：在RGB图像中，将以每个特征点为中心的圆形区域作为其邻域，并将圆 形区域分成若干个扇形的子块，但是深度图像中并不分块； (2) 、灰度序列标记：将特征点的邻域中像素点按照灰度值大小排序，根据排序的序号 等分成若干个组；统计出步骤三（1)中每个扇形柱体子空间中像素点的个数； (3) 、法向量序列标记：在世界坐标系下的每个特征点的邻域可以拟合成一个曲面，并 求出曲面中每个像素点的法向量，两个法向量的夹角可以用点积计算，当点积小于设定阈 值时，把点积按照与灰度值相同的方法排序，再将点积的序列分成一个或者多个组； (4) 、特征点的尺度值：特征点的尺度值与特征点的深度值（步骤一中重 新定义）近似成反比关系，尺度值根据特征点的深度值通过以下公式求取：
其中z。是特征点的深度值，max是取最大值，根据特征点的尺 度值可以得到取的特征点的邻域的半径r=R*s，其中R是常量，r为所求半径。然后将特 征点的半径为r的邻域降采样，降采样后的所有特征点的圆形区域半径相同，单位是像素 个数； (5) 、局部特征主方向：统计步骤三（2)中的每个扇形子块中所有像素与中心点的法向 量的点积，取平均点积最小的扇形子块，即与中心点夹角最大的子块，该子块所在的方向为 特征点的邻域的主方向； 步骤四、根据步骤三的空间分块、灰度序列标记、法向量序列标记三个变量构建成三维 直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。
2. 根据权利要求1所述的基于RGB-D摄像传感器的局部图像匹配方法，其特征在于，在 所述步骤二中，采用包括以下步骤： 所述步骤二的图像预处理采用高斯滤波器对RGB图像和深度图像分别进行噪声平滑； 高斯滤波器中高斯核的参数包括标准差。和平滑半径r(r2=x2+y2)，RGB图像选取高斯核 的标准差〇 = 1，平滑半径r= 5〇 ;在深度图像中，取〇 = 2,滤波窗口半径取r= 5〇， 即r= 10〇
3. 根据权利要求1所述的基于RGB-D摄像传感器的局部图像匹配方法，其特征在于，在 所述步骤三中，采用包括以下步骤： (1) 、灰度序列标记：特征点的邻域中像素按灰度值大小排序，按照其取值范围分成多 个组；统计出每个在该像素值区间点的个数，利用选择排序算法（SelectionSort)得到每 个区间的边界值，即可将每个像素分类，复杂度为0 (nlog2 (nbins)); (2) 、特征点的尺度值：为了减少计算的复杂度，将每个特征点的邻域归一化，全部降采 样为固定大小的圆形区域。
【专利摘要】本发明提供了一种基于RGB-D传感器的局部图像描述方法，包括以下方法：标定RGB-D传感器的参数，对获取的RGB图像和深度图像做图像预处理和局部特征提取；提取的局部特征的中心点由空间分块、灰度序列标记、法向量序列标记三个变量表述；根据局部特征的中心点的深度图像数据计算出特征点的尺度值和主方向；构建成三维直方图，将该三维直方图展开并归一化成一维向量，该向量即为局部特征的描述子。本发明相比于二维、三维、融合描述子，光照鲁棒性和场景多变的鲁棒性具有明显的优势。本发明基于深度的尺度不变性和旋转不变性方法，点云深度数据代替高斯金字塔的尺度空间估计，速度大大加快。
【IPC分类】G06T7-00
【公开号】CN104778701
【申请号】CN201510177576
【发明人】刘勇, 冯光华
【申请人】浙江大学
【公开日】2015年7月15日
【申请日】2015年4月15日