br>[0038] 2-2、对特征点进行描述：选择一个描述窗口，利用窗口区域中其它点对特征点的 小波响应来对特征点进行描述。将用于测量水平方向的局部强度差值的核记为dx，用于测 量垂直方向的差值的核记为dy。窗口区域被分割为4X 4大小的子区域，对于每个区域计算 5X5均匀摆放的dx响应和dy响应。然后对所有的响应求和，每个区域提取四个描述子的 值：
[0039] V = [ Σ dx Σ dy Σ I dx I Σ | dy | ] (2)
[0040] 每个小区域有4个值，每个特征点则可用一个16X4 = 64维的向量描述。利用向 量的距离公式求解两幅图像中特征点之间的距离，设定一个阈值P，当两个特征向量的距离 之比大于该阈值P时认为其对应的一组特征点对是匹配点；
[0041] 2-3、对检测到的特征点对依次进行比率测试及对称性测试，移除错误的匹配点， 获取优质的匹配点。
[0042] 步骤3 :通过双目立体视觉原理计算匹配点在摄像机坐标系下对应的三维坐标： 假设由步骤2-3得到的一组匹配点为（X1J 1)和α，乙)，则匹配点在摄像机坐标系下对应 的三维坐标见公式（3):
[0043]
[0044] 其中（X1J1)和（H)分别为匹配点在左、右相机图像中的图像坐标；B为基线 距，即左、右相机光心间的距离；f为摄像机的焦距；Disparity = X1-I为视差。
[0045] 步骤4:本发明忽略盲道不平整带来的不共面的影响，设所有三维点都位于盲道 平面上，采用最小二乘法计算得到的盲道平面的法向量为JpJpC1)，则盲道平面方程可 以表示为：
[0046] Α^+Β^+Ο^ = 1 (4)
[0047] 其中，（X，y，z)表示摄像机坐标系下的三维坐标，A1, B1, C1为盲道平面方程的系数。
[0048] 本发明基于单应性矩阵计算盲道中心线的方向向量的示意图如图3所示，首先在 左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性矩阵变换得到其在右 图像中对应点的图像坐标，得到中心线上的两组匹配点；再通过双目立体视觉原理计算这 两组匹配点在摄像机坐标系下对应的三维坐标，两三维点间的向量即为盲道中心线的方向 向量。具体步骤详细说明如下：
[0049] 步骤1 :由所得的四配点可计算左、右相机图像间的单应性矩阵如下式：
[0050]
[0051] 其中，（X，Y)和（x，y)分别为匹配点在左、右相机图像中的图像坐标，H为左、右相 机图像间的单应性矩阵；
[0052] 步骤2 :在左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性 矩阵变换得到其在右图像中对应点的图像坐标，得到中心线上的两组匹配点；
[0053] 步骤3 :通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维 坐标，由于这两个三维点均位于实际盲道的中心线上，因此两点间的向量即为盲道中心线 的方向向量^
[0054] 然后计算过盲道中心线的垂面方程，盲道垂面的法向量$(冬吳,〇由式 7 = f x/得出，进而得到的盲道垂面方程为：
[0055] A2x+B2y+C2z = D (6)
[0056] 其中，（X，y，z)表示摄像机坐标系下的三维坐标，A2, B2, C2, D为盲道垂面方程的系 数，了为盲道中心线的方向向量，?为盲道平面的法向量，?为盲道垂面的法向量；
[0057] 最后盲道中心线的空间方程由盲道平面方程和盲道垂面方程联合表示：
[0058]
[0059] 其中，（x，y，z)表示摄像机坐标系下的三维坐标，A2, B2, C2, D为盲道垂面方程的系 数，A1, B1, C1为盲道平面方程的系数。
【主权项】
1. 一种基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征在于：对所采集的 盲道左、右相机图像进行匹配，并计算匹配点的三维坐标，进而计算盲道平面方程；再根据 匹配点计算左、右相机图像间的单应性矩阵，获取左图像盲道中心线上的已知点在右图像 中的匹配点，得到其三维坐标及盲道中心线的方向向量；最后计算过此中心线的盲道垂面 方程，联立两个平面方程得到盲道中心线的空间方程，实现盲道相对左相机的定位。2. 根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征 在于：所述的计算盲道平面方程的步骤包括： 步骤一：对盲道进行拍摄，获取盲道的左、右相机图像； 步骤二：检测左、右相机图像的SURF特征点，提取特征描述子并对其进行匹配，获取匹 配点； 步骤三：通过双目视觉原理计算匹配点在摄像机坐标系下对应的三维坐标； 步骤四：通过最小二乘法计算步骤三中的三维点所在平面的法向量f则盲 道平面方程可以表示为： Ap+Bj+CiZ= 1 其中，（x，y，z)表示摄像机坐标系下的三维坐标，AdBuQ为盲道平面方程的系数。3. 根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征 在于：所述的计算盲道中心线的方向向量的步骤包括： 步骤一：由匹配点计算左、右相机图像间的单应性矩阵； 步骤二：在左图像的盲道中心线上任意选取两个已知其图像坐标的点，经单应性矩阵 变换得到其在右图像中对应点的图像坐标，得到中心线上的两组匹配点； 步骤三：通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐 标，进而得到盲道中心线的方向向量I。4. 根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征 在于：过盲道中心线的垂面的法向量由式$ = 得出，进而得到的盲道垂 面方程为： A2x+B2y+C2z=D 其中，（X，y，Z)表示摄像机坐标系下的三维坐标，A2,B2,C2,D为盲道垂面方程的系数，：f. 为盲道中心线的方向向量，g为盲道平面的法向量，f为盲道垂面的法向量。5. 根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法，其特征 在于：盲道中心线的空间方程由盲道平面和盲道垂面联合表示，即由下述公式确定：其中，（x，y，z)表示摄像机坐标系下的三维坐标，A2,B2,C2,D为盲道垂面方程的系数， 虬Bi，Q为盲道平面方程的系数。
【专利摘要】一种基于计算机双目视觉及单应性矩阵的盲道定位方法，对所采集的盲道左、右相机图像进行匹配，并计算匹配点的三维坐标，进而计算盲道平面方程；再根据匹配点计算左、右相机图像间的单应性矩阵，获取左图像盲道中心线上的已知点在右图像中的匹配点，得到其三维坐标及盲道中心线的方向向量；最后计算过此中心线的盲道垂面方程，联立两个平面方程得到盲道中心线的空间方程，实现盲道相对左相机的定位。本发明所获取的盲道位置信息可用于调整盲人在盲道上行走的行进方向，并能够在盲人偏离盲道后引导其走回盲道，适用于计算机视觉导盲。
【IPC分类】G06T7/00
【公开号】CN105096327
【申请号】CN201510494635
【发明人】魏彤, 袁磊, 封洁轩, 贾文渊, 张琳, 金砺耀
【申请人】北京航空航天大学
【公开日】2015年11月25日
【申请日】2015年8月12日