基于视觉的地下停车场的定位方法与流程

本发明属于停车检测技术领域，具体说是一种基于视觉的地下停车场的定位方法。

背景技术：

近年来，随着科技的不断进步和人们生活水平的提高，越来越多的人选择购买私家车。随着汽车的增加，对停车场的要求也越来越高，尤其是有的停车场甚至不只是一层。为了避免车主在寻找车辆的过程中迷失方向，需要知道汽车在停车场中的准确位置。目前的定位方法主要有:1)基于gps的定位技术；2)基于蓝牙4.0的定位技术；3)基于无线网络定位技术；4)基于红外、超声波激光等传感器的测距定位技术。

但以上定位技术应用于地下停车场环境下存在其自身的局限性，

1)基于gps的定位技术；gps系统精确定位的关键就在于对卫星和接收机之间距离的准确计算，按照固定模式：距离＝速度×时间，时间确定之后，速度按电磁波的传播速度定。众所周知，电磁波在真空中的传播速度很快，但大气层不是真空状态，信号要受到电离层和对流层的重重干扰。而gps系统只能对此进行平均计算，因此在某些具体区域肯定存在误差，具体体现在以下几个方面：gps系统的精度为米级，误差较大，精度不高；信号弱。在一些偏僻的地方，或立交桥、高楼附近都会失效。3容易受天气影响，在阴天、雨天，搜不到星。尤其是在室内以及地下停车场的环境下，完全无gps信号，定位失效。

2)基于蓝牙的定位技术。蓝牙技术通过测量信号强度进行定位。这是一种短距离低功耗的无线传输技术，在室内安装适当的蓝牙局域网接入点，把网络配置成基于多用户的基础网络连接模式，并保证蓝牙局域网接入点始终是这个的主设备，就可以获得用户的位置信息。蓝牙技术主要应用于小范围定位。蓝牙室内定位技术最大的优点是设备体积小、易于集成在pda、pc以及手机中，因此很容易推广普及。理论上，对于持有集成了蓝牙功能移动终端设备的用户，只要设备的蓝牙功能开启，蓝牙室内定位系统就能够对其进行位置判断。采用该技术作室内短距离定位时容易发现设备且信号传输不受视距的影响。其不足在于蓝牙器件和设备的价格比较昂贵，而且对于复杂的空间环境，蓝牙系统的稳定性稍差，受噪声信号干扰大。尤其是在100*100米的平面范围内，蓝牙无线定位的精度在5米左右，误差较大。

3)基于无线网络定位技术；无线局域网络可以实现复杂的大范围定位、监测和追踪任务，而网络节点自身定位是大多数应用的基础和前提。当前比较流行的wi-fi定位是无线局域网络系列标准之ieee802.11的一种定位解决方案。但该系统采用经验测试和信号传播模型相结合的方式，需要进行基站安装，并且需要采用相同的底层无线网络结构，且价格昂贵，目前还没有大量的普及。

4)基于红外线定位技术；红外线定位技术定位的原理是：红外线发射调制的红外射线，通过光学传感器接收进行定位。虽然红外线具有相对较高的定位精度，但是由于光线不能穿过障碍物，使得红外射线仅能视距传播。直线视距和传输距离较短这两大主要缺点使其室内定位的效果很差。当标识放在口袋里或者有墙壁及其他遮挡时就不能正常工作，需要在每个空间安装接收天线，造价较高。因此，红外线只适合短距离传播，而且容易被荧光灯或者房间内的灯光干扰，在精确定位上有局限性。

5)超声波定位技术；超声波测距主要采用反射式测距法，通过三角定位等算法确定物体的位置，即发射超声波并接收由被测物产生的回波，根据回波与发射波的时间差计算出待测距离。有的则采用单向测距法，超声波定位系统可由若干个应答器和一个主测距器组成，主测距器放置在被测物体上，在微机指令信号的作用下向位置固定的应答器发射同频率的无线电信号，应答器在收到无线电信号后同时向主测距器发射超声波信号，得到主测距器与各个应答器之间的距离。当同时有3个或3个以上不在同一直线上的应答器做出回应时，可以根据相关计算确定出被测物体所在的二维坐标系下的位置。超声波定位整体定位精度较高，结构简单，但超声波受多路径效应和非视距传播影响很大，同时需要大量的底层硬件设施投资，成本太高。

为了避免车主在寻找车辆的过程中迷失方向，在无gps信号的地下停车场环境中，需要知道汽车在停车场中的准确位置，因此快速准确地获取车辆自身的位置信息也成为人们越来越关心的问题之一。

技术实现要素：

针对现有技术存在的上述缺点和不足，本发明提供了一种基于视觉的地下停车场的定位方法，通过摄像头可以获得丰富的地下停车场信息，不受外部信号等因素的干扰；另外，单目摄像头具有结构简单、运动灵活、易于标定、成本低、容易采购和安装等诸多优点。

为实现上述目的，本发明提供一种基于视觉的地下停车场的定位方法，包括：

s1，采集停车场环境信息；

s2，对停车场环境信息进行特征提取与跟踪；

s3，对提取与跟踪后的信息进行特征匹配；

s4，选取关键帧；

s5，计算停车场中车辆的位姿；

s6，计算世界坐标系下车辆的全局位姿。

进一步的，步骤s1中具体方法为：在车辆前端架设一台单目摄像头，使摄像头光轴与车身平行。

进一步的，步骤s2中对停车场环境信息进行特征提取具体方法为：

s21：在获取图像序列时，均进行统一的尺寸变换，将图像序列进行抽样；

s22：采用k级图像金字塔，提取fast角点，

s23：将每层金字塔分成网格，在每格至少提取l个角点；

s24：若角点数<l，则提高阈值，重新进行提取；

s25：根据提取到的fast角点，采用brief算法计算方向和orb特征描述子。

进一步的，采用brief算法计算方向具体为：

步骤1.以关键点p为圆心，以d为半径做圆o；

步骤2.在圆o内某一模式选取n个点对；

步骤3.定义操作t

其中，ia表示a的灰度值，ib表示b的灰度值；

步骤4.分别对已选取的点对进行t操作，将得到的结果进行组合。

更进一步的，步骤s3中对提取与跟踪后的信息进行特征匹配具体为：

s31.初始化内点，在给定匹配点对中随机抽取n对匹配点对；

s32.通过内点计算出基本矩阵f；

s33.对匹配点对中剩余的匹配点对，计算出它们与基本矩阵的距离，如果结果小于某阈值，则判定其为不对称的匹配点，对其进行剔除；

s34.重复执行上一步骤，直到得到最近邻匹配点为该特征的最终匹配点。

更进一步的，步骤s4中选取关键帧具体为：当内点数大于一定数目时，确定该帧为关键帧。

作为更进一步的，步骤s5中计算停车场中车辆的位姿具体为：

首先归一化所有的特征点，然后分别根据关键帧求解基础矩阵和本质矩阵；

基础矩阵为：

x'fx＝0

其中，是两幅图像的任意一对匹配点；当给定足够多的匹配点时，用该公式来计算未知的基础矩阵f；

归一化后的本质矩阵为：

e＝t×r＝[t]x·r

其中e表示本质矩阵，t表示平移向量，[t]x表示t的反对称矩阵，旋转矩阵为r。

作为更进一步的，用sh表示本质矩阵的得分，sf表示基础矩阵的得分，根据以下判定模型进行判定，如果：

如果比值大于0.45则选择本质矩阵求得的结果，如果比值小于等于0.45选择基础矩阵求得的结果。

作为更进一步的，s6计算世界坐标系下车辆的全局位姿具体为：

根据匹配的三维点对、基础矩阵和本质矩阵，求解特征点对应的三维世界中的点，即世界坐标系下车辆的全局位姿；

得到的每一帧的运动参数进行累积，得到世界坐标系下车辆运动的全局位姿，即在停车场的实时位置和转角信息，记n时刻的相机位置记为ck，k-1时刻的相机位置记为ck-1，其中ck＝ck-1tk,k-1，此时重建车辆在地下停车场中的运动轨迹，并等待下一帧图像输入，再从步骤1开始循环重复步骤。

本发明由于采用以上技术方案，能够取得如下的技术效果：在获取图像序列的时候，均进行统一的尺寸变换，将图像序列统一大小同时进行灰度处理，减小计算量，提高速度；采用图像金字塔，提取fast角点，其中，将金字塔分成网格，保证了单映射分布，使车辆在运动过程中即使有震动也能够检测到特征点，提高了特征提取的有效性。

通过摄像头可以获得丰富的地下停车场信息，不受外部信号等因素的干扰；另外，单目摄像头具有结构简单、运动灵活、易于标定、成本低、容易采购和安装等诸多优点。

附图说明

本发明共有附图1幅：

图1为基于视觉的地下停车场的定位方法流程图；

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

本实施例提供了一种基于视觉的地下停车场的定位方法，包括：

s1，采集停车场环境信息：在车辆正前端架设一台单目摄像头，使摄像头光轴与车身平行；因此车辆在地下停车场的行进过程中，可以以很大视角拍摄到停车场的环境信息。同时，设置采样帧率为30fps，记在第n时刻的图像为in，n-1时刻的图像为in-1；

s2，对停车场环境信息进行特征提取与跟踪，具体为：

s21：无论采集停车场视频的时候采用的是否为标准视频，在获取图像序列时，均进行统一的尺寸变换，将图像序列进行抽样；统一为640*480大小同时进行灰度处理，如此，在保证精度的情况下，可以大幅度减小orb提取量，提高系统采集速度；

s22：采用8级图像金字塔，提取fast角点，经过大量实验发现在尺度为1.25的情况下，提取效果最好，因此本申请采用的尺度为1.25；

s23：为了确保单映射分布，将每层金字塔分成网格，通过大量实验获得每层网格最佳阈值为50，在每格至少提取5个角点；

s24：若角点数<5，则提高阈值，重新进行提取；

s25：根据提取到的fast角点，采用brief算法计算方向和orb特征描述子；

s3，对提取与跟踪后的信息进行特征匹配，具体为：

s31.初始化内点，在给定匹配点对中随机抽取4对匹配点对；

s32.通过内点计算出基本矩阵f；

s33.对匹配点对中剩余的匹配点对，计算出它们与基本矩阵的距离，如果结果小于某阈值，本文设定该阈值为0.7，则判定其为不对称的匹配点，对其进行剔除；

s34.重复执行上一步骤，直到得到最近邻匹配点为该特征的最终匹配点；

s4，选取关键帧；为了减小后续的计算量，提高定位系统的计算处理速度，需要剔除无效帧，仅对具有代表性的关键帧进行后续图像处理，关键帧的判别准则为：当内点数大于一定数目时，如>70％时，确定该帧为关键帧；

s5，计算停车场中车辆的位姿：

首先归一化所有的特征点，然后分别根据关键帧求解基础矩阵和本质矩阵；

基础矩阵为：

x'fx＝0

其中，是两幅图像的任意一对匹配点；当给定足够多的匹配点时，如大于等于7对，用该公式来计算未知的基础矩阵f；

可选的，x＝(x,y,1)^t和x'＝(x',y',1)^t，则每一组匹配点提供关于f的未知元素的一个线性方程，其系数可以很容易地用已知点x和x'的坐标来表示。具体的说，对应于一对点x＝(x,y,1)^t和x'＝(x',y',1)^t的方程是xx'f11+yx'f12+x'f13+xy'f21+yy'f22+y'f23+xf31+yf32+f33＝0用矢量f表示由f的元素组成，并按行先后顺序排列的9维矢量，则可以用该公式表示。

(xx',yx',x',xy',yy',y',x,y,1)f＝0

从n组点匹配的几何，我们便可以得到如下线性方程组，

由此线性方程组知，若矩阵a的秩为8，则存在唯一解，能保证得到的基础矩阵保持不变。

本质矩阵是归一化图像坐标下的基本矩阵的特殊形式，因此，归一化后的本质矩阵为：

e＝t×r＝[t]x·r

其中e表示本质矩阵，t表示平移向量，[t]x表示t的反对称矩阵，旋转矩阵为r。

可选的，本质矩阵的求解可以通过以下方程

求得。其中和分别表示相邻两帧图像中，同一组特征点的齐次坐标。

用sh表示本质矩阵的得分，sf表示基础矩阵的得分，根据以下判定模型进行判定，如果：

如果比值大于0.45则选择本质矩阵求得的结果，如果比值小于等于0.45选择基础矩阵求得的结果。

实施例2

作为对实施例1的补充，上述方法还包括：s6，计算世界坐标系下车辆的全局位姿为：根据匹配的三维点对、基础矩阵和本质矩阵，求解特征点对应的三维世界中的点，即世界坐标系下车辆的全局位姿；

设u＝w(u,v,1)^t表示在齐次坐标系下的点，w为一个比例因子。

设x＝(x,y,z,1)^t表示的是u点对应的世界中的三维点，pi^t是变换矩阵[r1,2|t1,2]的第i行元素。

得到关于点x的四个线性方程组，表示形式是ax＝0，其中a是4*4的矩阵，然后进行奇异值分解计算求得x的四组解:(r1,t1),(r1,t2),(r2,t1),(r2,t2)。

tn和rn构成tn,rn-1。

其中表示的是n时刻和n－1时刻单目摄像头位置的变换矩阵。

将得到的每一帧的运动参数进行累积，得到世界坐标系下车辆运动的全局位姿，即在停车场的实时位置和转角信息，记n时刻的单目摄像头位置为ck，k-1时刻的单目摄像头位置为ck-1，其中ck＝ck-1tk,k-1，此时重建车辆在地下停车场中的运动轨迹，并等待下一帧图像输入，再从步骤s1开始循环重复步骤。

实施例3

作为对实施例1或2的补充，步骤s25：采用brief算法计算方向，具体为：

步骤1.以关键点p为圆心，以d为半径做圆o；

步骤2.在圆o内某一模式选取n个点对；这里为方便说明，n＝4，而本申请在停车场定位的应用中n取512；假设当前选取的4个点分别标记为：p1(a,b)、p2(a,b)、p3(a,b)、p4(a,b)；

步骤3.定义操作t

其中，ia表示a的灰度值，ib表示b的灰度值；

步骤4.分别对已选取的点对进行t操作，将得到的结果进行组合。

假如：t(p1(a,b))＝1、t(p2(a,b))＝0、t(p3(a,b))＝1、t(p4(a,b))＝1则最终的描述子为：1011

可选的，例如得到的特征点a、b的描述子如下，

a：1010，b：1011

我们设定阈值为75％，当a和b的描述子的相似度大于75％时，我们判断a,b是相同的特征点，即这2个点匹配成功。

本申请是基于计算机视觉的方法，来实现在地下停车场无gps信号的环境进行定位，具体可以分为以下三部分：首先是在行车过程中，利用车载单目摄像头采集停车场的视频信息，得到车辆在停车场行进过程中的视频记录；采集视频信息之后进行orb特征提取与匹配；然后得到关键帧，然后对关键帧进行跟踪并求解本质矩阵和基础矩阵，从而进行旋转矩阵和平移向量的求解，最后根据累积的参数，进行车辆姿态的估计，得到世界坐标系下的车辆全局位姿。

在获取图像序列时，均进行统一的尺寸变换，将图像序列统一为640*480大小同时进行灰度处理，减小计算量，提高速度；采用8级图像金字塔，提取fast角点，其中，将金字塔分成网格，保证了单映射分布，使车辆在运动过程中即使有震动也能够检测到特征点，提高了特征提取的有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。