一种基于双目摄像头的车牌识别与定位方法
【技术领域】
[0001] 本发明应用于车牌识别与距离测量领域，具体为基于双目摄像头的车牌识别与定 位方法。
【背景技术】
[0002] 在车辆监测领域，车牌识别与车辆定位是一项重要的技术基础，车牌识别技术使 得交通监管部门能准确获得车辆信息，督导驾驶者遵守交通规则；车辆定位测距技术在车 距安全预警、车速测量领域有广泛应用前景。
[0003] 利用双目摄像头进行测距的依据是视差原理，因此这就需要在左右摄像头中找出 关键点，通过关键点的匹配算出目标距离。本发明中关键点采用的是SIFT关键点，其具有 抗光照、旋转、尺度变换的优良性质。
[0004] 传统的SIFT关键点索引和匹配算法主要有BBF搜索算法和最近邻法。在进行最 近邻查询过程中有两种方法，一种是最简单的线性扫描，即穷举搜索，依次计算样本集E中 每个样本到输入实例点的距离，然后抽取出计算出来的最小距离的点即为最近邻点。此种 方法较为简单，但当样本集或训练集很大时，算法执行速度会显著下降。另一种方法是构 建索引空间，基本思想是对搜索空间进行层次划分。根据划分的空间是否有混叠可以分为 Clipping和Overlapping两种。前者划分空间没有重叠，其代表就是k-d树；后者划分空 间相互有交叠，其代表为R树。
[0005] 在利用车牌进行定位领域，与利用双目视觉进行三维场景重建相比，不需要进行 整幅图像关键点匹配，只需对场景中待测目标进行关键提取，然后进行左右摄像头图像关 键点匹配，计算距离。由于提取的关键点不多，因此构建索引结构带来的执行效率上的提升 不明显，而且本身索引结构的构建也会消耗时间。因此本发明采用在局部范围内进行线性 扫描的方法来进行SIFT关键点索引。
【发明内容】
[0006] 本发明技术解决问题：克服现有技术的不足，提供了一种利用车辆测距的方法，可 以在进行车牌识别的同时，利用车牌进行车辆测距。在车牌测距中，利用SIFT关键点点进 行关键点匹配时引入了卡尔曼滤波算法，提高了匹配效率。
[0007] -种基于双目摄像头的车牌识别与定位方法，其特征在于步骤如下：
[0008] (1)构建双目视觉系统，限定其中一个为主摄像头，另一个为辅摄像头；
[0009] (2)左右摄像头同时抓拍车辆获取照片；
[0010] (3)主摄像头进行车牌识别，包括车牌定位、字符分割和字符识别；主摄像头计算 车牌的尺度不变特征关键点--SIFT (scale invariant feature transform)关键点，并 筛选出SIFT关键点中的显著性关键点；
[0011] (4)利用卡尔曼滤波算法预测主摄像头显著性关键点在下帧中的位置；
[0012] (5)利用卡尔曼滤波算法以及双目视觉成像原理，预测辅摄像头中与主摄像头待 匹配的显著性关键点在下一帧中的位置；
[0013] (6)辅助摄像头利用上帧中对本帧待匹配的显著性关键点的预测位置，在该预测 的匹配的显著性关键点邻域像素点内搜索SIFT关键点；
[0014] (7)主辅摄像头显著性关键点匹配，根据向量的欧氏距离及最近邻判别法，确定主 辅摄像头中相匹配的关键点，确定规则为最小欧氏距离Clni与次最小欧氏距离d' "的比值小 于确定阈值；
[0015] (8)所有显著性关键点匹配后，利用双目视觉成像原理，计算车牌距离；车牌距离 加权平均，得出车牌最终距离。
[0016] 所述步骤（3)中筛选显著性关键点的原则如下：
[0017] (33)筛选出来的点能在空间上覆盖目标；
[0018] (34)SIFT关键点本身区分度高的点，区分度以局部极值差分大小判断，对局部极 值差分大于〇. 03的点进行排序，排序越靠前视为区分度越大。
[0019] 所述步骤（3)中筛选SIFT关键点的显著性关键点的具体步骤为：
[0020] 若SIFT关键点不足N个，则全部列为显著性关键点，对于超过N个的进行下列处 理：
[0021] 2-1将所有SIFT关键点按空间划分为四个区域；
[0022] 2-2计算各区域area# SIFT关键点到中心点c的距离d u，中心点c指的是车牌 区域的形心；进行归一化处理后的距离d'Vd1,代表空间i中第j个SIFT关键点到中心点 c的距离，i=1、2、3、4 ;
[0023] 2-3对各区域中SIFT关键点亚像素差分值进行归一化处理，得到D' ^(x1)，亚像 素差分值是在SIFT关键点生成过程中的临时变量；
[0024] 2-4计算个区域SIFT关键点的显著性指标significant,
[0025] significant = d' ij*D' u (x1);
[0026]2-5取significant值前N个最大值作为显著性关键点；
[0027]N的取值范围为3-6。
[0028] 所述步骤（4)中的卡尔曼滤波算法中使用线性卡尔曼滤波器。
[0029] 所述步骤（5)中利用卡尔曼滤波算法以及双目视觉成像原理，预测辅摄像头匹配 关键点在下一帧中的位置的步骤如下：
[0030]5-1、计算出主摄像头关键点在主摄像头下帧图像中利用卡尔曼滤波器预测的位 置（Xmnext,ymneJ;
[0031] 5-2、根据公式：
[0032] Xnext = X next fT/Z
[0033]Yanext=ymnextfT/z
[0034] 计算出辅助摄像头中关键点位置预测（xanMt，yanMt)，f指的是摄像头焦距，T指的 是主摄像头和辅摄像头在水平方向的距离，Z是目标距离摄像头的距离。
[0035] 所述步骤（8)中目标最终距离计算公式为：
[0036] 7-1利用公式Z=HV(Xm-Xa)计算每一显著性关键点对应的测算距离Z,，Z,是根 据第j个显著性关键点测算的车牌距离；
是车牌距离摄像头的距离。
[0038] 本发明与现有技术相比的优点在于：本发明与已有的相应技术相比，在SIFT关 键点匹配环节，匹配时间减少，同时由于引入多个关键点测算距离，增加了距离测算的准确 性。
【附图说明】
[0039] 图1为本发明基于双目摄像头的车牌识别与定位方法流程图；
[0040] 图2为本发明中目标车牌定位算法流程图；
[0041] 图3为本发明中车牌识别算法流程图；
[0042] 图4为本发明中主辅摄像头中SIFT关键点卡尔曼滤波预测算法流程图。
【具体实施方式】
[0043] 本发明一种车牌识别与车辆定位的方法与系统，在SIFT关键点匹配上引入了卡 尔曼滤波预测技术，以及视差原理，同时利用多对关键点进行距离测算，最终加权平均计算 目标距离，提高了关键点匹配效率以及测距准确性。方法整体流程图如图1所示。
[0044] 下面结合具体示例，进一步阐述本发明，本实例采用的雄迈3518E网络摄像头搭 建双目视觉系统，图像为720p。
[0045] 输入：左右摄像头的视频流。
[0046] 输出：车牌的距离。
[0047] 具体步骤如下：
[0048] (1)构建双目视觉系统，限定左摄像头为主摄像头，右摄像头为辅摄像头；
[0049] (2)对左右摄像头的视频流进行解码，获取图片信息，大小为1280*720 ;
[0050] (3)主摄像头进行车牌识别，包括车牌定位、字符分割、字符识别，具体步骤如下：
[0051] 3-1根据车牌的先验知识确定车牌候选区域，先验知识包括：车牌为矩形；车牌的 长宽比在一定范围内；车牌的颜色基本固定，蓝底白字、白底黑字等；
[0052] 3-2利用训练好的SVM模型，对候选区域是否存在车牌进行判断，提取存在车牌的 候选区域。具体流程如图2所示，通过先验知识对车牌进行预选，然后人工分类出为车牌的 图像，作为正样本，其他不包含的图像作为负样本，将正负样本输入到SVM训练模型后，得 到生成后的SVM模型。之后即可重复利用SVM模型对车牌区域定位；
[0053] 3-3图像分割。图像分割采用方法为，将包含车牌的区域二值化后，分别向水平、垂 直方向进行投影，统计在各方向二值化后值为1的点的个数，依据个数统计图的波峰波谷 进行字符分割；
[0054] 3-4利用训练好的CNN卷积神经网络进行字符识别。
[0055] 字符分割及字符识别流程图如图3所示。
[0056] (4)计算车牌的SIFT关键点。具体步骤如下：
[0057] 4-1将图像按缩放比例不同分为5组，每组中按高斯滤波器中〇值得不同分为5 层；
[0058] 4-2第i组图像的缩放比例为21 \第i组第j层的高斯滤波函数为：
[0060] 〇 = 21 4k(] 1)/s* 〇。，其中i代表第i组图像，j为第i组图像中的第j层图像，i、 j均从1开始，S代表组内层数，k= 1/2, 〇。为第1组第1层图像所使用的方差值。
[0061] 4-3构建图像LOG空间，其计算公式为：
[0062] L(x，y，〇 ) =G(x，y，〇)*I(x，y)
[0063] I(x，y)为灰度图点（x，y)的灰度值，G(x，y，〇 )为高斯分布函数。
[0064] 4-4构建差分图D0G;
[0065] D(x，y，〇 ) = (G(x，y，〇 (i，j+l))_G(x，y，〇 (i，j)))*I(x，y)
[0066] G(x，y，〇 (i，j))代表第i组j层使用的高斯分布函数，高斯分布函数的方差为 O(i，j)，D(x，y，O)代表点（X，y)处的差分值。
[0067] 4-5计算极值点；
[0068] DOG空间中，每点与其本层周围8个相邻点以及上下两层中对应相邻的9*2个点进 行比较，确定极值点。