r>[0069] 4-6极值点精确定位，确定关键点；
[0070] 4-7确定关键点的方向；
[0071] 根据关键点周围点的方向统计直方图，确定关键点的主方向；
[0072] 4-8利用关键点周围点的方向梯度生成SIFT关键点的描述128维算子。
[0073] (5)筛选出显著性关键点，步骤如下：
[0074] 若关键点不足5个，则全部列为显著性关键点。对于超过N个的进行下列处理：
[0075] 5-1将所有关键点按空间划分为四份；
[0076] 5-2计算各区域area;(i= 1、2、3、4)中关键点到中心点c的距离(Iij ((Iu代表空间 i中第j个关键点到中心点C的距离），进行归一化处理得d' 1];
[0077] 5-3对各区域关键点亚像素差分值进行归一化处理，得到D'uU1);
[0078] 5-4计算个区域SIFT关键点的显著性指标significant,significant= d' Jx1);
[0079] 5-5取significant值前5个最大值作为显著性关键点。
[0080] (6)利用卡尔曼滤波算法预测主摄像头特定关键点在下帧中的位置；
[0081] 此处采用的是线性卡尔曼滤波器。具体步骤如下：
[0082] 6-1滤波器初始化
[0083] 随机初始化JT
[0084] 6-2状态矢量预测
[0085] -ZfXn-IlH-I+Un
[0086] C-!=F^"-vFT+Q
[0087] 6-2观测值预测
[0088] Z"|"-l =HXn\n-l
[0089] Pg_v =HP^vHt +?
[0090] ,'扩
[0091] 6-3卡尔曼滤波器更新 [0092]A=Lr1 A- a A-
[0093] 二X,,卜i +[〃(4 - :i.)
[0094] PZ=^-KiiPIyK:
[0095] 代表卡尔曼滤波对真实值的预测，真实值指的是无法被确定观测的但实际存 在的物理值，代表卡尔曼滤波对观测值的预测，观测值指的是通过物理手段能够收集 的可测量数据，是依据n-1时刻对状态量Xn、预测而得出的变量值，P指代的是 协方差矩阵，上标代表的是进行协方差矩阵计算法变量，下表指的是对应变量取值的时间， 例如指的是n-1时刻观测变量Zni、与n时刻状态变量Xn、的协方差，Kn指的是信息增 益，R为观测噪声的协方差矩阵。
[0096] 此处对SIFT关键点的运动建模为线性运动，因此转移矩阵F、H分别为：
[0097] H= [1，0, 0, 0 ;0, 0, 1，0]
[0098] F= [1，T，0, 0 ;0, 1，0, 0 ;0, 0, 1，T;0, 0, 0, 1]
[0099] 1!"代表已知控制，Q为观测噪声，此处均设为零。
[0100] (7)利用卡尔曼滤波算法以及双目视觉成像原理，预测辅摄像头匹配关键点在下 一帧中的位置，步骤如下：
[0101]7-1计算出主摄像头关键点在主摄像头下帧图像中利用卡尔曼滤波器预测的位置 (xmvm ). next? J next/，
[0102] 7-2根据公式：
[0103] X next = X next fT/Z
[0104] Y3next= y "next fT/Z
[0105] 计算出辅助摄像头中SIFT关键点位置预测（xa_t，ya_t)。
[0106] Xanrait,yanrait指的是SIFT关键点在下一帧中X，y坐标的预测，f指的是摄像头焦距， T真的是主辅摄像头在水平方向的距离，Z指的是车牌与摄像头的距离。
[0107] (8)辅助摄像头利用上帧中对本帧匹配关键点的预测位置，在其领域像素点内搜 索SIFT关键点，并进行匹配；
[0108] 匹配时利用欧式距离进行相似性判断，利用最近邻算法确定最终的匹配点，匹配 点确定规则为最小距离dm与次最小距离d'm的比值小于一确定阈值。
[0109] (9)所有显著性关键点匹配后，利用双目视觉成像原理，计算车牌距离；车牌距离 加权平均，得出目标最终距离，具体步骤为：
[0110] 9-1利用公式Z=fTAxm-Xa)计算每一关键点对应的测算距离Z];
[0112] xm，？分别指显著性关键点在主辅摄像头中X方向坐标，Z,是根据第j个显著性关 键点测算的车牌距离。
[0113] 如图4所示，第(6) (7) (8) (9)步骤，包括主摄像头SIFT关键点预测、辅摄像头关 键点预测、主辅摄像头关键点匹配、车牌距离测算。输入流为SIFT关键点的坐标，输入流为 车牌距离。
[0114] 以上所述实施例子仅用于说明本发明的技术思想及特点，其目的在于使本领域内 的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例子来限定本发明的范 围，即凡依本发明所揭示的精神所做的同等变化或修饰，仍落在本发明的范围内。
【主权项】
1. 一种基于双目摄像头的车牌识别与定位方法，其特征在于步骤如下： (1) 构建双目视觉系统，限定其中一个为主摄像头，另一个为辅摄像头； (2) 左右摄像头同时抓拍车辆获取照片； (3) 主摄像头进行车牌识别，包括车牌定位、字符分割和字符识别；主摄像头计算车牌 的尺度不变特征关键点即SIFT关键点，并筛选出SIFT关键点中的显著性关键点； (4) 利用卡尔曼滤波算法预测主摄像头显著性关键点在下帧中的位置； (5) 利用卡尔曼滤波算法以及双目视觉成像原理，预测辅摄像头中与主摄像头待匹配 的显著性关键点在下一帧中的位置； (6) 辅助摄像头利用上帧中对本帧待匹配的显著性关键点的预测位置，在该预测的匹 配的显著性关键点邻域像素点内搜索SIFT关键点； (7) 主辅摄像头显著性关键点匹配，根据向量的欧氏距离及最近邻判别法，确定主辅摄 像头中相匹配的关键点，确定规则为最小欧氏距离Cl ni与次最小欧氏距离d' "的比值小于确 定阈值； (8) 所有显著性关键点匹配后，利用双目视觉成像原理，计算车牌距离；车牌距离加权 平均，得出车牌最终距尚。2. 根据权利要求1所述的基于双目摄像头的车牌识别与定位方法，其特征在于：所述 步骤（3)中筛选显著性关键点的原则如下： (31) 筛选出来的点能在空间上覆盖目标； (32) SIFT关键点本身区分度高的点，区分度以局部极值差分大小判断，对局部极值差 分大于0. 03的点进行排序，排序越靠前视为区分度越大。3. 根据权利要求1或2所述的基于双目摄像头的车牌识别与定位方法，其特征在于： 所述步骤（4)中筛选SIFT关键点的显著性关键点的具体步骤为： 若SIFT关键点不足N个，则全部列为显著性关键点，对于超过N个的进行下列处理： 2-1将所有SIFT关键点按空间划分为四个区域； 2-2计算各区域area# SIFT关键点到中心点c的距离d u，中心点c指的是车牌区域 的形心；进行归一化处理后的距离代表空间i中第j个SIFT关键点到中心点c的 距离，i = 1、2、3、4 ; 2-3对各区域中SIFT关键点亚像素差分值进行归一化处理，得到D' ^(X')，亚像素 差分值是在SIFT关键点生成过程中的临时变量； 2-4计算个区域SIFT关键点的显著性指标significant, significant = d' JO' "（x' )； 2-5取signif icant值前N个最大值作为显著性关键点； N的取值范围为3-6。4. 根据权利要求1中所述的基于双目摄像头的车牌识别与定位方法，其特征在于：所 述步骤（5)中的卡尔曼滤波算法中使用线性卡尔曼滤波器。5. 根据权利要求1中所述的基于双目摄像头的车牌识别与定位方法，其特征在于：所 述步骤（6)中利用卡尔曼滤波算法以及双目视觉成像原理，预测辅摄像头匹配关键点在下 一帧中的位置的步骤如下： 5-1、计算出主摄像头关键点在主摄像头下帧图像中利用卡尔曼滤波器预测的位置 (xm vm ). next? J next/ ， 5-2、根据公式： Xanext= X "next fT/Z a _ m y next y next fT/Z 计算出辅助摄像头中关键点位置预测（xanMt，yanMt)，f指的是摄像头焦距，T指的是主 摄像头和辅摄像头在水平方向的距离，Z是目标距离摄像头的距离。6.根据权利要求1中所述的基于双目摄像头的车牌识别与定位方法，其特征在于：所 述步骤（8)中目标最终距离计算公式为： 7-1利用公式Z = HV(Xm-Xa)计算每一显著性关键点对应的测算距离Z,，2,是根据第 j个显著性关键点测算的车牌距离； 7-2最终车牌距离N是SIFT关键点的个数，取值范围是3-6, Z是车 牌距离摄像头的距离。
【专利摘要】本发明基于双目摄像头的车牌定位方法，步骤为：构建双目视觉系统，其中一个为主摄像头，另一个为辅摄像头；左右摄像头同时抓拍车辆获取照片；主摄像头进行车牌识别，包括车牌定位、字符分割、字符识别；主摄像头计算车牌的SIFT关键点，并筛选出显著性关键点；利用卡尔曼滤波算法预测主摄像头特定关键点在下帧中的位置；利用卡尔曼滤波算法以及双目视觉成像原理，预测辅摄像头匹配关键点在下一帧中的位置；辅助摄像头利用上帧中对本帧匹配关键点的预测位置，在其领域像素点内搜索SIFT关键点，并进行匹配；所有显著性关键点匹配后，利用双目视觉成像原理，计算车牌距离；车牌距离加权平均，得出目标最终距离。本发明提升了SIFT关键点匹配效率以及精度。
【IPC分类】G06K9/32, G06K9/46, G06K9/62, G06K9/34
【公开号】CN105069451
【申请号】CN201510397476
【发明人】康一梅, 刘洋
【申请人】北京智能综电信息技术有限责任公司
【公开日】2015年11月18日
【申请日】2015年7月8日