反遮挡和涂改的车牌识别系统及方法
【专利摘要】本发明公开了反遮挡和涂改的车牌识别系统及方法，在进行车牌识别时，分别进行缺漏和残缺的判断，对缺漏字符输出其数量和位置，对残缺字符给出可能的字符，并根据可能性大小进行排列，并启动车型识别子模块和车颜色识别子模块，根据上述信息，从外部数据库中提取与上述信息最为匹配的车牌号信息，将获取的各可能车牌号输出，该方法针对完全遮改和部分遮改的字符均进行判断和处理，提高了车牌识别的准确率；在图像采集模块中设置可见光主动光源、可见光摄像机、近红外主动光源以及近红外摄像机，获取主被动成像时能获取清晰度、准确度更高的图像，尤其是高亮显示的车牌号区域，为提高车牌识别的准确率提供优质图像。
【专利说明】
反遮挡和涂改的车牌识别系统及方法
技术领域
[0001]本发明涉及智能交通领域，具体涉及反遮挡和涂改的车牌识别系统及方法。
【背景技术】
[0002]车牌是车辆特定的编号，具有字符排列特征，车牌颜色以及车牌字符颜色、内容、位置蕴含有所属车辆的信息，该信息包括所属车辆的类型、以及所属省、市、县等信息，通过车牌可锁定该车辆的主人。车牌识别可应用于停车场收费管理、交通流量测量、车辆定位、超速自动化监测、公路收费站等场合。
[0003]生活中出现有大量假牌、伪牌、套牌的现象，影响车主的利益，而现有车牌识别系统和方法通常仅能判断出车牌字符不全，可能存在假牌、伪牌和套牌的现象，但不能进一步缩小车牌字符的范围，给出该车牌可能的车牌号，导致车牌识别的准确度低，不完全能适用于停车场收费管理、交通流量测量、车辆定位、超速自动化监测、公路收费站等场合。
【发明内容】
[0004]本发明提供反遮挡和涂改的车牌识别系统及方法，解决车牌识别准确率低的问题。
[0005 ]本发明通过以下技术方案解决上述问题:
[0006]反遮挡和涂改的车牌识别系统，与现有技术相同的是，包括车辆检测模块、图像采集模块和控制器模块，车辆检测模块的输出端与图像采集模块的输入端相连，图像采集模块的输出端与控制器模块相连，与现有技术不同的是，所述控制器模块包括车牌识别子模块、车型识别子模块和车颜色识别子模块;所述车牌识别子模块由字符分割单元、判断单元、筛选单元、排序单元和输出单元组成;字符分割单元的输入端与图像采集模块的输出端相连，字符分割单元的输出端与判断单元的输入端相连;判断单元的一路输出端与筛选单元的输入端相连，判断单元的另一路输出端与输出单元的一路输入端相连;筛选单元的输出端与排序单元的输入端相连;排序单元的一路输出端与车型识别子模块的控制端相连，排序单元的另一路输出端与车颜色识别子模块的控制端相连，排序单元的再一路输出端与输出端单元的另一路输入端相连;车型识别子模块的输出端与输出单元的再一路输入端相连;车颜色识别子模块的输出端与输出单元的又一路输入端相连;输出单元还与外部数据库相连;车型识别子模块和车颜色识别子模块分别与图像信息采集模块的输出端相连。
[0007]进一步地，所述车辆检测模块为视频检测器。
[0008]进一步地，所述图像信息采集系统包括近红外摄像机、近红外主动光源、可见光摄像机以及可见光主动光源;近红外摄像机与可见光摄像机水平或垂直连接安装，近红外主动光源与近红外摄像机水平或垂直安装，可见光摄像机和可见光主动光源水平或垂直安装；白天有车辆经过时，近红外主动光源启动，近红外摄像机工作在主动成像状态，可见光主动光源关闭，可见光摄像机工作在被动成像状态；晚上有车辆经过时，近红外主动光源和近红外摄像机均关闭，可见光主动光源工作，可见光摄像机工作在主动成像状态。
[0009]进一步地，图像信息采集系统输出图像至字符分割单元，字符分割单元将图像中车牌部分中的字符进行分割，将分割内容输入至判断单元;判断单元首先判断字符数量是否符合国家规定，如有缺漏，说明车牌中有字符完全被遮改，将完全被遮改的字符的数量和位置输入至输出单元，如无缺漏，则判断剩余字符是否存在残缺，如无残缺，则将无残缺的字符输入至输出单元，如有残缺，则将残缺字符的数量、位置和笔画走向输入至筛选单元；筛选单元根据残缺字符的笔画走向预测所有可能的字符，并将字符输入至排序单元;排序单元对预测字符进行可能性大小排序，将按可能性大小进行排序的预测字符输入至输出单元，同时启动车型识别子模块和车颜色识别子模块;车型识别子模块识别出本车辆的车型，将车型结果输入至输出单元;车颜色识别子模块识别出车辆的颜色，将车颜色输入至输出单元;输出单元根据完全被遮改的字符所在的位置、识别出的无残缺字符及其所在位置、残缺字符的各预测字符及位置、车辆的车型以及颜色，从外部数据库中提取与上述信息车辆信息完全相关的车牌号，与上述车牌号进行比对、校验，输出最可能的车牌号。
[0010]进一步地，所述车型识别模块的识别步骤为:
[0011]I)对图像进行分割和预处理，将图像裁剪并规范，再进行边缘检测和形态学操作；
[0012]2)对形态学操作后的图像进行形状和纹理特征提取，由区域像素数、均值、标准差、三阶矩、熵组成5维特征向量，进行HOG特征提取;将训练样本中所有图像的HOG特征向量构成矩阵，进行PCA降维，降维后的维数结合上述5维，形成新特征向量，运用LDA算法计算其类内散布矩阵Sw和类间散布矩阵Sb，取矩阵SiT1Sb的前4个特征向量作为LDA特征子空间的投影矩阵；
[0013]3)确定参数组合，采用径向基核函数，构造三个一对一分类器，并构造有向无环图，通过决策有向无环图的方法进行车型分类。
[0014]进一步地，所述车颜色识别模块的识别步骤为:
[0015]I)确定网络中的参数为:输入层结点个数、输出层结点的个数、初始权值、阈值、隐含层层数、各隐含层结点个数、学习率、误差函数类型和激励函数类型；
[0016]2)输入层节点个数为3;输出层节点个数为9，；网络中激励函数为Sigmoid型作用函数;误差函数为平方和误差函数;初始权值为-1到I之间的不同的小随机数；阈值由用户给出；隐含层层数为I;各隐层结点个数为5;根据误差变化的趋势动态改变学习率，为自适应改变学习率；
[0017]3)根据时刻以前的梯度方向以及当前的梯度下降方向进行连接权校正。
[0018]进一步地，步骤2)所述的自适应改变学习率的方法为:设置初始学习率，若一次迭代后误差增加，则将学习率乘以一个小于I的常数，若一次迭代后误差减少，则将学习系数乘以一个大于I的常数。
[0019]本发明的优点与效果是:
[0020]1、在进行车牌识别时，分别进行缺漏和残缺的判断，对缺漏字符输出其数量和位置，对残缺字符给出可能的字符，并根据可能性大小进行排列，并启动车型识别子模块和车颜色识别子模块，根据上述信息，从外部数据库中提取与上述信息最为匹配的车牌号信息，将获取的各可能车牌号输出；该方法针对完全遮改和部分遮改的字符均进行判断和处理，提高了车牌识别的准确率；
[0021]2、在图像采集模块中设置可见光主动光源、可见光摄像机、近红外主动光源以及近红外摄像机，近红外摄像机与可见光摄像机水平或垂直连接安装，近红外主动光源与近红外摄像机水平或垂直安装，可见光摄像机和可见光主动光源水平或垂直安装，获取主被动成像时能获取清晰度、准确度更高的图像，尤其是高亮显示的车牌号区域，为提高车牌识别的准确率提供优质图像。
【附图说明】
[0022]图1为本发明结构原理框图。
【具体实施方式】
[0023]以下结合实施例对本发明作进一步说明，但本发明并不局限于这些实施例。
[0024]反遮挡和涂改的车牌识别系统，与现有技术相同的是，均包括车辆检测模块、图像采集模块和控制器模块，车辆检测模块的输出端与图像采集模块的输入端相连，图像采集模块的输出端与控制器模块相连，与现有技术不同是，在各模块均进行了相应的改进。
[0025]车辆检测模块采用电测感应线圈、超声波、激光、动态称重和视频图像中的一种或一种以上，用于检测是否有车辆通行，检测结果灵敏，才会避免发生误判，才能避免图像采集丰吴块误启动。
[0026]电磁感应线圈检测车辆的方法为:在公路下铺设电磁感应线圈，通以高频电流，当车辆通过时，车辆所含的金属在电磁感应线圈内产生涡流，使得电磁感应线圈电感量减小，从而获得交通流量信号。上述检测车辆的方法，用于检测交通流量、占有率等交通参数时准确率较高，其优点在于成本低、不受气候影响，缺点在于可移动性差、容易受到损坏、寿命短。
[0027]超声波检测车辆的方法为:由超声波发生器发射高频波，由运动车辆以变化的频率返回，通过换能器记录下频率特征，从而进行车辆检测。上述检测车辆的方法，适用于高速公路的车辆检测，其优点在于使用寿命长、可移动、假设方便，缺点在于反射信号不稳定、检测精度较差且容易受环境影响。
[0028]激光检测车辆的方法为:用脉冲激光作为媒介，通过测量激光面的反射结果来检测距离信息，根据不同距离获取车辆的三维外形形状，进行车辆检测和车型识别。上述检测车辆的方法，适用于高速公路和收费系统中，但设备成本过高，同类激光检测器之间存在信号干扰，会产生接收数据错误，降低系统的可靠性，而且还会污染环境。
[0029]动态称重检测车辆的方法为:当车辆通过时，检测器受力产生形变，通过回传信息检测车辆，测量车辆的轴重、轴距、总重、车速等，并按预先制定的车型分类表，自动识别车型，其优点在于耗费时间少、效率高，其缺点在于设备安装复杂、寿命短、精度容易受影响。
[0030]视频检测车辆的方法为:视频检测器检测到有车辆通过时，由车辆信息采集模块进行信息采集，控制器分析视频图像，通过摄像头从视频流中提取图像，从图像中提取有效信息，根据信息进行车辆检测，其优点在于安装简便、可移动、检测范围大、获取信息量大、无污染、视频检测器之间无干扰，其缺点在于实时性要求高，复杂背景下车辆检测的准确率难以达到实用化的程度。
[0031]用户可根据使用场合以及实际需求，选用上述5种车辆检测方式中的一种或一种以上。本发明优选地，选用视频检测车辆的方法，即车辆检测模块为视频检测器，视频检测器的输出端与图像采集模块的输入端相连，将控制信号输入至图像采集模块，控制图像采集丰吴块的启动和关闭。
[0032]车辆信息采集模块包括近红外摄像机、近红外主动光源、可见光摄像机以及可见光主动光源组成。近红外摄像机与可见光摄像机水平或垂直连接安装，近红外主动光源与近红外摄像机水平或垂直安装，可见光摄像机和可见光主动光源水平或垂直安装。白天有车辆经过时，近红外主动光源启动，近红外摄像机工作在主动成像状态，可见光主动光源关闭，可见光摄像机工作在被动成像状态;晚上有车辆经过时，近红外主动光源和近红外摄像机均关闭，可见光主动光源工作，可见光摄像机工作在主动成像状态。主被动成像的工作模式切换，有助于在白天和晚上进行车牌定位的时候，获取到高亮的车牌位置。主动成像可克服外接光照影响，实现图像中车牌区域的高亮显示，车身、其他背景以及遮改材料的低亮显示。视频检测器检测到有车辆通过，将触发信号发送至车辆信息采集模块，启动可见光摄像机和/或近红外摄像机，白天时，车辆信息采集模块输出的是相近视场的一组近红外、可见光图像，晚上时，车辆信息采集模块输出的是一副可见光图像。
[0033]上述一组近红外、可见光图像或者一副可见光图像输送至车牌识别子模块，由车牌识别子模块对所获取的图像进行车牌识别，根据需要，还将所获取的图像输入至车型识别子模块和车颜色识别子模块，进行车型和车颜色的识别。现实生活中出现有遮改车牌的现象，某个字符部分被遮改或者某个字符完全被遮改本发明针对单个字符的遮改情况进行处理;当车牌出现多种遮改现象时，本发明对相关字符逐一进行识别。
[0034]控制器模块包括车牌识别子模块、车型识别子模块和车颜色识别子模块;车牌识别子模块由字符分割单元、判断单元、筛选单元、排序单元和输出单元组成;字符分割单元的输入端与图像采集模块的输出端相连，字符分割单元的输出端与判断单元的输入端相连;判断单元的一路输出端与筛选单元的输入端相连，判断单元的另一路输出端与输出单元的一路输入端相连;筛选单元的输出端与排序单元的输入端相连;排序单元的一路输出端与车型识别子模块的控制端相连，排序单元的另一路输出端与车颜色识别子模块的控制端相连，排序单元的再一路输出端与输出端单元的另一路输入端相连;车型识别子模块的输出端与输出单元的再一路输入端相连;车颜色识别子模块的输出端与输出单元的又一路输入端相连;输出单元还与外部数据库相连;车型识别子模块和车颜色识别子模块分别与图像信息采集模块的输出端相连。
[0035]图像输入至字符分割单元，字符分割单元将图像中车牌部分中的字符进行分割，将分割内容输入至判断单元;判断单元首先判断字符数量是否符合国家规定，如有缺漏，说明车牌中有字符完全被遮改，将完全被遮改的字符的数量和位置输入至输出单元，如无缺漏，则判断剩余字符是否存在残缺，如无残缺，则将无残缺的字符输入至输出单元，如有残缺，则将残缺字符的数量、位置和笔画走向输入至筛选单元;筛选单元根据残缺字符的笔画走向预测所有可能的字符，并将字符输入至排序单元;排序单元对预测字符进行可能性大小排序，将按可能性大小进行排序的预测字符输入至输出单元，同时启动车型识别子模块和车颜色识别子模块;车型识别子模块识别出本车辆的车型，将车型结果输入至输出单元；车颜色识别子模块识别出车辆的颜色，将车颜色输入至输出单元;输出单元根据完全被遮改的字符所在的位置、识别出的无残缺字符及其所在位置、残缺字符的各预测字符及位置、车辆的车型以及颜色，从外部数据库中提取与上述信息车辆信息完全相关的车牌号，与上述车牌号进行比对、校验，输出最可能的车牌号。
[0036]车型识别子模块获取车辆图像后，按以下步骤进行车型识别:
[0037]I)对图像进行分割和预处理，将图像裁剪并规范，再进行边缘检测和形态学操作；
[0038]2)对形态学操作后的图像进行形状和纹理特征提取，由区域像素数、均值、标准差、三阶矩、熵组成5维特征向量，进行HOG特征提取;将训练样本中所有图像的HOG特征向量构成矩阵，进行PCA降维，降维后的维数结合上述5维，形成新特征向量，运用LDA算法计算其类内散布矩阵Sw和类间散布矩阵Sb，取矩阵SiT1Sb的前4个特征向量作为LDA特征子空间的投影矩阵；
[0039]3)确定参数组合，采用径向基核函数，构造三个一对一分类器，并构造有向无环图，通过决策有向无环图的方法进行车型分类。
[0040]车颜色识别子模块获取车辆图片后，通过以下步骤进行车颜色识别:
[0041]I)确定网络中的参数:输入层结点个数、输出层结点的个数、初始权值、阈值、隐含层层数、各隐含层结点个数、学习率、误差函数类型和激励函数类型；
[0042]2)输入层节点个数为3，分别为R、G、B特征;输出层节点个数为9个，分别为红、绿、蓝、黄、橙、银、黑、白和灰；网络中激励函数为Sigmoid型作用函数;误差函数为平方和误差函数;初始权值为-1到I之间的不同的小随机数，小随机数用来保证网络不会因为权值过大而提前进入局部极小点；阈值由用户给出；隐含层层数为I;各隐层结点个数的选取，若结点数目过少，单元网络将不能建立复杂的判断界，使网络训练不出来，或者训练的网络不够强壮，不能识别以前没有的样本，容错性差而结点数目过多，会增加网络的复杂性，导致学习时间过长，还会降低网络的推广能力，而且训练容易陷入局部极小点而得不到全局最优点，本发明中最佳的隐含层节点数为5;学习率的增加会使误差增加，使迭代次数增加，影响收敛速度，本发明根据误差变化的趋势动态改变学习率，即自适应改变学习率；
[0043]3)若只按时刻误差的梯度下降方向调整，而没有考虑时刻以前的梯度方向，容易导致训练过程中发生震荡，收敛缓慢，为加速收敛和防止震荡，在每次对连接权进行校正时，按一定比例加上前一次学习时的校正量，即增加附加动量项，第n+1次迭代时权值的调整量与第n次迭代时相关，由于样本群的各样本间相关性很强，前一个样本的学习结果为下一个样本所用，这样可以加快收敛速度。
[0044]上述自适应改变学习率的方法:先设一初始学习率，若一次迭代后误差增加，则将学习率乘以一个小于I的常数，若一次迭代后误差减少，则将学习系数乘以一个大于I的常数，这样既不增加太多的计算量，又使学习率得到合理的调整。这里，一个样本学习后并不调整学习率，而是在整个训练样本库学习一次后再调整学习率，即采用批处理方式调整学习率。
[0045]本发明中，在车辆检测模块中采用视频检测器，用于启动图像采集模块进行图像采集；图像采集模块中设有可见光主动光源、可见光摄像机、近红外主动光源以及近红外摄像机，用于在白天获取主被动成像，在晚上获取主动成像，无论环境如何变化，均能获取到清晰高亮的车辆图像;将车辆图像分别输入至车牌识别子模块，当车牌号中各字符均能识别时，则直接输出该车牌号，否则启动车型识别子模块和车颜色识别子模块进行车型和车颜色识别，结合部分被遮挡的字符的笔画走向、车型和颜色，从外部数据库中调取与上述特征最为吻合的车辆信息，将所有可能的车牌信息输出，从而提高了车牌识别准确度。
【主权项】
1.反遮挡和涂改的车牌识别系统，包括车辆检测模块、图像采集模块和控制器模块，车辆检测模块的输出端与图像采集模块的输入端相连，图像采集模块的输出端与控制器模块相连，其特征在于: 所述控制器模块包括车牌识别子模块、车型识别子模块和车颜色识别子模块； 所述车牌识别子模块由字符分割单元、判断单元、筛选单元、排序单元和输出单元组成;字符分割单元的输入端与图像采集模块的输出端相连，字符分割单元的输出端与判断单元的输入端相连;判断单元的一路输出端与筛选单元的输入端相连，判断单元的另一路输出端与输出单元的一路输入端相连;筛选单元的输出端与排序单元的输入端相连;排序单元的一路输出端与车型识别子模块的控制端相连，排序单元的另一路输出端与车颜色识别子模块的控制端相连，排序单元的再一路输出端与输出端单元的另一路输入端相连;车型识别子模块的输出端与输出单元的再一路输入端相连;车颜色识别子模块的输出端与输出单元的又一路输入端相连;输出单元还与外部数据库相连;车型识别子模块和车颜色识别子模块分别与图像信息采集模块的输出端相连。2.根据权利要求1所述的反遮挡和涂改的车牌识别系统，其特征在于:所述车辆检测模块为视频检测器。3.根据权利要求1所述的反遮挡和涂改的车牌识别系统，其特征在于: 所述图像信息采集系统包括近红外摄像机、近红外主动光源、可见光摄像机以及可见光主动光源； 近红外摄像机与可见光摄像机水平或垂直连接安装，近红外主动光源与近红外摄像机水平或垂直安装，可见光摄像机和可见光主动光源水平或垂直安装； 白天有车辆经过时，近红外主动光源启动，近红外摄像机工作在主动成像状态，可见光主动光源关闭，可见光摄像机工作在被动成像状态； 晚上有车辆经过时，近红外主动光源和近红外摄像机均关闭，可见光主动光源工作，可见光摄像机工作在主动成像状态。4.基于权利要求1-3中任意一项所述的反遮挡和涂改的车牌识别系统的识别方法，其特征在于，通过以下方式实现: 图像信息采集系统输出图像至字符分割单元，字符分割单元将图像中车牌部分中的字符进行分割，将分割内容输入至判断单元； 判断单元首先判断字符数量是否符合国家规定，如有缺漏，说明车牌中有字符完全被遮改，将完全被遮改的字符的数量和位置输入至输出单元，如无缺漏，则判断剩余字符是否存在残缺，如无残缺，则将无残缺的字符输入至输出单元，如有残缺，则将残缺字符的数量、位置和笔画走向输入至筛选单元； 筛选单元根据残缺字符的笔画走向预测所有可能的字符，并将字符输入至排序单元；排序单元对预测字符进行可能性大小排序，将按可能性大小进行排序的预测字符输入至输出单元，同时启动车型识别子模块和车颜色识别子模块； 车型识别子模块识别出本车辆的车型，将车型结果输入至输出单元； 车颜色识别子模块识别出车辆的颜色，将车颜色输入至输出单元； 输出单元根据完全被遮改的字符所在的位置、识别出的无残缺字符及其所在位置、残缺字符的各预测字符及位置、车辆的车型以及颜色，从外部数据库中提取与上述信息车辆信息完全相关的车牌号，与上述车牌号进行比对、校验，输出最可能的车牌号。5.根据权利要求4所述的反遮挡和涂改的车牌识别方法，其特征在于，所述车型识别模块的识别步骤为: 1)对图像进行分割和预处理，将图像裁剪并规范，再进行边缘检测和形态学操作； 2)对形态学操作后的图像进行形状和纹理特征提取，由区域像素数、均值、标准差、三阶矩、熵组成5维特征向量，进行HOG特征提取;将训练样本中所有图像的HOG特征向量构成矩阵，进行PCA降维，降维后的维数结合上述5维，形成新特征向量，运用LDA算法计算其类内散布矩阵Sw和类间散布矩阵Sb，取矩阵SiT1Sb的前4个特征向量作为LDA特征子空间的投影矩阵； 3)确定参数组合，采用径向基核函数，构造三个一对一分类器，并构造有向无环图，通过决策有向无环图的方法进行车型分类。6.根据权利要求5所述的反遮挡和涂改的车牌识别方法，其特征在于，所述车颜色识别模块的识别步骤为: 1)确定网络中的参数为:输入层结点个数、输出层结点的个数、初始权值、阈值、隐含层层数、各隐含层结点个数、学习率、误差函数类型和激励函数类型； 2)输入层节点个数为3;输出层节点个数为9，；网络中激励函数为Sigmoid型作用函数；误差函数为平方和误差函数;初始权值为-1到I之间的不同的小随机数；阈值由用户给出；隐含层层数为I;各隐层结点个数为5;根据误差变化的趋势动态改变学习率，为自适应改变学习率； 3)根据时刻以前的梯度方向以及当前的梯度下降方向进行连接权校正。7.根据权利要求6所述的反遮挡和涂改的车牌识别方法，其特征在于: 步骤2)所述的自适应改变学习率的方法为:设置初始学习率，若一次迭代后误差增加，则将学习率乘以一个小于I的常数，若一次迭代后误差减少，则将学习系数乘以一个大于I的常数。
【文档编号】G08G1/017GK105844266SQ201610406626
【公开日】2016年8月10日
【申请日】2016年6月12日
【发明人】韦国柱
【申请人】桂林金铱星科技发展有限公司