一种车辆无牌及车牌遮挡实时检测方法
【技术领域】
[0001]本发明涉及一种车辆无牌及车牌遮挡实时检测方法，属于计算机视觉领域。
【背景技术】
[0002]智能交通系统(ITS)将先进的信息技术、数据通讯传输技术、电子传感器技术、电子控制技术及计算机处理技术等有效地集成运用于整个交通运输管理体系，事实证明智能交通系统的应用大大提高了交通运输的效率，它对于机动车流量监控、道路规划设计和交通指挥引导起到了越来越重要的作用。
[0003]基于视频分析的道路卡口系统是智能交通系统的重要组成部分。该系统主要应用于城市道路或高速公路治安卡口及重点治安地段，结合高清摄像机，依靠视频图像处理技术，实时地对经过卡口的车辆进行全天候检测、抓拍与记录。
[0004]车辆无牌是指车辆没有悬挂车牌，车牌遮挡是指车牌字符被光盘、纸张等物品部分或完全遮挡。在监控场景下，车牌是每个车辆独有的身份证明，故意不悬挂车牌或遮挡车牌都是常见的违法行为。但目前卡口系统使用的车牌识别技术和车辆检测技术没有结合使用来对无牌车辆进行智能报警，也不能对遮挡车牌的行为进行智能报警，使得此类违法事件只能通过肉眼观察发现。
[0005]有学者对被部分遮挡的车牌进行了专门的算法设计，以便能有效识别其余未被遮挡字符，但该方法不能判断该车牌是否被遮挡。
【发明内容】
[0006]本发明的目的在于提供一种车辆无牌及车牌遮挡实时检测方法，主要解决常规卡口系统的上述缺陷。
[0007]为了实现上述目的，本发明采用的技术方案如下:
[0008]一种车辆无牌及车牌遮挡实时检测方法，包括步骤:
[0009](I)分别对视频每个单帧进行车牌识别和车辆检测；
[0010](2)将每帧识别到的车牌，与以往帧识别得到的车牌进行关联，综合识别后并在合适的时机输出车牌轨迹链；
[0011](3)同时，将每帧检测到的车辆，送入车辆跟踪模块，将多帧出现的同一个车辆关联起来，去除误检目标，在车辆驶出画面时输出车辆轨迹链；
[0012](4)对车牌轨迹链的综合识别结果进行分析，判断是否存在字符被遮挡的情况并给出被遮挡的字符位；
[0013](5)将车牌轨迹链和车辆轨迹链进行匹配，当没有匹配到车牌的车辆轨迹链被判断为车辆无牌。
[0014]具体地，当车牌识别和车辆检测均采用训练分类器识别时，在步骤(I)识别和检测前，分别在线下对车牌字符样本库和车辆图像样本库提取特征，分别学习并建立识别模型对字符进行分类和用于判断目标是否为车辆。
[0015]进一步地，车牌字符提取特征并学习建立识别模型在车牌字符样本学习模块中进行，该模块是对一批车牌字符样本提取特征以训练分类模型的过程。车牌字符样本学习模块根据车牌字符样本类型将字符样本分组，训练多个模型，字符样本为二值图或灰度图，提取的特征为网格特征、轮廓特征、投影特征、过线数特征、密度特征、LBP特征中的多种特征的排列组合，可以采用机器学习方法如神经网络、SVM方法等。
[0016]车辆图像提取特征并学习建立识别模型在车辆样本学习模块中进行，该模块提取一批车辆图像样本作为正样本，提取一批不包含车辆的多场景背景图像样本作为负样本用于训练模型，提取的特征为HOG、Haar-1ike窗口区域特征。
[0017]更进一步地，所述步骤(I)车牌识别和车辆检测分别在车牌识别模块和车辆检测模块中进行，其中，车牌识别模块的工作过程如下:
[0018]Cl 1、进行车牌定位，在帧图像上找出车牌；
[0019]C12、计算出车牌倾斜角和错切角将图像校正；
[0020]C13、进行字符分割，先去掉字符区域以外的车牌图像，再进行二值化、反色和去噪处理，对字符进行切分；
[0021]C14、将切分后的字符图像依次进行识别；
[0022]车辆检测模块是在整幅帧图像中找出车辆区域的过程，工作过程如下:
[0023]D11、根据待检测车辆的尺寸范围确定检测尺度；
[0024]D12、在每个尺度上滑动窗口，提取窗口内图像的特征，识别该特征是否是车辆，去掉被识别为背景的窗口；
[0025]D13、将属于同一个目标的窗口融合成一个，得到最终的检测目标。
[0026]再进一步地，所述步骤(2)在车辆关联模块中进行，该模块将多帧出现的同一个车辆关联起来并进行综合识别结果，并得到车牌轨迹链，车辆关联模块的工作过程如下:
[0027]21、通过各帧定位得到的车牌位置和字符识别结果，对以往帧中识别到的车牌轨迹链进行关联，将未关联上的车牌设置为新车牌轨迹链，将关联上的车牌用于旧车牌轨迹链的更新；
[0028]22、当旧车牌轨迹链较长时间没有新的车牌关联而认为轨迹结束时，对该车牌的所有帧识别结果进行综合统计识别和计算置信度。
[0029]再进一步地，所述步骤(3)在车辆跟踪模块中进行，该模块是将多帧间检测到的同一个车辆关联起来并输出其车辆轨迹链的过程，车辆跟踪模块的工作过程如下:
[0030]31、根据车辆检测结果将新检测到的车辆位置与以往帧分析到的车辆轨迹链进行匹配，若匹配上则更新旧车辆轨迹链数据，若没有匹配上则认为是新目标；
[0031]32、对于旧车辆轨迹链来说，若当前帧没有新的车牌检测结果与其匹配，则预测其在当前帧的位置，若超过图像边界则认为车辆轨迹链结束；若没有超过图像边界则分析其是否为误检目标，若是误检则删除该车辆轨迹链。
[0032]再进一步地，所述步骤⑷在车牌遮挡检测模块中进行，该模块用于判断存在车牌识别结果的被遮挡车牌，车牌遮挡检测模块的工作过程如下:
[0033]41、将车牌关联中得到的综合识别结果及各字符的置信度作为输入，将置信度相对较低的字符标记为可疑字符；
[0034]42、分析可疑字符的分布是否合理，然后观察其他非可疑字符的置信度是否足够高，确认可疑字符是否为被遮挡字符。
[0035]最后，所述步骤(5)在车辆无牌检测模块中进行，该模块是根据车牌轨迹链和车辆轨迹链进行匹配，判断某车辆是否挂有车牌的过程，车辆无牌检测模块的工作过程如下:将车辆跟踪得到的车辆轨迹链与车牌关联得到的车牌轨迹链进行比对，如果车辆轨迹链可以匹配上一条车牌轨迹链，则认为是车辆有车牌，否则认为该车辆无车牌。
[0036]与现有技术相比，本发明具有以下有益效果:
[0037]本发明不仅可以有效地自动检测出中小型车辆无牌或车牌遮挡，还可以判断遮挡字符在车牌中的位置，并且可以做到实时处理，若车牌存在遮挡严重不能进行车牌识别时，会被判断为车辆无牌，若遮挡后仍然有车牌识别结果则本方法可以自动判断其为遮挡车牌。
【附图说明】
[0038]图1是本发明的工作流程图。
[0039]图2是车牌字符样本学习模块框图。
[0040]图3是车牌识别模块框图。
[0041 ]图4是车牌关联模块框图。
[0042]图5是车牌遮挡检测模块框图。
[0043]图6是车辆样本学习模块框图。
[0044]图7是车辆检测模块框图。
[0045]图8是车辆跟踪模块框图。
[0046]图9是车辆无牌检测模块框图。
[0047]图10是车辆样本学习中提取的Haar-1ike特征原型。
[0048]图11是本发明对测试素材的车辆无牌检测结果示例。
[0049]图12是本发明对测试素材车牌遮挡检测结果示例。
【具体实施方式】
[0050]下面结合实施例对