本发明涉及模式识别与计算机视觉领域，特别是一种监控场景下高鲁棒性的快速车牌定位方法。
背景技术：
：：随着平安中国建设步伐的加快，监控摄像头分布越来越广，摄像头的分辨率越来越高，直接使用这些遍布大街小巷的监控环境与使用标准卡口的车辆图像采集装置相比，带来了一些新的挑战。传统的车牌识别系统在公路收费、停车场等方面运用广泛，但大多数的运用场景都需要一些特殊硬件设备的支持，如地感线圈，一次只能对一辆车进行识别，识别速度慢，且图像传输大多采用模拟信号，图像层次感不强，对比度较差，为了保证分辨率往往不能采集到车辆全景，从而导致不能满足刑侦、治安的相关业务要求。监控环境场景下基于动态视频流的车牌检测与识别系统无需安装其它硬件设备，能够同时对图像中的多个车牌进行检测，不受硬件和环境的制约，效率高，能够对多帧视频图像分别进行识别，选择置信度最高的作为最终结果，从而降低单帧图像对识别结果的影响，识别准确率较高。但基于监控环境场景下的车牌检测系统也面临着许多挑战，例如车牌角度变化大，长期使用的摄像头表面附着的尘埃会使采集到的图像模糊，噪点增多。摄像头的分辨率的提高也给车牌识别的实时性带来了严峻的挑战。近年来，随着计算机图像处理、人工智能、模式识别、视频传输等技术的不断发展，基于动态视频流的车牌算法在犯罪侦查、交通事故快速处理等社会生活中获得越来越广泛的应用。虽然国内外学者也纷纷对此展开了研究，提出了一些高水平和使用性强的基于动态视频流的车牌检测算法，但是仍然存在一些研究的难点问题亟待解决。1)基于高分辨率的视频的车牌识别对系统实时性造成巨大挑战。随着1080p等高清摄像头的不断普及运用，图像预处理、车牌检测和识别的时间也不断增加，这也给基于动态视频流的车牌识别速度带来了很大挑战。由于获取的动态视频流图像受到多方面的影响，比如天气的变化、光照条件的变化、车辆自身的运动阴影、道路场景中的静态阴影、缓慢移动的阴影如浮云造成的阴影、运动目标之间的遮挡、摄像机的抖动、道路中其它运动物体等，这些都使得高效的机动车运动检测与分割成为相当重要但又比较困难的问题。2)车牌检测鲁棒性不够。车牌图像采集系统工作在各种各样的复杂环境中，受到天气、光线变化、污迹遮挡、拍摄位置和角度等影响，且极易因摄像头长期缺少定期维护导致镜头的镜片处容易覆盖一层尘埃，导致图像清晰度和对比度下降，影响车牌检测的准确率。对于第一个问题，我们提出了用epanechikov核和帧自适应的运动检测方法。该方法首先利用基于epanechikov核的背景差分法，从视频流中检测是否有运动发生，再根据运动情况采用帧自适应的运动目标过滤，从而加快车牌识别速度。该方法利用车牌的大小去动态估计车辆大小，将不符合规则的连通区域过滤掉，减少车牌的检测时间。同时，我们提出了基于afrd的帧滑动算法，通过无效帧的检测，在不降低准确率的前提下提升车牌识别系统对视频流的处理速度，对提高车牌识别系统的实时性具有重大意义。对于第二个问题，本文在颜色和形态学检测的基础上增加了一种基于最大稳定极值区域(maximallystableextremalregion,mser)的车牌文字车牌检测法，在充分利用车牌颜色为蓝色或者黄色的颜色特性和几何特征的同时，利用最大稳定极值区域的车牌文字车牌检测法对其进行有效的补充，并采用车牌非极大值抑制的方法对多种检测方式得到的可能的车牌图像进行非极大值抑制，得到最精确的结果，改善车牌识别系统在低对比度、低光照等恶劣环境下的鲁棒性。技术实现要素：有鉴于此，本发明的目的是提供一种监控场景下高鲁棒性的快速车牌定位方法，以克服现有技术中存在的缺陷。本发明采用以下方案实现：一种监控场景下高鲁棒性的快速车牌定位方法，包括以下步骤：步骤s1：对车牌训练图像进行语义分组，即将车牌图像分为车牌和非车牌两个语义组，并按组将训练图像输入到支持向量机中进行训练；步骤s2：采用基于epanechikov核密度估计自适应快速车辆检测方法对车辆区域进行快速检测；步骤s3：利用基于afrd的帧滑动算法对视频帧进行过滤，得到感兴趣的帧图像；步骤s4：对感兴趣帧图像中车辆区域采用形态学、颜色和mser相结合的方法对车牌进行检测；步骤s5：对步骤s4中得到的候选车牌运用步骤s1中训练好的支持向量机进行二元分类，得到正确的车牌。进一步地，在所述步骤s2中，通过如下步骤对车辆区域进行快速检测：步骤s21：将式：作为背景建模的模型，其中，随机变量x是若干组观测值，假定随机变量x符合epanechikov核密度估计模型，根据x的观测值使用最大期望算法对epanechikov核密度估计模型进行参数估计；步骤s22：模型和参数都确定好后需要根据确定好的模型对图像中的观测像素x是前景像素和背景像素进行判断，如果像素点x与epanechikov密度估计模型估计值的距离满足式：||x-f(x)||＜σ，就认为像素点x近似服从epanechikov估计分布，应该把该像素点作为背景像素，否则的话作为前景像素，其中σ为阈值。步骤s23：检测到了图像中的所有前景像素以后，下一步利用闭运算得到若干连通块，连通块包括机动车、行人、自行车在内的运动物体，采用一个自适应车辆过滤器快速滤过干扰因素；令pi为依次检测到的第i个车牌，s(pi)为对第i个车牌求面积的运算，则有：对于则对于每个连通域contour都应该满足式：s(pi)magnifymin≤s(contour)≤s(pi)magnifymax，其中magnifymin为放大因子的下界，为magnifymax车牌放大因子的上界。进一步地，在所述步骤s3中，通过如下步骤对视频帧进行过滤，得到感兴趣的帧图像：步骤s31：帧滑动算法采用慢开始策略slowstart一次从视频流中读取一个窗口大小的图像帧进入滑动缓冲区，令f＝{f1,f2,f3,...,fm},fi为读取到的图像帧；步骤s32：然后对滑动窗口的上界帧fm采用epanechikov核密度估计车辆快速提取方法提取出可能的机动车区域集合s＝{s1,s2,s3,...,sm},si；步骤s33：如果cards等于0，则说明该窗口为近似静止窗口，不对滑动窗口中的图像进行车牌检测和车牌识别；步骤s34：如果cards大于0，则说明该窗口的图像中出现了感兴趣的区域，需要采用监听回退的afrd方法来保证检测的完整性；监听回退的afrd方法是当上界帧fm检测到了感兴趣的区域，令下界帧为fn，则检测点回退至如果出现感兴趣区域则将m更新为否则将n更新为直至m<＝n为止，从而找到了不丢失检测的最远图像帧，在这个图像帧中进行车牌检测与车牌识别；进一步地，在所述步骤s31中，对视频帧进行过滤得到感兴趣的帧图像，通过如下步骤实现所述慢开始策略：步骤s311：令threshholdsend表示滑动窗口的阈值，slidew表示滑动窗口的尺寸，开始时slidew＝1；步骤s312：系统根据滑动窗口尺寸来决定从视频流中读取的图像帧的数量，当前滑动窗口没有检测到感兴趣区域的时候按照下式增大滑动窗口步骤s313：当前滑动窗口检测到感兴趣区域的时候slidew从1开始重新开始慢开始策略；步骤s314：采用慢开始策略是基于帧图像的时间局部性原理，某图像帧检测到感兴趣的区域时，它的后一图像帧在很大程度也是属于感兴趣的图像帧；进一步地，在所述步骤s34中，通过如下步骤实现车牌检测：步骤s41：用式：为边缘检测去除干扰噪声；步骤s42：灰度化处理为边缘检测准备灰度化的环境步骤s43：采用sobel边缘检测算子对车牌边缘进行检测；步骤s44：采用基于hsv色彩空间的车牌检测：将饱和度，亮度都固定为1，色调分量处于200与290之间的颜色属于蓝色，色调分量处于30与90之间的颜色属于黄色，将符合该性质的像素标记为白色像素，否则标记为黑色像素，最后将二值图像进行形态学检测、闭操作、取轮廓等方法将车牌截取出来，从而得到车牌的潜在区域；步骤s45：利用基于mser的车牌文字检测方法对车牌进行检测；步骤s46：采用基于形态学和连通域的车牌筛选：通过闭操作将多个孤立的字符连接成一个整体，形成车牌的一个大致轮廓，采用过滤规则来对连通域进行过滤，在进行过滤前先对连通域做外接矩形操作，令ω表示车牌宽高比浮动偏差率，aspectratio表示当前连通域外接矩形宽高比，area表示当前外接矩形面积，aspectratiomax表示系统能接受的最大宽高比，aspectratiomin表示系统所能接受的最小宽高比，areamax表示系统能够接受的最大矩形面积，areamin表示系统能接受的最小矩形面积，则对于任何一个连通域的外接矩形都应满足如下条件：步骤s47：多方法检测融合。进一步地，在所述步骤s45中，采用基于mser的车牌文字检测方法对车牌进行检测时，通过如下步骤实现车牌检测：步骤s451：g＝{y1,y2,...,ym},yi∈y表示通过mser提取的所有最大稳定极值区域，对任意最大稳定极值区域g′＝{y′,y′2,...,y′n},y′i∈y进行尺寸判断，筛选出符合车牌字符尺寸的区域；步骤s452：多层次特征融合分类器将对剩余的区域进行判断，得到g*＝{(y1′,p1),(y′2,p2),...,(y′n,pn)},y′i∈y，其中pi为y′i属于车牌字符的概率步骤s453：如果pi≥threadhold，其中threadhold为强字符区域的阈值，该情况下说明邻近区域很可能是车牌潜在区域，对邻域内的强字符区域进行聚合，作一条线穿过若干个强字符区域中心，这条穿过若干个强字符区域中心线段很大程度上可能是车牌的中轴线；步骤s454：继续查找该线段附近pi＜threadhold的区域y′i，该区域距离强字符区域的距离要小于设定的阈值，同时，长宽比例及尺寸也接近于强字符区域的均值；步骤s455：对于满足1≤i＜j≤n的任意i,j，如果字符区域y′i的宽度width(y′i)、中点的纵坐标positiony(y′i)满足：则说明两个最大极值区域存在新的字符方库，此时如果n＜7则说明存在一个通过mser无法提取的字符区域，且这个区域不在两个已提取字符区域中，如果第一个字符方库是中文字符则在最右边的字符后面做滑动窗口字符检测操作；步骤s456：如果第一个字符方库不是中文字符则对最左边字符方库的左边进行滑动窗口字符检测操作；步骤s457：滑动窗口属于车牌字符的概率pslide应满足下式：其中threadholdc为字符的最小置信度。进一步地，在所述步骤s47中，通过如下步骤实现多方法检测融合：步骤s471：令g＝{(y1,p1),(y2,p2),...,(yn,pn)},yi∈y表示经过检测后的候选区域yi属于车牌的概率pi，集合表示最终确定的车牌图像集合，开始时令步骤s472：算法开始时对集合g按置信度从大到小的顺序排列得到集合：g*＝{(y′1,p1),(y′2,p2),...,(y′n,pn)},pi≤pi-1,i＝2,3,...,n；步骤s473：对于任意y′i,i＝1,2，…,n计算与其后的任意图像y′j的重叠区域面积与两者面积较小的图像面积的比值iou，若超出阈值则将y′j抑制，直到j＝n；步骤s474：将y′i加入到集合直到相较于现有技术，本发明具有以下有益效果：本发明构建采用epanechikov核函数和车辆自适应的快速车辆检测算法，对可能的车辆进行检测，然后在潜在区域进行车牌检测与识别，加快检测速度，提高识别准确率。在此基础上，本文提出了帧滑动算法，在不丢失检测的情况下进一步加快检测速度。本文在颜色和形态学检测的基础上增加了一种基于最大稳定极值区域的车牌文字车牌检测法，在充分利用车牌颜色为蓝色或者黄色的颜色特性和几何特征的同时，利用最大稳定极值区域的车牌文字车牌检测法对其进行有效的补充，并采用车牌非极大值抑制的方法对多种检测方式得到的可能的车牌图像进行非极大值抑制，得到最精确的结果，改善车牌识别系统在低对比度、低光照等恶劣环境下的鲁棒性。附图说明图1是本发明监控场景下高鲁棒性的快速车牌定位方法的流程图。具体实施方式下面结合附图及实施例对本发明做进一步说明。本实施例提供一种监控场景下高鲁棒性的快速车牌定位方法，如图1所示，针对基于高分辨率的视频的车牌识别对系统实时性造成巨大挑战的问题，我们提出了用epanechikov核和帧自适应的运动检测方法。该方法首先利用基于epanechikov核的背景差分法，从视频流中检测是否有运动发生，再根据运动情况采用帧自适应的运动目标过滤，从而加快车牌识别速度。该方法利用车牌的大小去动态估计车辆大小，将不符合规则的连通区域过滤掉，减少车牌的检测时间。同时，我们提出了基于afrd的帧滑动算法，通过无效帧的检测，在不降低准确率的前提下提升车牌识别系统对视频流的处理速度，对提高车牌识别系统的实时性具有重大意义。针对车牌检测鲁棒性不够的问题，本文在颜色和形态学检测的基础上增加了一种基于最大稳定极值区域的车牌文字车牌检测法，在充分利用车牌颜色为蓝色或者黄色的颜色特性和几何特征的同时，利用最大稳定极值区域的车牌文字车牌检测法对其进行有效的补充，并采用车牌非极大值抑制的方法对多种检测方式得到的可能的车牌图像进行非极大值抑制，得到最精确的结果，改善车牌识别系统在低对比度、低光照等恶劣环境下的鲁棒性，具体包括以下步骤：步骤s1：对车牌训练图像进行语义分组，即将车牌图像分为车牌和非车牌两个语义组，并按组将训练图像输入到支持向量机中进行训练；步骤s2：采用基于epanechikov核密度估计自适应快速车辆检测方法对车辆区域进行快速检测；步骤s3：利用基于afrd的帧滑动算法对视频帧进行过滤，得到感兴趣的帧图像；步骤s4：对感兴趣帧图像中车辆区域采用形态学、颜色和mser相结合的方法对车牌进行检测；步骤s5：对步骤s4中得到的候选车牌运用步骤s1中训练好的支持向量机进行二元分类，得到正确的车牌。在本实施例中，在所述步骤s2中，通过如下步骤对车辆区域进行快速检测：步骤s21：将式：作为背景建模的模型，其中，随机变量x是若干组观测值，假定随机变量x符合epanechikov核密度估计模型，根据x的观测值使用最大期望算法对epanechikov核密度估计模型进行参数估计；步骤s22：模型和参数都确定好后需要根据确定好的模型对图像中的观测像素x是前景像素和背景像素进行判断，如果像素点x与epanechikov密度估计模型估计值的距离满足式：||x-f(x)||＜σ，就认为像素点x近似服从epanechikov估计分布，应该把该像素点作为背景像素，否则的话作为前景像素，其中σ为阈值。步骤s23：检测到了图像中的所有前景像素以后，下一步利用闭运算得到若干连通块，连通块包括机动车、行人、自行车在内的运动物体，采用一个自适应车辆过滤器快速滤过干扰因素；令pi为依次检测到的第i个车牌，s(pi)为对第i个车牌求面积的运算，则有：对于则对于每个连通域contour都应该满足式：s(pi)magnifymin≤s(contour)≤s(pi)magnifymax，其中magnifymin为放大因子的下界，为magnifymax车牌放大因子的上界；车牌放大因子既可以过滤行人、自行车等无关运动物体的干扰，同时也能将距离摄像头较远的机动车过滤达到加快识别速度，稳定识别的作用。在本实施例中，在所述步骤s3中，通过如下步骤对视频帧进行过滤，得到感兴趣的帧图像：步骤s31：帧滑动算法采用慢开始策略slowstart一次从视频流中读取一个窗口大小的图像帧进入滑动缓冲区，令f＝{f1,f2,f3,...,fm},fi为读取到的图像帧；步骤s32：然后对滑动窗口的上界帧fm采用epanechikov核密度估计车辆快速提取方法提取出可能的机动车区域集合s＝{s1,s2,s3,...,sm},si；步骤s33：如果cards等于0，则说明该窗口为近似静止窗口，不对滑动窗口中的图像进行车牌检测和车牌识别；步骤s34：如果cards大于0，则说明该窗口的图像中出现了感兴趣的区域，需要采用监听回退的afrd方法来保证检测的完整性；监听回退的afrd方法是当上界帧fm检测到了感兴趣的区域，令下界帧为fn，则检测点回退至如果出现感兴趣区域则将m更新为否则将n更新为直至m<＝n为止，从而找到了不丢失检测的最远图像帧，在这个图像帧中进行车牌检测与车牌识别；在本实施例中，在所述步骤s31中，对视频帧进行过滤得到感兴趣的帧图像，通过如下步骤实现所述慢开始策略：步骤s311：令threshholdsend表示滑动窗口的阈值，slidew表示滑动窗口的尺寸，开始时slidew＝1；步骤s312：系统根据滑动窗口尺寸来决定从视频流中读取的图像帧的数量，当前滑动窗口没有检测到感兴趣区域的时候按照下式增大滑动窗口步骤s313：当前滑动窗口检测到感兴趣区域的时候slidew从1开始重新开始慢开始策略；步骤s314：采用慢开始策略是基于帧图像的时间局部性原理，某图像帧检测到感兴趣的区域时，它的后一图像帧在很大程度也是属于感兴趣的图像帧；在本实施例中，在所述步骤s34中，通过如下步骤实现车牌检测：步骤s41：用式：为边缘检测去除干扰噪声；步骤s42：灰度化处理为边缘检测准备灰度化的环境步骤s43：采用sobel边缘检测算子对车牌边缘进行检测；步骤s44：采用基于hsv色彩空间的车牌检测：将饱和度，亮度都固定为1，色调分量处于200与290之间的颜色属于蓝色，色调分量处于30与90之间的颜色属于黄色，将符合该性质的像素标记为白色像素，否则标记为黑色像素，最后将二值图像进行形态学检测、闭操作、取轮廓等方法将车牌截取出来，从而得到车牌的潜在区域；步骤s45：利用基于mser的车牌文字检测方法对车牌进行检测；步骤s46：采用基于形态学和连通域的车牌筛选：通过闭操作将多个孤立的字符连接成一个整体，形成车牌的一个大致轮廓，采用过滤规则来对连通域进行过滤，在进行过滤前先对连通域做外接矩形操作，令ω表示车牌宽高比浮动偏差率，aspectratio表示当前连通域外接矩形宽高比，area表示当前外接矩形面积，aspectratiomax表示系统能接受的最大宽高比，aspectratiomin表示系统所能接受的最小宽高比，areamax表示系统能够接受的最大矩形面积，areamin表示系统能接受的最小矩形面积，则对于任何一个连通域的外接矩形都应满足如下条件：步骤s47：多方法检测融合。在本实施例中，在所述步骤s45中，采用基于mser的车牌文字检测方法对车牌进行检测时，通过如下步骤实现车牌检测：步骤s451：g＝{y1,y2,...,ym},yi∈y表示通过mser提取的所有最大稳定极值区域，对任意最大稳定极值区域g′＝{y′,y′2,...,y′n},y′i∈y进行尺寸判断，筛选出符合车牌字符尺寸的区域；步骤s452：多层次特征融合分类器将对剩余的区域进行判断，得到g*＝{(y′1,p1),(y′2,p2),...,(y′n,pn)},y′i∈y，其中pi为y′i属于车牌字符的概率步骤s453：如果pi≥threadhold，其中threadhold为强字符区域的阈值，该情况下说明邻近区域很可能是车牌潜在区域，对邻域内的强字符区域进行聚合，作一条线穿过若干个强字符区域中心，这条穿过若干个强字符区域中心线段很大程度上可能是车牌的中轴线；步骤s454：继续查找该线段附近pi＜threadhold的区域yi′，该区域距离强字符区域的距离要小于设定的阈值，同时，长宽比例及尺寸也接近于强字符区域的均值；步骤s455：对于满足1≤i＜j≤n的任意i,j，如果字符区域y′i的宽度width(y′i)、中点的纵坐标positiony(y′i)满足：则说明两个最大极值区域存在新的字符方库，此时如果n＜7则说明存在一个通过mser无法提取的字符区域，且这个区域不在两个已提取字符区域中，如果第一个字符方库是中文字符则在最右边的字符后面做滑动窗口字符检测操作；步骤s456：如果第一个字符方库不是中文字符则对最左边字符方库的左边进行滑动窗口字符检测操作；步骤s457：滑动窗口属于车牌字符的概率pslide应满足下式：其中threadholdc为字符的最小置信度。进一步地，在所述步骤s47中，通过如下步骤实现多方法检测融合：步骤s471：令g＝{(y1,p1),(y2,p2),...,(yn,pn)},yi∈y表示经过检测后的候选区域yi属于车牌的概率pi，集合表示最终确定的车牌图像集合，开始时令步骤s472：算法开始时对集合g按置信度从大到小的顺序排列得到集合：g*＝{(y′1,p1),(y′2,p2),...,(y′n,pn)},pi≤pi-1,i＝2,3,...,n；步骤s473：对于任意y′i,i＝1,2，…,n计算与其后的任意图像y′j的重叠区域面积与两者面积较小的图像面积的比值iou，若超出阈值则将y′j抑制，直到j＝n；步骤s474：将y′i加入到集合直到以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。当前第1页12当前第1页12