技术领域本发明涉及机动车车牌检测技术领域，特别是指一种基于深度学习的前后车牌检测识别方法。
背景技术：
目前交通智能管控中，多是依赖单一的电警或卡口的单向管控。当出现不法分子通过单一的更替、遮挡、损坏车头或者车尾的车牌(一车两牌的违法行为)进行违法活动时，单向管控将无法有效捕获此类违法行为。
技术实现要素：
有鉴于此，本发明的目的在于提出一种基于深度学习的前后车牌检测识别方法，有效对改善一车两牌的违法行为的监控捕获准确率，增强了执法力度。基于上述目的本发明提供的一种基于深度学习的前后车牌检测识别方法，包括：通过摄像机实时采集路面图像；所述摄像机以与地面成90°夹角的顶拍方式安装，镜头配备视角大于90°的广角镜头；基于运动目标识别技术，从所述路面图像中确定出机动车目标；开启对所述机动车目标的跟踪及抓拍，获取所述机动车目标的前拍图片和后拍图片，并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片；将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中，进行网络卷积核计算，提取出特征信息；将所述前车牌图片和后车牌图片的特征信息进行特征比对，获得比对相似度；根据所述比对相似度与预设阈值的差值，输出所述机动车目标是否为套牌车的判定结果。优选的，所述基于运动目标识别技术，从所述路面图像中确定出机动车目标的步骤包括：基于深度学习的目标检测算法，预先搜集大量顶拍场景下的不同车型的机动车样本，按照车型类别进行样本标注获取训练样本集；设置深度网络层、网络结构及损失函数；将训练样本集输入网络，进行基于方向梯度的迭代卷积核计算，直至网络收敛以获取机动车目标检测网络，并将提取的各款型的机动车特征映射至已标注的对应款型的标签内，获取机动车模型；将所述路面图像逐帧进行每帧图像内的全图、多尺度的滑动窗检测，获得多个待判别的目标窗口，然后将所述待判别的目标窗口的位置坐标及图片送入所述机动车目标检测网络，进行特征提取，将提取的特征与所述机动车模型进行特征比对，筛选出所述机动车目标。优选的，所述开启对所述机动车目标的跟踪及抓拍，获取所述机动车目标的前拍图片和后拍图片的步骤包括：设置目标监控区域；所述目标监控区域位于所述摄像机下方位置，沿所述机动车目标的运动方向依次包括：第一车牌监控区域、跟踪区域、第二车牌监控区域；监控所述机动车目标在所述第一车牌监控区域内，监测车牌区域像素点数，当数量达到特征识别需求时，抓拍获得前拍图片，保存所述前拍图片中的前车牌位置坐标；跟踪所述机动车目标经过所述跟踪区域到达所述第二车牌监控区域后，监测车牌区域像素点数，数量达到特征识别需求时，抓拍获得后拍图片，保存所述后拍图片中的后车牌位置坐标。优选的，所述第一车牌监控区域的宽度为所述目标监控区域的默认宽度，长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0～2.0m；所述第二车牌监控区域的宽度为所述目标监控区域的默认宽度，长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0～2.0m。优选的，所述由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片的步骤包括：根据上述前车牌位置坐标和后车牌位置坐标，提取所述前拍图片和后拍图片中的车牌区域图片，然后左右扩充0.5个车牌宽度，上下扩充0.25的车牌宽度，作为最终的前车牌图片和后车牌图片。优选的，在所述将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中，进行网络卷积核计算，提取出特征信息的步骤之前，还包括：将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法，获取车牌的精确定位，再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。优选的，所述将所述前车牌图片和后车牌图片的特征信息进行特征比对，获得比对相似度的步骤包括：将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj，进行相应维度的特征比对，取各个特征比对结果的差值得比对相似度Pro。其中，N为车牌特征提取的种类，M为每类特征下提取的特征数；所述比对相似度Pro为：其中，其中，x为前车牌图片的待检测样本，x′为后车牌图片的待检测样本，w为优化后的网络层参数，b为偏置项。另一方面，本发明还提供了一种基于深度学习的前后车牌检测识别装置，包括：摄像机，用于实时采集路面图像；所述摄像机以与地面成90°夹角的顶拍方式安装，镜头配备视角大于90°的广角镜头；运动目标识别模块，用于基于运动目标识别技术，从所述路面图像中确定出机动车目标；车牌图片获取模块，用于开启对所述机动车目标的跟踪及抓拍，获取所述机动车目标的前拍图片和后拍图片，并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片；特征比对判定模块，用于将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中，进行网络卷积核计算，提取出特征信息；将所述前车牌图片和后车牌图片的特征信息进行特征比对，获得比对相似度；根据所述比对相似度与预设阈值的差值，输出所述机动车目标是否为套牌车的判定结果。从上面所述可以看出，本发明提供的基于深度学习的前后车牌检测识别方法，基于深度学习的前后车牌检测识别方法，实现对一辆车的前、后车牌的双向监控；具体的，选用了基于深度学习的车牌级联定位及车牌区域内字符特征的识别比对方法，改善了传统识别方法因车牌定位不准确或字符切割不准确引发的车牌误识别及后续联动的比对误判别。有效改善一车两牌的违法行为的监控捕获准确率，增强了执法力度。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例的基于深度学习的前后车牌检测识别方法流程图；图2为本发明实施例中的摄像机设置方式示意图；图3为本发明实施例中的目标监控区域设置示意图；图4为本发明实施例的基于深度学习的前后车牌检测识别装置结构示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。本发明实施例提供了一种基于深度学习的前后车牌检测识别方法，包括以下步骤：通过摄像机实时采集路面图像；所述摄像机以与地面成90°夹角的顶拍方式安装，镜头配备视角大于90°的广角镜头；基于运动目标识别技术，从所述路面图像中确定出机动车目标；开启对所述机动车目标的跟踪及抓拍，获取所述机动车目标的前拍图片和后拍图片，并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片；将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中，进行网络卷积核计算，提取出特征信息；将所述前车牌图片和后车牌图片的特征信息进行特征比对，获得比对相似度；根据所述比对相似度与预设阈值的差值，输出所述机动车目标是否为套牌车的判定结果。其中，在识别机动车目标和前、后车牌图片特征比对的步骤中，均是基于深度学习算法，深度学习算法具体实现原理展开如下：1)样本预处理假设已搜集到m组样本集X∈(x(1)，x(2)...x(m))，在设置网络结构前，需对搜集到的样本加注标签，获得实际于训练的样本集X′∈{(x(1)，y(1))，(x(2)，y(2))...(x(m)，y(m)))，其中，y(k)，k＝1，2，...，m表示每组样本的类别标签。2)设置网络结构对于预处理的样本X′，假设深度学习网络的层数为L，则网络的数学建模如下：A(0)=X′(0)(1)z(k+1)=w(k)a(k)+b(k)(2)a(k+1)=f(z(k+1))(3)Loss=J(w,b;x,y)(4)]]>其中，k＝0，1，...，L-1表示网络层数，公式(1)用于实现网络的初始化，具体表示训练样本集X′经0层网络后获取的结果A；公式(2)表示各网络层间输出结果的线性映射关系，w为网络层各个节点间的权系数，b为偏置项，a表示上一层网络的输出结果；公式(3)表示网络内，表征各类别的类别节点间的非线性映射关系函数；公式(4)是反应网络学习趋势的损失函数。3)网络调参网络调参过程，实质是对网络层参数的优化过程，最终获取最优的网络结构。网络调参的算法很多，本发明中选取了基于梯度下降的网络迭代方式，实现对网络参数的调优。数学建模如下：wn+1(k)=wn(k)-η*▿wn(k)*J---(5)bn+1(k)=bn(k)-η*▿bn(k)*J---(6)]]>其中，k＝0，1，...，L-1表示网络层数；b为偏置项；J为损失函数同步骤2)；η为学习率；为方向梯度迭代函数；n为具体的迭代次数，每迭代一次，n加“1”。当时，网络收敛。网络收敛时，求得的网络参数w*，b*，即为最优的网络参数。网络结构，亦为最优的网络结构。4)推断判别推断判别过程是先将待识别的目标样本，输入经步骤2)及步骤3)获取的最优网络结构中，获取目标特征的特征，再将获得目标样本特征与模型样本特征进行比对，获得目标样本特征与模型样本特征的比对结果，并输出结果。参考图1，为本发明实施例的基于深度学习的前后车牌检测识别方法流程图。所述基于深度学习的前后车牌检测识别方法，包括以下步骤：步骤101、通过摄像机实时采集路面图像。本步骤中，所述摄像机采用与地面成90°夹角的顶拍方式安装，镜头配备视角大于90°的广角镜头，安装效果参考图2所示。步骤102、基于运动目标识别技术，从所述路面图像中确定出机动车目标。本步骤中，对路面图像中运动目标检测算法选用的目标检测技术为基于深度学习的目标检测算法，其具体的实现步骤为：在检测前，先搜集大量顶拍场景下的不同车型的机动车样本，按照车型类别进行样本标注获取训练样本集；然后按照前述的深度学习算法中的公式(1)～(4)分别设置深度网络层、网络结构及损失函数；将训练样本集输入网络，进行基于方向梯度的迭代卷积核计算，直至网络收敛，网络收敛条件参见公式(5)～(6)，获取机动车特征检测的最优网络即所述的机动车目标检测网络，并将提取的各款型的机动车特征映射至已标注的对应款型的标签内，获取机动车模型。在检测时，摄像机在监控区域内的拍摄到路面图像后，将路面图像逐帧送入目标检测单元，进行每帧图像内的全图、多尺度的滑动窗检测，获得多个待判别的目标窗口，然后将获取的目标窗口的位置坐标及图片送入所述机动车目标检测网络，进行特征提取，将提取的特征与已有的机动车模型进行特征比对，筛选出机动车目标。本实施例中选用的基于深度学习的目标检测算法，其特征的提取完全依赖于采集到的样本数据本身，而非预先设置的计算规则，故其采集到的特征更丰富，更能反映目标本身的特性。步骤103、开启对所述机动车目标的跟踪及抓拍，获取所述机动车目标的前拍图片和后拍图片，并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片。本步骤中，在确定机动车目标后，首先对其进行跟踪及抓拍获取前拍图片(包括前车牌图像)和后拍图片(包括后车牌图像)。具体的，先设置目标监控区域；所述目标监控区域位于所述摄像机下方位置，沿所述机动车目标的运动方向依次包括：第一车牌监控区域Area1、跟踪区域Area0、第二车牌监控区域Area2，具体的设置方式参考图3所示。其中，监控区域Aera0通常与相机的监控视角参数相关，需根据具体的应用场景灵活设定；所述第一车牌监控区域Aera1的宽度为所述目标监控区域的默认宽度，长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0～2.0m；所述第二车牌监控区域Aera2的宽度为所述目标监控区域的默认宽度，长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0～2.0m。监控所述机动车目标在所述第一车牌监控区域Aera1内，监测车牌区域像素点数，当数量达到特征识别需求时，抓拍获得前拍图片，保存所述前拍图片中的前车牌位置坐标。跟踪所述机动车目标经过所述跟踪区域Aera0到达所述第二车牌监控区域Aera2后，监测车牌区域像素点数，数量达到特征识别需求时，抓拍获得后拍图片，保存所述后拍图片中的后车牌位置坐标。根据抓拍所得的前、后车牌图片，以及前、后拍车牌位置坐标，提取所述前拍图片和后拍图片中的车牌区域图片，目标检测所得的车牌区域，较真实的车牌区域会存在一定的偏差，故提取的车牌区域会在检测到的车牌位置坐标的基础上，左右各扩充0.5个车牌宽度，上下扩充0.25的车牌宽度，提取区域扩充后的前、后拍车牌图片。步骤104、将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中，进行网络卷积核计算，提取出特征信息；将所述前车牌图片和后车牌图片的特征信息进行特征比对，获得比对相似度；根据所述比对相似度与预设阈值的差值，输出所述机动车目标是否为套牌车的判定结果。本步骤中，首先将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法，获取车牌的精确定位，再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。然后，通过基于深度学习的特征提取算法进行车牌特征提取，具体实现过程为：特征提取前，先搜集大量顶拍场景下的不同款型车辆车的车牌区域图片样本；然后按照前述的深度学习算法中的公式(1)～(4)分别设置深度网络层、网络结构及损失函数；将训练样本集输入网络，进行基于方向梯度的迭代卷积核计算，直至网络收敛，网络收敛条件参见公式(5)～(6)；收敛时的网络即为车牌特征提取的最优网络。特征提取时，将已经调参后的车牌特征提取网络，分别加载至两个车牌特征提取子单元，子单元接收到前、后车牌区域图片时，通过网络卷积核运算，分别获取前、后车牌区域的特征。深度特征提取网络较深度检测网络，在实现中无需对提取的特征进行分类判别。特征提取网络是将提取的特征直接应用于前、后车牌一对一的特征比对，故采集到的车牌样本集只需覆盖前后车牌的多种组合，而无需进行类别标签标注，提取特征后无需进行样本模型的特征匹配，无特征结果标签输出。将上述过程中提取的，多维度的前、尾车牌特征，进行特征比对，求解特征比对相似度。将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj，进行相应维度的特征比对，取各个特征比对结果的差值得比对相似度Pro。其中，N为车牌特征提取的种类，M为每类特征下提取的特征数；所述比对相似度Pro为：其中，其中，x为前车牌图片的待检测样本，x′为后车牌图片的待检测样本，w为优化后的网络层参数，b为偏置项，求解原理同深度学习算法原理。最后，将比对相似度与经验阈值求差，根据差值结果判定目标是否为一车两牌的疑似套牌车目标。若差值为负，则判定该车是一车两牌的疑似套牌车，否则，不是一车两牌的疑似套牌车。本实施例中，对前车牌图片和后车牌图片进行的预处理、以及后续的基于深度学习的特征提取处理过程，均采用并行的方式，即对前车牌图片和后车牌图片同时进行上述处理过程。由步骤104中所述的内容可见，传统的车牌识别算法需要经历车牌定位、字符分割、车牌识别三步骤，其中车牌定位及字符分割直接影响到后续用于识别的车牌字符的完整性。如车牌定位不准确，则字符分割一定不准确，识别结果必然不准确。又如车牌定位准确，但字符分割不准确，识别结果亦不准确。故传统的车牌识别实质是对字符切割区域内车牌字符的识别。本实施例中选用的前后车牌识别比对算法，其车牌识别算法的实现是对整个车牌区域图片的特征提取及比对。车牌定位选用级联定位方法，即先用基于深度的检测及跟踪抓拍技术粗定位目标车牌，再将粗定位的车牌区域抠图传入车牌识别比对模块，在车牌识别比对模块结合车牌图像预处理操作精确定位到车牌区域。车牌识别算法的实现是对整个车牌区域的特征提取，无需进行字符分割，避免了因字符分割不准确引起的车牌识别错误。前后车牌的比对，则是对前、后车牌区域提取的多维特征进行特征取差，获取的特征比对相似度。结果输出，则是将比对相似度与经验阈值求差，通过判定差值结果进行判别输出。另一方面，本发明实施例还提供了一种基于深度学习的前后车牌检测识别装置。参考图4，为本发明实施例的基于深度学习的前后车牌检测识别装置结构示意图。所述基于深度学习的前后车牌检测识别装置，包括：摄像机401，用于实时采集路面图像；所述摄像机以与地面成90°夹角的顶拍方式安装，镜头配备视角大于90°的广角镜头；运动目标识别模块402，用于基于运动目标识别技术，从所述路面图像中确定出机动车目标；车牌图片获取模块403，用于开启对所述机动车目标的跟踪及抓拍，获取所述机动车目标的前拍图片和后拍图片，并由所述前拍图片和后拍图片提取所述机动车目标的前车牌图片和后车牌图片；特征比对判定模块404，用于将所述前车牌图片和后车牌图片分别送入预设的深度学习网络中，进行网络卷积核计算，提取出特征信息；将所述前车牌图片和后车牌图片的特征信息进行特征比对，获得比对相似度；根据所述比对相似度与预设阈值的差值，输出所述机动车目标是否为套牌车的判定结果。在优选实施例中，所述运动目标识别模块402还用于：基于深度学习的目标检测算法，预先搜集大量顶拍场景下的不同车型的机动车样本，按照车型类别进行样本标注获取训练样本集；设置深度网络层、网络结构及损失函数；将训练样本集输入网络，进行基于方向梯度的迭代卷积核计算，直至网络收敛以获取机动车目标检测网络，并将提取的各款型的机动车特征映射至已标注的对应款型的标签内，获取机动车模型；将所述路面图像逐帧进行每帧图像内的全图、多尺度的滑动窗检测，获得多个待判别的目标窗口，然后将所述待判别的目标窗口的位置坐标及图片送入所述机动车目标检测网络，进行特征提取，将提取的特征与所述机动车模型进行特征比对，筛选出所述机动车目标。在优选实施例中，所述车牌图片获取模块403还用于：设置目标监控区域；所述目标监控区域位于所述摄像机下方位置，沿所述机动车目标的运动方向依次包括：第一车牌监控区域、跟踪区域、第二车牌监控区域；监控所述机动车目标在所述第一车牌监控区域内，监测车牌区域像素点数，当数量达到特征识别需求时，抓拍获得前拍图片，保存所述前拍图片中的前车牌位置坐标；跟踪所述机动车目标经过所述跟踪区域到达所述第二车牌监控区域后，监测车牌区域像素点数，数量达到特征识别需求时，抓拍获得后拍图片，保存所述后拍图片中的后车牌位置坐标。其中，所述第一车牌监控区域的宽度为所述目标监控区域的默认宽度，长度为所述目标监控区域起始线至所述机动车目标行驶方向1.0～2.0m；所述第二车牌监控区域的宽度为所述目标监控区域的默认宽度，长度为所述目标监控区域终止线至所述机动车目标行驶反方向1.0～2.0m。在优选实施例中，所述车牌图片获取模块403还用于：根据上述前车牌位置坐标和后车牌位置坐标，提取所述前拍图片和后拍图片中的车牌区域图片，然后左右扩充0.5个车牌宽度，上下扩充0.25的车牌宽度，作为最终的前车牌图片和后车牌图片。在优选实施例中，特征比对判定模块404还用于：将所述前车牌图片和后车牌图片通过Sobel等边缘特征检测算法，获取车牌的精确定位，再在精确定位的车牌区域内采用图像去噪、图像增强、灰度值转换、尺度变换、图像旋转的图像预处理操作获取高辨识度车牌图片。在优选实施例中，特征比对判定模块404还用于：将前车牌的N*M维的特征PFj与后车牌的N*M维的特征PBj，进行相应维度的特征比对，取各个特征比对结果的差值得比对相似度Pro。其中，N为车牌特征提取的种类，M为每类特征下提取的特征数；所述比对相似度Pro为：其中，其中，x为前车牌图片的待检测样本，x′为后车牌图片的待检测样本，w为优化后的网络层参数，b为偏置项，求解原理同深度学习算法原理。上述实施例的基于深度学习的前后车牌检测识别装置用于实现前述实施例中相应的基于深度学习的前后车牌检测识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。