一种基于图像识别的开放式停车位车辆判别方法与装置与流程

本发明涉及一种基于图像识别的开放式停车位车辆判别方法与装置。

背景技术：

目前的停车管理系统大都是在小区内，商场内，地上和地下封闭场所进行管理，封闭停车场对车辆的管理较容易，出入口装上车牌识别相机和管理系统，可以对出入车辆的时间，缴费等等进行精准的管理。由于路边是开放场景，所以目前为止还未有一种有效得手段对路测停车的车位进行管理，目前大都采用顶装摄像机，但由于顶装摄像机施工麻烦，价格昂贵，可用性较差，本发明专利是基于路侧安装摄像头捕捉车辆，并对停车位进行管理的方案基础上，用来判别场景中是否有车，由于路侧摄像头采用感应设备进行车辆抓取，会造成大量的误抓拍现象，所以急需一种图像识别的方法来判别抓拍的场景图像中是否有车，且是否露出车牌，将误报无车的图片丢弃，露出车牌和没有露出车牌的车辆进行分类，进而大大提升路侧车位管理系统的整体性能。

技术实现要素：

针对目前的技术现状，本发明提供了一种基于图像识别的开放式停车位车辆判别方法，包括：

s1、获取待检测图片，在开放式停车场中，通过基于路侧安装的停车场车位管理设备中的摄像头捕捉车辆，获取待检测图片；

s2、对所述待检测图片利用车牌检测算法进行车牌检测，判断图片中是否存在车牌，在存在车牌时输出该图片存在车牌信息，在不存在车牌时将该图片输入步骤s3进行处理；

s3、对图片进行有车无车分类判断，如果有车，输出该图片有车，如果无车，输出该图片无车。

另外，本发明还提供了一种基于图像识别的开放式停车位车辆判别装置，该装置包括：

待检测图片获取模块，在开放式停车场中，通过基于路侧安装的停车场车位管理设备中的摄像头捕捉车辆，获取待检测图片；

车牌检测模块，对所述待检测图片利用车牌检测算法进行车牌检测，判断图片中是否存在车牌，在存在车牌时输出该图片存在车牌信息，在不存在车牌时将该图片输入步骤s3进行处理；

有车无车分类模块，对图片进行有车无车分类判断，如果有车，输出该图片有车，如果无车，输出该图片无车。

从以上技术方案可以看出，本发明的技术方案通过对开放式停车场内车辆进行识别，对车辆的状态进行监测，提高开放式停车场中车辆识别的准确性，能够给用户提供友好的服务，有效提高用户使用体验。

附图说明

图1为本申请具体实施例中基于图像识别的开放式停车位车辆判别方法流程示意图；

图2为本申请具体实施例中开放式停车位示意图；

图3为本申请具体实施例中faster-rcnn算法模型示意图；

图4为本申请具体实施例中ssd算法模型示意图；

图5为本申请具体实施例中yolo-v3模型示意图；

图6为本申请具体实施例中残差网络单元示意图；

图7-1为本申请具体实施例中有车无车分类中露出车轮类别示例图；

图7-2为本申请具体实施例中有车无车分类中露出底盘类别示例图；

图7-3为本申请具体实施例中有车无车分类中只有车轮类别示例图；

图7-4为本申请具体实施例中有车无车分类中场景中无车类别示例图；

图7-5为本申请具体实施例中有车无车分类中远处有小车类别示例图；

图7-6为本申请具体实施例中有车无车分类中曝光强类别示例图；

图8为本申请具体实施例中mobilenet网络结构示意图。

具体实施方式

以下结合其中的较佳实施例对本发明方案进行详细阐述。

实施例一

该实施例提供了一种基于图像识别的开放式停车位车辆判别方法，如图1所示，该方法包括：

s1、获取待检测图片。

该方法应用于开放式停车场中，如图2所示，包含超声波探测器以及摄像头的停车场车位管理设备一般安装在距离车位上边框18厘米处(可根据实际车位长度进行调整)，一般使超声波探测距离覆盖半个车位，超声波探测器定时发射超声波，用以检测车位内物体的距离，根据回波时间减发射时间，算出距离，一般小于5米大于0.2米都算有车，此超声波用于判断是否启动停车位管理设备，在设备启动后通过摄像头开始进行车辆图像抓拍，将抓拍到的一组图像进行识别。

s2、对所述待检测图片利用车牌检测算法进行车牌检测，判断图片中是否存在车牌，在存在车牌时输出该图片存在车牌信息，在不存在车牌时将该图片输入步骤s3进行处理。

优选的，所述步骤“对所述待检测图片利用车牌检测算法进行车牌检测，判断图片中是否存在车牌”进一步包括：

s2.1、利用车牌检测算法获得图像中的车牌区域，其中，所述车牌检测算法可以采用但不仅限于faster-rcnn，ssd，yolov-v1，yolo-v2，yolo-v3等算法进行车牌检测。

所述faster-rcnn算法是rcnn和fast-rcnn的升级算法，模型如图3所示，具体流程如下：

1)、将整张图片输入卷积神经网络cnn，得到卷积特征featuremap；

2)、将所述卷积特征输入到rpn(regionproposalnetwork)，得到候选框的特征信息；

3)、对候选框中提取出的特征信息，使用分类器判别是否属于一个特定类；

4)、对于属于某一特征的候选框，用回归器进一步调整其位置。

采用ssd算法，ssd模型如图4所示，进行车牌识别的主要流程如下：

1)、输入一幅图片，让图片经过卷积神经网络(cnn)提取特征，并生成卷积featuremap；

2)、抽取其中六层的featuremap，然后在featuremap的每个点上生成defaultbox，其中，各层的个数不同，但每个点都有；

3)、将生成的所有defaultbox都集合起来，全部丢到nms(非极大值抑制法)中，输出筛选后的defaultbox，并输出。

ssd算法在以下三个方面有很大的改进：

多尺度：ssd使用6个不同特征图检测不同尺度的目标，低层预测小目标，高层预测大目标，所以可以同时检测较小和较大的目标。

设置了多种宽高比的defaultbox(anchorbox)：在特征图的每个像素点处，生成不同宽高比的defaultbox(anchorbox)，一般可以设置的宽高比为{1，2，3，1/2，1/3}。假设每个像素点有k个defaultbox，需要对每个defaultbox进行分类和回归，其中用于分类的卷积核个数为ck(c表示类别数)，回归的卷积核个数为4k。

数据增强：ssd中使用了两种数据增强的方式。1)放大操作：随机crop，patch与任意一个目标的iou为0.1，0.3，0.5，0.7，0.9，每个patch的大小为原图大小的[0.1，1]，宽高比在1/2到2之间，能够生成更多的尺度较大的目标；2)缩小操作：首先创建16倍原图大小的画布，然后将原图放置其中，然后随机crop，能够生成更多尺度较小的目标。

所述yolo-v1算法进行车牌检测的主要流程如下：

1)、将原始图片缩放到448*448的尺寸，缩放到这个尺寸是为了后面整除方便。

2)、将图片分成s*s个格子，如果某个对象的中心落在某个单元格上，那么这个单元格负责预测这个物体。每个单元格需要预测b个边界框值，同时为每个边界框预测一个置信度。这个置信度并不只是该边界框是待测物体的概率，该边界框是待检测目标的概率乘上该边界框和真实位置iou的乘积，以此来反映该边界框预测位置的精度。

由于yolo-v1对于边界框的定位不是很好，在精度上比同类网络还有一定的差距，所以提出了yolo-v2算法：

yolov2对于速度和精度上做了很大的变化，并且吸收了同类网络的优点，一步步做出尝试。yol0v2在v1基础上做出改进后提出，其受到fasterrcnn的启发，引入了anchor。同时使用了k-means方法，对anchor数量进行了讨论，在精度和速度之间做出了折中。并且修改了网络结构，去掉了全连接层，改成了全卷积结构。在训练时引入了世界树结构，将检测和分类问题看成了一个统一的框架，并且提出了一种层次性联合训练方法，将imagenet分类数据集和coco检测数据集同时对模型进行训练。

yolo-v3：yolo-v3是目前为止，速度和精度最均衡的目标检测网络。通过多种先进方法的融合，将yolo系列的短板，速度很快，不擅长检测小物体，全部补齐，具体模型如图5所示。

每个框使用多标签分类来预测边界框可能包含的类。不使用softmax分类器，使用二元交叉熵损失来进行类别预测。对重叠的标签，多标签方法可以更好的模拟数据。

跨尺寸预测。采用类似fpn的上采样和融合方法，在多个scale的特征图上做检测，对于小目标的检测效果提升较高。

s2.2、车牌分类，将检测到的车牌区域割下来，采用卷积网络模型进行二分类，区分该车牌区域是否为车牌。

由于检测到的车牌区域中存在一些伪区域，故本发明将测到的车牌区域割下来，采用卷积网络模型进行二分类，区分是否为车牌，可以采用但不仅限于deepface模型，resnet等模型。

所述resnet模型是在cnn卷积神经网络中通过引入图6所示的残差单元得到的，该resnet模型可以使得网络的堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。

s3、对图片进行有车无车分类判断，如果有车，输出该图片有车，如果无车，输出该图片无车。

其中，利用图片分类模型对图片进行分类，完成对图片有车无车分类判断。具体的，可以采用卷积神经网络对场景图像进行分类，如alexnet、deepface、mobilnet、resnet模型等，根据图像的类型，分为六类，如图7-1至图7-6所示：有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮。无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。

其中，通用的mobilenet网络结构如图8所示。

实施例二

本申请实施例中还包括一种基于图像识别的开放式停车位车辆判别装置，包括：

待检测图片获取模块，该装置应用于开放式停车场中，如图2所示，包含超声波探测器以及摄像头的停车场车位管理设备一般安装在距离车位上边框18厘米处(可根据实际车位长度进行调整)，一般使超声波探测距离覆盖半个车位，超声波探测器定时发射超声波，用以检测车位内物体的距离，根据回波时间减发射时间，算出距离，一般小于5米大于0.2米都算有车，此超声波用于判断是否启动停车位管理设备，在设备启动后通过摄像头开始进行车辆图像抓拍，将抓拍到的一组图像作为待检测图片进行识别。

车牌检测模块：对所述待检测图片利用车牌检测算法进行车牌检测，判断图片中是否存在车牌，在存在车牌时输出该图片存在车牌信息，在不存在车牌时将该图片输入有车无车分类模块进行处理。

优选的，所述“对所述待检测图片利用车牌检测算法进行车牌检测，判断图片中是否存在车牌”进一步包括：

车牌区域获取子模块，利用车牌检测算法获得图像中的车牌区域，其中，所述车牌检测算法可以采用但不仅限于faster-rcnn，ssd，yolov-v1，yolo-v2，yolo-v3等算法进行车牌检测。

所述faster-rcnn算法是rcnn和fast-rcnn的升级算法，模型如图3所示，具体流程如下：

1)、将整张图片输入卷积神经网络cnn，得到卷积特征featuremap；

2)、将所述卷积特征输入到rpn(regionproposalnetwork)，得到候选框的特征信息；

3)、对候选框中提取出的特征信息，使用分类器判别是否属于一个特定类；

4)、对于属于某一特征的候选框，用回归器进一步调整其位置。

采用ssd算法，ssd模型如图4所示，进行车牌识别的主要流程如下：

1)、输入一幅图片，让图片经过卷积神经网络(cnn)提取特征，并生成卷积featuremap；

2)、抽取其中六层的featuremap，然后在featuremap的每个点上生成defaultbox，其中，各层的个数不同，但每个点都有；

3)、将生成的所有defaultbox都集合起来，全部丢到nms(非极大值抑制法)中，输出筛选后的defaultbox，并输出。

ssd算法在以下三个方面有很大的改进：

多尺度：ssd使用6个不同特征图检测不同尺度的目标，低层预测小目标，高层预测大目标，所以可以同时检测较小和较大的目标。

设置了多种宽高比的defaultbox(anchorbox)：在特征图的每个像素点处，生成不同宽高比的defaultbox(anchorbox)，一般可以设置的宽高比为{1，2，3，1/2，1/3}。假设每个像素点有k个defaultbox，需要对每个defaultbox进行分类和回归，其中用于分类的卷积核个数为ck(c表示类别数)，回归的卷积核个数为4k。

数据增强：ssd中使用了两种数据增强的方式。1)放大操作：随机crop，patch与任意一个目标的iou为0.1，0.3，0.5，0.7，0.9，每个patch的大小为原图大小的[0.1，1]，宽高比在1/2到2之间，能够生成更多的尺度较大的目标；2)缩小操作：首先创建16倍原图大小的画布，然后将原图放置其中，然后随机crop，能够生成更多尺度较小的目标。

所述yolo-v1算法进行车牌检测的主要流程如下：

1)、将原始图片缩放到448*448的尺寸，缩放到这个尺寸是为了后面整除方便。

2)、将图片分成s*s个格子，如果某个对象的中心落在某个单元格上，那么这个单元格负责预测这个物体。每个单元格需要预测b个边界框值，同时为每个边界框预测一个置信度。这个置信度并不只是该边界框是待测物体的概率，该边界框是待检测目标的概率乘上该边界框和真实位置iou的乘积，以此来反映该边界框预测位置的精度。

由于yolo-v1对于边界框的定位不是很好，在精度上比同类网络还有一定的差距，所以提出了yolo-v2算法：

yolov2对于速度和精度上做了很大的变化，并且吸收了同类网络的优点，一步步做出尝试。yolov2在v1基础上做出改进后提出，其受到fasterrcnn的启发，引入了anchor。同时使用了k-means方法，对anchor数量进行了讨论，在精度和速度之间做出了折中。并且修改了网络结构，去掉了全连接层，改成了全卷积结构。在训练时引入了世界树结构，将检测和分类问题看成了一个统一的框架，并且提出了一种层次性联合训练方法，将imagenet分类数据集和coco检测数据集同时对模型进行训练。

yolo-v3：yolo-v3是目前为止，速度和精度最均衡的目标检测网络。通过多种先进方法的融合，将yolo系列的短板，速度很快，不擅长检测小物体，全部补齐，具体模型如图5所示。

每个框使用多标签分类来预测边界框可能包含的类。不使用softmax分类器，使用二元交叉熵损失来进行类别预测。对重叠的标签，多标签方法可以更好的模拟数据。

跨尺寸预测。采用类似fpn的上采样和融合方法，在多个scale的特征图上做检测，对于小目标的检测效果提升较高。

车牌分类子模块，将检测到的车牌区域割下来，采用卷积网络模型进行二分类，区分该车牌区域是否为车牌。

由于检测到的车牌区域中存在一些伪区域，故本发明将测到的车牌区域割下来，采用卷积网络模型进行二分类，区分是否为车牌，可以采用但不仅限于deepface模型，resnet等模型。

所述resnet模型是在cnn卷积神经网络中通过引入图6所示的残差单元得到的，该resnet模型可以使得网络的堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。

有车无车分类模块：对图片进行有车无车分类判断，如果有车，输出该图片有车，如果无车，输出该图片无车。

其中，利用图片分类模型对图片进行分类，完成对图片有车无车分类判断。具体的，可以采用卷积神经网络对场景图像进行分类，如alexnet、deepface、mobilnet、resnet模型等，根据图像的类型，分为六类，如图7-1至图7-6所示：有车样本：露出车身车轮、只露出底盘(无车轮)、只有车轮。无车样本：场景中没有车、场景中有经过车辆(远处小车)、图片曝光。

其中，通用的mobilenet网络结构如图8所示。

本发明的技术方案通过对开放式停车场内车辆进行识别，对车辆的状态进行监测，提高开放式停车场中车辆识别的准确性，能够给用户提供友好的服务，有效提高用户使用体验。

本申请实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。

所描述的实施例中的各方面、实施方式、实现或特征能够单独使用或以任意组合的方式使用。所描述的实施例中的各方面可由软件、硬件或软硬件的结合实现。所描述的实施例也可以由存储有计算机可读代码的计算机可读介质体现，该计算机可读代码包括可由至少一个计算装置执行的指令。计算机可读介质可与任何能够存储数据的数据存储装置相关联，该数据可由计算机系统读取。用于举例的计算机可读介质可以包括只读存储器、随机存取存储器、cd-rom、hdd、dvd、磁带以及光数据存储装置等。计算机可读介质还可以分布于通过网络联接的计算机系统中，这样计算机可读代码就可以分布式存储并执行。

上述技术描述可参照附图，这些附图形成了本申请的一部分，并且通过描述在附图中示出了依照所描述的实施例的实施方式。虽然这些实施例描述的足够详细以使本领域技术人员能够实现这些实施例，但这些实施例是非限制性的；这样就可以使用其它的实施例，并且在不脱离所描述的实施例的范围的情况下还可以做出变化。比如，流程图中所描述的操作顺序是非限制性的，因此在流程图中阐释并且根据流程图描述的两个或两个以上操作的顺序可以根据若干实施例进行改变。作为另一个例子，在若干实施例中，在流程图中阐释并且根据流程图描述的一个或一个以上操作是可选的，或是可删除的。另外，某些步骤或功能可以添加到所公开的实施例中，或两个以上的步骤顺序被置换。所有这些变化被认为包含在所公开的实施例以及权利要求中。

另外，上述技术描述中使用术语以提供所描述的实施例的透彻理解。然而，并不需要过于详细的细节以实现所描述的实施例。因此，实施例的上述描述是为了阐释和描述而呈现的。上述描述中所呈现的实施例以及根据这些实施例所公开的例子是单独提供的，以添加上下文并有助于理解所描述的实施例。上述说明书不用于做到无遗漏或将所描述的实施例限制到本申请的精确形式。根据上述教导，若干修改、选择适用以及变化是可行的。在某些情况下，没有详细描述为人所熟知的处理步骤以避免不必要地影响所描述的实施例。