识别车牌号的方法、装置、电子设备及存储介质与流程

[0001]
本发明实施例涉及图像处理技术领域，尤其涉及一种识别车牌号的方法、装置、电子设备及存储介质。


背景技术：

[0002]
随着智能交通系统的发展，车牌识别设备广泛应用于各个领域。
[0003]
为了保证良好的交通秩序或社会治安，基于车牌识别技术的车牌识别设备等产品，被广泛应用于物业小区、商业楼宇及政府机构等位置。
[0004]
然而，现有的车牌识别设备是将拍摄到的图像发送至云端服务器，以使云端服务器进行车牌识别，并将识别结果传回至本地车牌识别设备，此种方式存在车牌识别的时间比较长，识别效率较低的技术问题。


技术实现要素：

[0005]
本发明提供一种识别车牌号的方法、装置、电子设备及存储介质，以实现通过车牌识别设备中的本地芯片对图像进行处理，以提高车牌识别速率的效果。
[0006]
第一方面，本发明实施例提供了一种识别车牌号的方法，应用于本地芯片中，包括：
[0007]
获取目标图像；所述目标图像中包括目标车辆；
[0008]
基于本地芯片确定所述目标图像中的车牌区域，并提取出所述车牌区域中的目标字符；
[0009]
基于所述目标字符，识别所述目标车辆的目标车牌号。
[0010]
第二方面，本发明实施例还提供了一种识别车牌号的装置，配置于本地芯片中，包括：
[0011]
目标图像获取模块，用于获取目标图像；所述目标图像中包括目标车辆；
[0012]
目标字符识别模块，用于基于本地芯片确定所述目标图像中的车牌区域，并提取出所述车牌区域中的目标字符；
[0013]
目标车牌号识别模块，用于基于所述目标字符，识别所述目标车辆的目标车牌号。
[0014]
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
[0015]
一个或多个处理器；
[0016]
存储装置，用于存储一个或多个程序，
[0017]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的识别车牌号的方法。
[0018]
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的识别车牌号的方法。
[0019]
本发明实施例的技术方案，通过获取目标图像，基于本地芯片确定目标图像中的
车牌区域，并提取出车牌区域中的目标字符，进而识别目标车辆的目标车牌号，解决了车牌识别设备需要将包括车牌的图像上传至云端服务器进行识别，并接收云端服务器反馈的识别结果，基于识别结果来确定车辆的车牌，存在车牌识别效率较低以及识别不便的技术问题，实现了在接收到目标图像时，基于车牌识别设备中的本地芯片对图像中的车牌直接进行识别处理，提高了车牌识别效率以及车牌识别便捷性的技术效果。
附图说明
[0020]
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
[0021]
图1为本发明实施例一所提供的一种识别车牌号的方法的流程示意图；
[0022]
图2为本发明实施例二所提供的一种识别车牌号的装置的结构示意图；
[0023]
图3为本发明实施例二所提供的一种识别车牌号的硬件结构示意图；
[0024]
图4为本发明实施例三所提供的一种电子设备的结构示意图。
具体实施方式
[0025]
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0026]
实施例一
[0027]
图1为本发明实施例一所提供的一种识别车牌号的方法的流程示意图，本实施例可适用于在通过车牌识别设备中的本地芯片对车牌号进行识别的情况，该方法可以应用于本地芯片中，由识别车牌号的装置来执行，该装置可以通过软件和/或硬件的形式实现。
[0028]
其中，本地芯片中可以是包括能够处理人工智能应用中的大量计算任务的ai(artificial intelligence，人工智能)芯片。ai芯片能够并行执行的计算量远远大于cpu(central processing unit，中央处理器)，并且，ai芯片在训练和推理ai算法方面比cpu快几十倍甚至几千倍，ai芯片在人工智能算法上的效率更高。
[0029]
如图1所述，本实施例的方法具体包括如下步骤：
[0030]
s110、获取目标图像。
[0031]
其中，目标图像是摄像装置拍摄的图像，目标图像中包括目标车辆。目标车辆是经过摄像装置的车辆，针对目标车辆需要进行后续车牌识别以及登记等操作。摄像装置是用于拍摄图像的装置，例如：200万像素摄像头，可以采集一定分辨率的图像数据，如分辨率为1280*720。
[0032]
具体的，获取的目标图像可以是当摄像装置的拍摄范围内存在车辆时，通过摄像装置拍摄得到的图像。也可以是摄像装置持续拍摄图像，将拍摄的图像中包含车辆的图像作为目标图像。可以是当检测到目标图像时，将目标图像发送至本地芯片以使本地芯片能够进行后续识别车牌号的处理。
[0033]
可选的，基于摄像装置与本地芯片之间的通信接口，获取目标图像。
[0034]
其中，通信接口用于通信连接，通信连接可以是通过通信设备进行连接，也可以是通过传输网络进行连接。为了减少布线以及提高安装的便捷性，优选的，通信连接可以是无线连接，例如通过wifi(wireless fidelity，无线保真)、蓝牙、等方式通信连接。
[0035]
示例性的，可以使用无线通信模块(narrow band internet of things，nb-iot)以及ant(蚂蚁协议)无线模块实现摄像装置与本地芯片之间的通信连接，以使得本地芯片能够获取目标图像用于后续的车牌号识别处理。
[0036]
具体的，当摄像装置拍摄到目标图像后，可以通过摄像装置与本地芯片之间的通信接口，将目标图像发送至本地芯片，使得本地芯片能够获取目标图像。
[0037]
为了使目标图像的图像属性与本地芯片能够处理的图像属性相匹配，在获取目标图像之前，还可以进行如下处理：
[0038]
当检测到拍摄区域中存在车辆时，基于预先设置的摄像装置拍摄拍摄区域中包括目标车辆的待处理图像。
[0039]
其中，待处理图像是摄像装置拍摄的图像，其图像属性与摄像装置相关，不同摄像装置拍摄的图像属性可能不同。图像属性可以包括：图像格式，图像大小，图像分辨率以及图像曝光度等。
[0040]
通过图片处理器对待处理图像进行编码处理，得到目标图像。
[0041]
其中，图片处理器可以用来进行图片格式转换，分辨率调节等操作。
[0042]
具体的，将待处理图像输入图片处理器，以对待处理图像进行图像格式转换，曝光度调节，分辨率调节等图像处理操作，图片处理器输出的图像是适用于本地芯片后续识别和处理的图像。
[0043]
s120、基于本地芯片确定目标图像中的车牌区域，并提取出车牌区域中的目标字符。
[0044]
其中，车牌区域是目标图像中车牌所在的区域，目标字符是车牌区域上识别出的各个字符。
[0045]
具体的，可以根据本地芯片中的车牌定位方法，如通过计算机视觉进行车牌定位等，确定目标图像中车牌所在的区域。为了避免外界字符信息的干扰，可以将非车牌区域的图像进行高斯滤波等处理。进一步，可以在车牌区域中通过本地芯片中的字符识别和处理方法，对车牌区域中的各个字符进行提取，提取出的字符为单个字符，例如：津，h，4，y等。
[0046]
可选的，基于预先设置的车牌区域定位方法，确定目标图像中的车牌区域。通过对车牌区域中的字符串进行字符分割处理，得到车牌区域中的目标字符。
[0047]
示例性的，本地芯片中存储的车牌区域定位方法可以是opencv车牌区域定位的方法。可以是，首先使用高斯滤波去掉目标图像中的干扰元素并将彩色图转换成灰度图像，然后利用索贝尔算子(soble)边缘提取的方法提取垂直方向的边缘以及水平方向的边缘，进一步可以利用最大类间方差算法(otsu)中的二值化方法将上述边缘提取后的图像进行二值化处理，最后利用水平扫描与垂直扫描的方法定位出车牌的区域。在确定车牌区域之后，可以使用字符识别的方法对车牌区域内的各个字符进行提取。字符识别方法可以是内置于本地芯片中的opencv字符识别方法，多层神经网络字符识别方法等。
[0048]
需要说明的是，车牌区域定位方法以及字符识别方法可以根据实际需求选择，在本实施例中不做具体限定。
[0049]
s130、基于目标字符，识别目标车辆的目标车牌号。
[0050]
具体的，在确定各个目标字符后，可以将各个目标字符进行组合，以得到目标车辆的目标车牌号。
[0051]
可选的，按照预设顺序识别每个目标字符，基于识别结果确定目标车辆的目标车牌号。
[0052]
车牌号是用于标识车辆身份的号牌，通常情况下车牌安装在车辆的前后两端，车牌号中的各个字符是按从左至右的方向排列的。因此，可以按照预设顺序识别每个目标字符，优选的，预设顺序是车牌正放时从左至右的方向。将各个目标字符进行横向拼接则可以得到目标车辆的目标车牌号。例如：按照预设顺序识别每个目标字符分别是浙，a，0，a，0，0，1，那么，目标车辆的目标车牌号应当是浙a 0a001。
[0053]
在本地识别目标车辆的车牌号后，可以将该车牌号上传至云端服务器以进行记录。可选的，可以是将目标车牌号发送至云端服务器，以使云端服务器基于目标车牌号确定目标车辆是否为存储库中存储的车辆。
[0054]
在云端服务器基于目标车牌号确定目标车辆是否为存储库中存储的车辆时，还可以根据目标车辆是否为存储库中存储的车辆执行相应的操作。
[0055]
若基于云端服务器检测到目标车牌号为存储库中的车牌号时，则向本地芯片反馈目标车辆为安全车辆。
[0056]
具体的，如果目标车牌号为云端服务器中的存储库中的车牌号，则表明目标车牌号是经过登记注册的，是安全车辆，此时，经过云端服务器识别后，将目标车辆为安全车辆的信息反馈至本地芯片，并为该车辆放行。
[0057]
若基于云端服务器检测到目标车牌号不为存储库中的车牌号时，则记录目标车辆号的关联信息，并向本地芯片反馈目标车辆为记录车辆。
[0058]
其中，关联信息包括目标车牌号的出和/或入的时间信息。记录车辆是本地芯片需要记录出和/或入时间的车辆。
[0059]
具体的，如果目标车牌号不为云端服务器中的存储库中的车牌号，则表明目标车牌号是未经过登记注册的，是记录车辆，此时，经过云端服务器识别后，将目标车辆是记录车辆的信息反馈至本地芯片。当本地芯片接收到目标车辆是记录车辆的信息时，需要记录目标车牌号以及目标车牌号的出和/或入时间，以便于进行未登记注册的车辆的出入记录。
[0060]
示例性的，若该方法应用在停车场中，可以当目标车辆进入停车场时，在本地识别目标车辆的车牌号后，将该车牌号以及当前时间上传至云端服务器以记录车辆进入的信息，并可以在提示板上显示车牌号信息以及进入停车场的时间。当该车辆离开停车场时，在本地识别目标车辆的车牌号后，将该车牌号以及当前时间上传至云端服务器以记录车辆离开的信息。并且，可以在云端服务器中查找到该车牌号所对应的进入停车场时的时间信息，确定该车牌号所对应的车辆在停车场内的停留时间，可以在提示板上显示。若是收费停车场，则可以进一步计算得到需要缴纳的停车费用并显示在提示板上，以提醒停车场管理人员收取相应的费用。
[0061]
本发明实施例的技术方案，通过获取目标图像，基于本地芯片确定目标图像中的车牌区域，并提取出车牌区域中的目标字符，进而识别目标车辆的目标车牌号，解决了车牌识别设备需要将包括车牌的图像上传至云端服务器进行识别，并接收云端服务器反馈的识
别结果，基于识别结果来确定车辆的车牌，存在车牌识别效率较低以及识别不便的技术问题，实现了在接收到目标图像时，基于车牌识别设备中的本地芯片对图像中的车牌直接进行识别处理，提高了车牌识别效率以及车牌识别便捷性的技术效果。
[0062]
实施例二
[0063]
图2为本发明实施例二所提供的一种识别车牌号的装置的结构示意图，该装置配置于本地芯片中，包括：目标图像获取模块210，目标字符识别模块220和目标车牌号识别模块230。
[0064]
其中，目标图像获取模块210，用于获取目标图像；目标图像中包括目标车辆；目标字符识别模块220，用于基于本地芯片确定目标图像中的车牌区域，并提取出车牌区域中的目标字符；目标车牌号识别模块230，用于基于目标字符，识别目标车辆的目标车牌号。
[0065]
可选的，该装置还包括：
[0066]
图像拍摄模块，用于当检测到拍摄区域中存在车辆时，基于预先设置的摄像装置拍摄拍摄区域中包括目标车辆的待处理图像；
[0067]
图像处理模块，用于通过图片处理器对待处理图像进行编码处理，得到目标图像。
[0068]
可选的，目标图像获取模块210，还用于基于摄像装置与本地芯片之间的通信接口，获取目标图像。
[0069]
可选的，目标字符识别模块220，还用于基于预先设置的车牌区域定位方法，确定目标图像中的车牌区域；通过对车牌区域中的字符串进行字符分割处理，得到车牌区域中的目标字符。
[0070]
可选的，目标车牌号识别模块230，还用于按照预设顺序识别每个目标字符，基于识别结果确定目标车辆的目标车牌号。
[0071]
可选的，该装置还包括：
[0072]
目标车牌号发送模块，用于将目标车牌号发送至云端服务器，以使云端服务器基于目标车牌号确定目标车辆是否为存储库中存储的车辆。
[0073]
可选的，目标车牌号发送模块，还用于若基于云端服务器检测到目标车牌号为存储库中的车牌号时，则向本地芯片反馈目标车辆为安全车辆；若基于云端服务器检测到目标车牌号不为存储库中的车牌号时，则记录目标车辆号的关联信息，并向本地芯片反馈目标车辆为记录车辆；关联信息包括目标车牌号的出和/或入的时间信息。
[0074]
图3为本发明实施例二所提供的一种识别车牌号的硬件结构示意图，包括：主控板以及传感器板。其中，主控板包括：ai计算单元、无线通信模块(narrow band internet of things，nb-iot)、数据存储单元(serial peripheral interface flash，spi flash)、电源管理芯片(power management ic，pmic)以及ant(蚂蚁协议)无线模块。传感器板包括：cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)摄像头、led(light emitting diode，发光二极管)补光单元、图像编码芯片。并且，可以通过电源对主控板供电。
[0075]
具体的，基于ai识别算法能够对车牌进行定位，可以是采用传统cv(computer vision，计算机视觉)方法对车牌进行定位。进一步的，可以对车牌上的字符进行分割，可以是采用基于模糊集合为基础的聚类方法进行字符分割，以对单个字符进行识别。
[0076]
示例性的，传感器板可以通过摄像头，如：200万像素摄像头，采集一定分辨率的图
像数据，例如：分辨率为1280*720。图像数据经处理器jpg编码后可以通过异步收发传输器(universal asynchronous receiver/transmitter，uart)串口发送给后端的主控板；主控板上的ai芯片接收到车牌图片后，通过ai算法对图片进行识别，然后能够将识别出的车牌号上传到云端服务器。
[0077]
本发明实施例的技术方案，通过获取目标图像，基于本地芯片确定目标图像中的车牌区域，并提取出车牌区域中的目标字符，进而识别目标车辆的目标车牌号，解决了车牌识别设备需要将包括车牌的图像上传至云端服务器进行识别，并接收云端服务器反馈的识别结果，基于识别结果来确定车辆的车牌，存在车牌识别效率较低以及识别不便的技术问题，实现了在接收到目标图像时，基于车牌识别设备中的本地芯片对图像中的车牌直接进行识别处理，提高了车牌识别效率以及车牌识别便捷性的技术效果。
[0078]
本发明实施例所提供的识别车牌号的装置可执行本发明任意实施例所提供的识别车牌号的方法，具备执行方法相应的功能模块和有益效果。
[0079]
值得注意的是，上述识别车牌号的装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
[0080]
实施例三
[0081]
图4为本发明实施例三所提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图4显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0082]
如图4所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
[0083]
总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0084]
电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0085]
系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0086]
具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块
以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
[0087]
电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口411进行。并且，电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备40的其它模块通信。应当明白，尽管图4中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0088]
处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的识别车牌号的方法。
[0089]
实施例四
[0090]
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种识别车牌号的方法，该方法包括：
[0091]
获取目标图像；目标图像中包括目标车辆；
[0092]
基于本地芯片确定目标图像中的车牌区域，并提取出车牌区域中的目标字符；
[0093]
基于目标字符，识别目标车辆的目标车牌号。
[0094]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0095]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0096]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0097]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立
的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0098]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。