一种车辆牌证数据检测方法、装置、终端设备及存储介质与流程

1.本发明涉及数据检测技术领域，尤其涉及一种车辆牌证数据检测方法、装置、终端设备及存储介质。


背景技术：

2.目前，汽车生产线上需要检测车辆随车附带的牌证数据是否准确，例如车辆b柱铭牌数据、车辆随车证书数据等，从而实现生产过程中可追溯管理。
3.在现有汽车生产中，检查员通过目视观察对b柱铭牌信息或随车证书数据进行检查核对。然而，由于生产线上实际工作的经常性和不确定性，例如因检测员疲劳、记忆出错等非可控人为因素，靠人工来检查数据易出现确认失误的情况，使不良品流出。此外，由于生产线节拍快和短时人脑记忆信息有限，检查员只能核对车架号后4位、发动机号、证书编号等关键数据，导致核对的数据量有限。
4.综上，现有技术中通过人工对车辆牌证数据进行检测，检测的准确率不高且核对的数据量有限。


技术实现要素：

5.本发明提供了一种车辆牌证数据检测方法、装置、终端设备及存储介质，以实现自动检测车辆牌证，能够提高检测结果的准确度和检测的数据量，并对异常数据项进行标识与报警。
6.第一方面，为了解决上述技术问题，本发明提供了一种车辆牌证数据检测方法，包括：
7.获取待检测车辆牌证所在区域的图像数据；
8.根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据；
9.根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据；
10.对所述字符串数据进行提取，得到vi n码；
11.根据所述vi n码获得预先存储的原始车辆牌证数据；
12.将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果。
13.优选地，所述根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据，包括：
14.将所述单行文本图片数据输入至所述文本识别模型中，基于卷积神经网络对所述单行文本图片数据进行卷积操作得到特征图；
15.将所述特征图进行整形拼接操作，得到特征序列；
16.基于双向lstm对所述特征序列进行识别，生成包括文本字符的文本序列；
17.对所述文本序列中的文本字符进行逻辑修改，得到字符串数据。
18.优选地，所述根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据，包括：
19.根据预设的牌证平均面积对所述图像数据进行筛选，得到大于所述牌证平均面积的第一图像数据；
20.根据牌证在图片中的位置对所述第一图像数据进行筛选，得到第二图像数据；其中，所述第二图像数据为所述第一图像数据中牌证处于图片中心范围内的图片；
21.对所述第二图像数据进行像素提取，得到与所述第二图像数据对应的像素分布直方图；
22.根据所述像素分布直方图对所述第二图像数据进行筛选，得到像素分布符合预设像素条件的第三图像数据；
23.对所述第三图像数据进行抠图，得到单行文本图片数据。
24.优选地，在所述对所述第三图像数据进行抠图，得到单行文本图片数据之后，所述方法还包括：
25.获取所述单行文本图片数据中所包含的文本框数量和文本框面积；
26.当所述文本框数量大于预设的数量基数且所述文本框面积大于预设的面积基数时，判定所述单行文本图片数据有效。
27.优选地，所述方法还包括：
28.当所述文本框数量小于预设的数量基数或所述文本框面积小于预设的面积基数时，判定所述单行文本图片数据无效；
29.发送拍摄指令至图像获取设备，并获取所述图像获取设备再次拍摄的图像数据，以更新待检测车辆牌证所在区域的图像数据。
30.优选地，所述将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果，包括：
31.当所述字符串数据与所述原始车辆牌证数据中每一项均比对一致时，判定车辆牌证数据正常；
32.当所述字符串数据与所述原始车辆牌证数据中存在比对出错的项时，判定车辆牌证数据异常，执行报警提示。
33.第二方面，本发明提供了一种车辆牌证数据检测装置，包括：
34.数据获取模块，用于获取待检测车辆牌证所在区域的图像数据；
35.区域提取模块，用于根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据；
36.文本识别模块，用于根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据；
37.vi n码提取模块，用于对所述字符串数据进行提取，得到vi n码；
38.原始数据获取模块，用于根据所述vi n码获得预先存储的原始车辆牌证数据；
39.数据检测模块，用于将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果。
40.第三方面，本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存
储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述中任意一项所述的车辆牌证数据检测方法。
41.第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的车辆牌证数据检测方法。
42.相比于现有技术，本发明具有如下有益效果：
43.本发明公开一种车辆牌证数据检测方法，包括获取待检测车辆牌证所在区域的图像数据；根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据；根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据；对所述字符串数据进行提取，得到vi n码；根据所述vi n码获得预先存储的原始车辆牌证数据；将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果。本发明采用深度学习模型识别出牌证图片中的文本位置和内容，对图片单行文本进行文字识别转换成计算机可处理的字符串数据，然后进行逐项对比，实现了自动检测车辆牌证，能够提高检测结果的准确度和检测的数据量，并对异常数据项进行标识与报警。
附图说明
44.图1是本发明第一实施例提供的车辆牌证数据检测方法流程示意图；
45.图2是本发明实施例提供的文本识别模型示意图；
46.图3是本发明第二实施例提供的车辆牌证数据检测装置结构示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.参照图1，本发明第一实施例提供了一种车辆牌证数据检测方法，包括以下步骤：
49.s11，获取待检测车辆牌证所在区域的图像数据；
50.s12，根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据；
51.s13，根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据；
52.s14，对所述字符串数据进行提取，得到vi n码；
53.s15，根据所述vi n码获得预先存储的原始车辆牌证数据；
54.s16，将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果。
55.本发明采用深度学习模型识别出牌证图片中的文本位置和内容，对图片单行文本进行文字识别转换成计算机可处理的字符串数据，然后进行逐项对比，实现了自动检测车辆牌证，能够根据检测结果对异常数据项进行标识与报警。
56.在步骤s11中，获取待检测车辆牌证所在区域的图像数据。在一种实施方式中，车
辆牌证为设置于车辆b柱区域的铭牌，当车辆到位后，车头传感器触发信号发送plc，plc延时8s后触发相机进行连续拍照，获得待检测车辆牌证所在区域的图像数据。
57.在另一种实施方式中，车辆牌证为车辆随车证书，将打印的证书整理放入高速扫描仪进行扫描图片并保存到指定文件夹，获得待检测车辆牌证所在区域的图像数据。
58.在步骤s12中，根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据，包括：
59.根据预设的牌证平均面积对所述图像数据进行筛选，得到大于所述牌证平均面积的第一图像数据；
60.根据牌证在图片中的位置对所述第一图像数据进行筛选，得到第二图像数据；其中，所述第二图像数据为所述第一图像数据中牌证处于图片中心范围内的图片；
61.对所述第二图像数据进行像素提取，得到与所述第二图像数据对应的像素分布直方图；
62.根据所述像素分布直方图对所述第二图像数据进行筛选，得到像素分布符合预设像素条件的第三图像数据；
63.对所述第三图像数据进行抠图，得到单行文本图片数据。
64.在本实施例中，文本检测模型可以采用det模型，即带可微二值化函数的实时场景文本检测模型(rea l-t ime scene text detect ion with different iab l ebi nar i zat ion)。
65.需要说明的是，由于铭牌大小相对固定,故在图片中的大小也是相对固定的。牌证平均面积可以根据具体的牌证大小统计得到，本发明对此不做限定。在实际检测时，只保留大于牌证平均面积的铭牌，这样可以有效过滤只拍到半张的铭牌。
66.同时，由于光源的影响，图片中间的铭牌拍照效果是比较好的。根据牌证在图片中的位置对所述第一图像数据进行筛选，得到第二图像数据，从而保留所述第一图像数据中牌证处于图片中心范围内的图片。
67.此外，由于光源的影响，过亮或过暗的图像也会影响最终的检测结果。通过抠出铭牌像素分布直方图，分析铭牌是否处于合适的光源下，从而保留像素分布符合预设像素条件的图像数据。其中，预设像素条件可以根据当前环境光源设定，例如像素条件为像素分布直方图的主体保持在整个直方图的中央部分内。
68.在一种优选实施例中，在所述对所述第三图像数据进行抠图，得到单行文本图片数据之后，所述方法还包括：
69.获取所述单行文本图片数据中所包含的文本框数量和文本框面积；
70.当所述文本框数量大于预设的数量基数且所述文本框面积大于预设的面积基数时，判定所述单行文本图片数据有效。
71.优选地，所述方法还包括：
72.当所述文本框数量小于预设的数量基数或所述文本框面积小于预设的面积基数时，判定所述单行文本图片数据无效；
73.发送拍摄指令至图像获取设备，并获取所述图像获取设备再次拍摄的图像数据，以更新待检测车辆牌证所在区域的图像数据。
74.示例性地，数量基数设置为8，面积基数设置为300000像素。有效性指通过文本检
测模型的文字检出特性再次判断是否抠出了真的铭牌，进一步地提高的最终检测的准确度。
75.在步骤s13中，根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据，包括：
76.将所述单行文本图片数据输入至所述文本识别模型中，基于卷积神经网络对所述单行文本图片数据进行卷积操作得到特征图；
77.将所述特征图进行整形拼接操作，得到特征序列；
78.基于双向lstm对所述特征序列进行识别，生成包括文本字符的文本序列；
79.对所述文本序列中的文本字符进行逻辑修改，得到字符串数据。
80.参照图2，文本识别模型采用rec模型，rec模型包括crnn文本识别算法，可以通过识别单行文本的图片，将图片数据转换成计算机可处理的字符串序列数据。det模型和rec模型两个模型串联工作，采用深度学习模型识别出证书文本位置和内容。
81.具体地，识别包括以下步骤：图片输入：将单行文本的图片数据输入模型；特征提取：常规卷积神经网络对图片进行卷积操作得到特征图(feature maps)；特征整形：将特征图进行整形拼接等操作变成rnn网络可以接收的特征序列；rnn网络进行文本生成：通过双向lstm对特征序列进行识别后生成对应文本字符形成文本序列；文本转义：对文本序列中文本间隔符号，重复文本识别等进行逻辑修改，从而得到最终文本字符串。
82.在步骤s14中，对所述字符串数据进行提取，得到vi n码。
83.示例性地，在经过文本识别模型进行识别后，识别到字符串数据中vi n码字段为字符串“lhg98712345612341”，生产国字段为字符串“中国”，则会组合成json格式：
84.{
[0085]“vi n”:“lhg98712345612341”,
[0086]“生产国”:“中国”[0087]
}
[0088]
将字符串识别结果组合成json格式，返回给前端软件，再进行判断是否识别成功。
[0089]
在步骤s15和s16中，根据所述vi n码获得预先存储的原始车辆牌证数据；将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果，包括：
[0090]
当所述字符串数据与所述原始车辆牌证数据中每一项均比对一致时，判定车辆牌证数据正常；
[0091]
当所述字符串数据与所述原始车辆牌证数据中存在比对出错的项时，判定车辆牌证数据异常，执行报警提示。
[0092]
值得说明的是，通过配置功能，逐数据项进行比对，设定内容主要包括，ocr识别字段、接口字段、数据类型、阈值等字段，通过每份牌证设定的配置项进行比对。若存在比对出错的项，对出错项信息进行加框显示报警；比对正常的项，显示ok。当然，还可以将数据比对结果传送到现场显示屏汇总显示车辆牌证识别状态。最后，将牌证比对数据及图片数据存储到对应服务器和管理平台，可以进行查询和追溯。
[0093]
本发明提供的车辆牌证数据检测方法，具有以下优点：
[0094]
1、本方法可以兼容所有车型的铭牌或证书检测与信息核对功能；
[0095]
2、该技术实现自动检测牌证与信息核对，能够对不正确数据项进行标识与报警；
[0096]
3、通过视觉智能化检测牌证，可与其他智能检测项目合并同时进行，减少岗位设置，优化工艺流程；
[0097]
4、该技术实现自动检测、记录牌证检测信息，确保所有车辆记录准确；
[0098]
5、牌证检测结果数据自动保存并上传至指定服务器，并对最终结果进行图片与数据展示。
[0099]
参照图3，本发明第二实施例提供了一种车辆牌证数据检测装置，包括：
[0100]
数据获取模块，用于获取待检测车辆牌证所在区域的图像数据；
[0101]
区域提取模块，用于根据预先配置的文本检测模型对所述图像数据进行文本区域提取，得到单行文本图片数据；
[0102]
文本识别模块，用于根据预先配置的文本识别模型对所述单行文本图片数据进行识别，得到字符串数据；
[0103]
vi n码提取模块，用于对所述字符串数据进行提取，得到vi n码；
[0104]
原始数据获取模块，用于根据所述vi n码获得预先存储的原始车辆牌证数据；
[0105]
数据检测模块，用于将所述字符串数据与所述原始车辆牌证数据逐项比对，得到车辆牌证数据检测结果。
[0106]
需要说明的是，本发明实施例提供的一种车辆牌证数据检测装置用于执行上述实施例的一种车辆牌证数据检测方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
[0107]
本发明实施例还提供了一种终端设备。该终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如车辆牌证数据检测程序。所述处理器执行所述计算机程序时实现上述各个车辆牌证数据检测方法实施例中的步骤，例如图1所示的步骤s11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如数据检测模块模块。
[0108]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
[0109]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及智能平板等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述部件仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0110]
所称处理器可以是中央处理单元(centra l process i ng un it，cpu)，还可以是其他通用处理器、数字信号处理器(di g ita l si gna l processor，dsp)、专用集成电路(app l i cat i on spec i f i c i ntegrated ci rcu it，as i c)、现成可编程门阵列(fi e l d-programmab l e gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
[0111]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart med i a card,smc)，安全数字(secure d i gita l,sd)卡，闪存卡(f l ash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0112]
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-on ly memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0113]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0114]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。