事故车辆车牌号的检测方法、装置、电子设备及存储介质与流程

文档序号:30494975发布日期:2022-06-22 03:51阅读:89来源:国知局
事故车辆车牌号的检测方法、装置、电子设备及存储介质与流程

1.本技术涉及图像检测技术领域,具体涉及一种事故车辆车牌号的检测方法、装置、电子设备及存储介质。


背景技术:

2.高速公路中车辆发生事故、车辆故障、行人走动都是非常危险的行为。若不及时处理,极有可能造成更大的交通事故。目前这几类事件的监控主要通过群众自主报警、二维码上报警情及高速巡警巡逻发现,主动巡查的成本较高且覆盖不全,而群众上报的覆盖及时效性通常不能满足要求。也有通过算法设计对高速公路危险事件进行识别和提取事故车辆车牌号,但是现有技术大多是依靠单帧图像对事故车辆车牌号进行识别,单帧图像较难完成识别任务,事故车辆车牌号的识别准确率较低,无法及时识别事故车辆车牌号,从而无法及时联系事故车辆车牌的驾驶员,无法及时处理交通事故或车辆故障。
3.也即,现有技术中对事故车辆车牌号检测的准确率较低。


技术实现要素:

4.本技术旨在提供一种事故车辆车牌号的检测方法、装置、电子设备及存储介质,旨在解决现有技术中对事故车辆车牌号检测的准确率较低的问题。
5.一方面,本技术提供一种事故车辆车牌号的检测方法,所述事故车辆车牌号的检测方法包括:
6.当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取所述目标巡检车辆在拍摄所述事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;
7.对所述至少两张事故车辆图像进行车牌字符识别,得到所述至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;
8.基于所述至少两个第一车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号。
9.其中,所述事故车辆车牌号包括多个字母数字字符,所述字母数字字符包括字母和数字任意一种;
10.所述基于所述至少两个第一车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号,包括:
11.对所述至少两个第一车牌字符识别结果进行筛选,得到至少两个第二车牌字符识别结果,其中,所述第二车牌字符识别结果中字母数字字符的数量大于第一预设数量;
12.基于所述至少两个第二车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号。
13.其中,所述基于所述至少两个第二车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号,包括:
14.判断所述至少两个第二车牌字符识别结果中是否存在第三车牌字符识别结果,其中,所述第三车牌字符识别结果中的字母数字字符数量小于第二预设数量;
15.若是,基于预设字符对所述多个第二车牌字符识别结果进行补全,得到多个第四车牌字符识别结果,其中,所述第四车牌字符识别结果中字母数字字符的数量为所述第二预设数量。
16.其中,所述基于预设字符对所述多个第二车牌字符识别结果进行补全,得到多个第四车牌字符识别结果,包括:
17.对各个所述第四车牌字符识别结果中的字母数字字符进行排列组合,得到多个第五车牌字符识别结果,其中,所述第四车牌字符识别结果中各个字母数字字符的相对位置保持不变;
18.基于各个所述第五车牌字符识别结果中所述预设字符的数量确定各个所述第五车牌字符识别结果的权重系数;
19.基于所述多个第五车牌字符识别结果和所述权重系数计算所述事故车辆车牌号每个字母数字位置的字母数字字符的出现频率;
20.将所述事故车辆车牌号每个字母数字位置上出现频率最高的的字母数字字符确定为所述事故车辆车牌号各个字母数字位置的字母数字字符。
21.其中,所述事故车辆车牌号还包括汉字字符,
22.所述基于所述至少两个第二车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号,包括:
23.基于所述第二车牌字符识别结果统计各个汉字字符的出现频率;
24.从所述各个汉字字符获取出现频率最高且出现频率大于预设频率的目标汉字字符;
25.将所述目标汉字字符确定为所述事故车辆的车牌的汉字字符。
26.其中,所述预设事故标识包括三角警告牌、亮起的双闪灯以及普通行人中的至少一种;
27.所述当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取所述目标巡检车辆在拍摄所述事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像,之前,包括:
28.获取目标巡检车辆拍摄的第一车辆图像;
29.检测所述第一车辆图像是否存在所述预设事故标识;
30.若所述第一车辆图像上存在所述预设事故标识,则将所述第一车辆图像确定为所述事故车辆图像。
31.所述若所述第一车辆图像上存在所述预设事故标识,则将所述第一车辆图像确定为所述事故车辆图像,包括:
32.若所述第一车辆图像上存在所述预设事故标识,则调取所述目标巡检车辆在拍摄所述第一车辆图像前后第二预设时间段内拍摄的至少一张第二车辆图像;
33.对所述至少一张第二车辆图像分别进行预设事故标识检测;
34.当所述至少一张第二车辆图像和所述第一车辆图像中检测到预设事故标识的车辆图像的占比满足预设占比条件时,将所述第一车辆图像确定为所述事故车辆图像。
35.一方面,本技术提供一种事故车辆车牌号的检测装置,所述事故车辆车牌号的检测装置包括:
36.调取单元,用于当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取所述目标巡检车辆在拍摄所述事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;
37.车牌字符识别单元,用于对所述至少两张事故车辆图像进行车牌字符识别,得到所述至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;
38.确定单元,用于基于所述至少两个第一车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号。
39.其中,所述事故车辆车牌号包括多个字母数字字符,所述字母数字字符包括字母和数字任意一种;
40.所述确定单元,还用于对所述至少两个第一车牌字符识别结果进行筛选,得到至少两个第二车牌字符识别结果,其中,所述第二车牌字符识别结果中字母数字字符的数量大于第一预设数量;
41.基于所述至少两个第二车牌字符识别结果中字符的出现频率确定所述事故车辆车牌号。
42.所述确定单元,还用于判断所述至少两个第二车牌字符识别结果中是否存在第三车牌字符识别结果,其中,所述第三车牌字符识别结果中的字母数字字符数量小于第二预设数量;
43.若是,基于预设字符对所述多个第二车牌字符识别结果进行补全,得到多个第四车牌字符识别结果,其中,所述第四车牌字符识别结果中字母数字字符的数量为所述第二预设数量。
44.所述确定单元,还用于对各个所述第四车牌字符识别结果中的字母数字字符进行排列组合,得到多个第五车牌字符识别结果,其中,所述第四车牌字符识别结果中各个字母数字字符的相对位置保持不变;
45.基于各个所述第五车牌字符识别结果中所述预设字符的数量确定各个所述第五车牌字符识别结果的权重系数;
46.基于所述多个第五车牌字符识别结果和所述权重系数计算所述事故车辆车牌号每个字母数字位置的字母数字字符的出现频率;
47.将所述事故车辆车牌号每个字母数字位置上出现频率最高的的字母数字字符确定为所述事故车辆车牌号各个字母数字位置的字母数字字符。
48.其中,所述事故车辆车牌号还包括汉字字符,
49.所述确定单元,还用于基于所述第二车牌字符识别结果统计各个汉字字符的出现频率;
50.从所述各个汉字字符获取出现频率最高且出现频率大于预设频率的目标汉字字符;
51.将所述目标汉字字符确定为所述事故车辆的车牌的汉字字符。
52.其中,所述预设事故标识包括三角警告牌、亮起的双闪灯以及普通行人中的至少一种;
53.所述调取单元,还用于获取目标巡检车辆拍摄的第一车辆图像;
54.检测所述第一车辆图像是否存在所述预设事故标识;
55.若所述第一车辆图像上存在所述预设事故标识,则将所述第一车辆图像确定为所述事故车辆图像。
56.所述调取单元,还用于若所述第一车辆图像上存在所述预设事故标识,则调取所述目标巡检车辆在拍摄所述第一车辆图像前后第二预设时间段内拍摄的至少一张第二车辆图像;
57.对所述至少一张第二车辆图像分别进行预设事故标识检测;
58.当所述至少一张第二车辆图像和所述第一车辆图像中检测到预设事故标识的车辆图像的占比满足预设占比条件时,将所述第一车辆图像确定为所述事故车辆图像。
59.一方面,本技术还提供一种电子设备,所述电子设备包括:
60.一个或多个处理器;
61.存储器;以及
62.一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的事故车辆车牌号的检测方法。
63.一方面,本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行第一方面任一项所述的事故车辆车牌号的检测方法中的步骤。
64.本技术提供一种事故车辆车牌号的检测方法,事故车辆车牌号的检测方法包括:当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号。本技术在获取到事故车辆图像后,调取与事故车辆图像相关的至少一张事故车辆图像,从而得到至少两张事故车辆图像,根据至少两张事故车辆图像的字符识别结果中各个字符的出现频率确定车辆车牌号,可以综合多张事故车辆图像的字符识别结果确定事故车辆车牌号,提高事故车辆车牌号检测的准确率。
附图说明
65.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
66.图1为本技术实施例所提供的事故车辆车牌号的检测系统的场景示意图;
67.图2是本技术实施例提供的事故车辆车牌号的检测方法的一个实施例流程示意图;
68.图3是本技术实施例中提供的事故车辆车牌号的检测装置一个实施例结构示意图;
69.图4是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
70.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
71.在本技术的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
72.在本技术中,“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本技术。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本技术的描述变得晦涩。因此,本技术并非旨在限于所示的实施例,而是与符合本技术所公开的原理和特征的最广范围相一致。
73.需要说明的是,本技术实施例方法由于是在电子设备中执行,各电子设备的处理对象均以数据或信息的形式存在,例如时间,实质为时间信息,可以理解的是,后续实施例中若提及尺寸、数量、位置等,均为对应的数据存在,以便电子设备进行处理,具体此处不作赘述。
74.本技术实施例提供一种事故车辆车牌号的检测方法、装置、电子设备及存储介质,以下分别进行详细说明。
75.请参阅图1,图1为本技术实施例所提供的事故车辆车牌号的检测系统的场景示意图,该事故车辆车牌号的检测系统可以包括电子设备100,电子设备100中集成有事故车辆车牌号的检测装置,如图1中的电子设备。
76.进一步的,事故车辆车牌号的检测系统与多个巡检车辆网络连接,从而获取多个巡检车辆网络发送的信息。巡检车辆采集的视频、图像、gps坐标位置、相机航向角、时间戳等信息以消息的形式传回到事故车辆车牌号的检测系统。多个巡检车辆各自具有巡检编号,事故车辆车牌号的检测系统根据巡检车辆的编号对目标巡检车辆进行追踪。
77.具体的,巡检车辆安装有视频采集装置,例如相机。视频采集装置承载着采集数据,初步处理感知数据的任务。考虑到高速上巡检车辆与高速上的事故车辆之间的相对速度约为80km/h,且城市间高速在夜间时无辅助灯光支持,因此在此种状态下识别高速危险行为以及所涉及车辆的车牌对感知设备要求极高。转化到视频采集装置参数上主要为全局曝光,3μm以上像元尺寸,f1.2以上最大光圈,1/200s以下曝光时间。当然,根据具体情况可具体选用适当的视频采集装置。
78.本技术实施例中,该电子设备100可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本技术实施例中所描述的电子设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
79.本领域技术人员可以理解,图1中示出的应用环境,仅仅是本技术方案的一种应用场景,并不构成对本技术方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的电子设备,例如图1中仅示出1个电子设备,可以理解的,该事故车辆车牌号的检测系统还可以包括一个或多个其他服务器,具体此处不作限定。
80.另外,如图1所示,该事故车辆车牌号的检测系统还可以包括存储器200,用于存储数据。
81.需要说明的是,图1所示的事故车辆车牌号的检测系统的场景示意图仅仅是一个示例,本技术实施例描述的事故车辆车牌号的检测系统以及场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着事故车辆车牌号的检测系统的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
82.首先,本技术实施例中提供一种事故车辆车牌号的检测方法,该事故车辆车牌号的检测方法的执行主体为事故车辆车牌号的检测装置,该事故车辆车牌号的检测装置应用于电子设备,该事故车辆车牌号的检测方法包括:
83.当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;
84.对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;
85.基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
86.参阅图2,图2是本技术实施例提供的事故车辆车牌号的检测方法的一个实施例流程示意图。如图2所示,该事故车辆车牌号的检测方法包括:
87.s201、当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像。
88.由于事故车辆车牌号的检测装置连接有多个巡检车辆,当事故车辆车牌号的检测装置同时或先后获取到多个巡检车辆发送的事故车辆图像时,可以逐一、同时或者按预定顺序对多个巡检车辆发送的事故车辆图像进行处理,本技术对此不作限定。
89.本技术实施例中,预设标识可以是三角警告牌、亮起的双闪灯以及普通行人中的至少一种。车辆的三角警告牌是由塑料反光材料做成的被动反光体,驾驶员在路上遇到突发故障停车检修或者是发生意外事故的时候,利用三角警示牌的回复反光性能,可以提醒其它车辆注意避让,以免发生二次事故。双闪灯指的是当开启驾驶室内危险报警闪光灯之后,车辆尾部闪烁的一对尾灯。一般而言,双闪灯为两个闪烁的黄灯。
90.其中,第一预设时间段可以是1s、2s、3s等,根据具体情况设定即可。具体的,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的事故车辆视频;对事故车辆视
频解码得到得到至少两张事故车辆图像。例如,目标巡检车辆在拍摄事故车辆图像时的拍摄时间为10:09:09,第一预设时间段为2s,则提取10:09:07至10:09:11的事故车辆视频。当然,也可以提取事故车辆视频中的关键帧作为至少一张事故车辆图像,可提高事故车辆图像的画面效果,提高检测效果。
91.进一步的,当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,获取目标巡检车辆在拍摄事故车辆图像时的拍摄位置,判断拍摄位置是否位于预设区域内,当拍摄位置位于预设区域内时,将拍摄位置确定为事故发生位置。例如,预设区域为高速公路区域。具体的,获取事故车辆图像的拍摄时间,根据事故车辆图像的拍摄时间确定目标巡检车辆拍摄事故车辆图像时的拍摄位置,将拍摄位置确定为事故发生位置。当拍摄位置在预设区域内时才进行检测,能够降低不必要的检测,避免增加系统负荷。同时高速公路区域路况较为单一,在此场景下本技术的方案具有更高的准确度。
92.进一步的,当拍摄区域位于预设区域内时,获取目标巡检车辆在拍摄事故车辆图像时的拍摄位置,判断预设历史时间段内是否存在其他巡检车辆在拍摄位置发送的历史事故车辆图像。预设历史时间段可以是之前1小时、2小时等,根据具体情况设定。若预设历史时间段内存在其他巡检车辆在拍摄位置发送的历史事故车辆图像,则获取目标巡检车辆拍摄事故车辆图像时的拍摄航向角和其他巡检车辆拍摄历史事故车辆图像时的历史航向角,若历史航向角与拍摄航向角不相同,则判断拍摄位置是否位于预设区域内,当拍摄区域位于预设区域内时,将拍摄位置确定为事故发生位置;若历史航向角与拍摄航向角相同,则结束。对于双向车道来说,由于同一位置的事故车辆图像可能是同一驾驶方向的巡检车辆拍摄的,因此,根据巡检车辆的航向角确定事故发生具体车道,能够避免同一驾驶方向的巡检车辆对同一事故进行重复上报,且识别同一位置不同驾驶方向的事故,提高事故车辆检测的精准度,且降低系统负荷。
93.本技术实施例中,当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像,之前,包括:
94.(1)获取目标巡检车辆拍摄的第一车辆图像。
95.本技术实施例中,目标巡检车辆是与事故车辆车牌号的检测系统网络连接的车辆,目标巡检车辆可按预定频率拍摄道路上的第一车辆图像,并上传至事故车辆车牌号的检测系统。预定频率可以是1hz或者2hz等,根据具体情况设定。事故车辆车牌号的检测系统即可获取到目标巡检车辆拍摄的第一车辆图像。
96.(2)检测第一车辆图像是否存在预设事故标识。
97.本技术实施例中,利用三角警告牌检测网络模型检测第一车辆图像是否存在三角警告牌,利用双闪灯检测网络模型检测第一车辆图像是否存在双闪灯,利用普通行人检测网络模型检测第一车辆图像是否存在普通行人。当第一车辆图像存在三角警告牌或者双闪灯或者普通行人时,确定第一车辆图像中存在预设事故标识。当然,也可以在当第一车辆图像存在三角警告牌、双闪灯以及普通行人时,确定第一车辆图像中存在预设事故标识,根据具体情况设定即可,本技术对此不作限定。
98.具体的,获取大量亮起的双闪灯图像作为双闪灯基础训练数据,利用双闪灯基础训练数据对yolov4模型进行训练,得到双闪灯检测模型。获取大量三角警告牌图像作为三
角警告牌基础训练数据,利用三角警告牌基础训练数据对yolov4模型进行训练,得到三角警告牌检测网络模型。获取包括普通行人、假人、执勤人员及施工人员等的图像作为行人基础训练数据,利用行人基础训练数据对yolov4模型和resnet模型进行训练,得到普通行人检测网络模型。当然,yolov4也可以用yolov3、faster r-cnn、ssd等模型替换。
99.yolo-v4沿用了yolov3的head,选用cspdarknet53作为主干网络,spp与modified-pan作为neck,通过各种用于提取并组合特征的neck,在网络中加入attention module(注意力模块),以及nms(非最大值抑制)的后处理方法,能够显著提高目标检测的准确性。
100.由于在光照不足的条件下,黄灯红灯可能会混淆,造成双闪灯和刹车灯识别困难,并且通过网络模型检测图像中目标是否开启双闪的准确度有限。因此,进一步的,在利用双闪灯检测网络模型检测第一车辆图像是否存在双闪灯之后,若基于双闪灯检测网络模型确定第一车辆图像存在双闪灯,则获取第一车辆图像上双闪灯区域,获取双闪灯区域的颜色通道,根据双闪灯区域的颜色通道确定双闪灯区域的颜色,当双闪灯区域的颜色为预设颜色时,确定第一车辆图像上存在双闪灯。具体的,预设颜色为黄色。每个图像都有一个或多个颜色通道,图像中默认的颜色通道数取决于其颜色模式,即一个图像的颜色模式将决定其颜色通道的数量。例如,cmyk图像默认有4个通道,分别为青色、洋红、黄色、黑色。在默认情况下,位图模式、灰度、双色调和索引颜色图像只有一个通道。rgb和lab图像有3个通道,cmyk图像有4个通道。根据具体情况选用即可。
101.在利用双闪灯检测网络模型检测第一车辆图像是否存在双闪灯之后,加入rgb通道值进行黄红校验,可以进一步提高双闪灯检测的准确度。
102.(3)若第一车辆图像上存在预设事故标识,则将第一车辆图像确定为事故车辆图像。
103.在一个具体的实施例中,若第一车辆图像上存在预设事故标识,则调取目标巡检车辆在拍摄第一车辆图像前后第二预设时间段内拍摄的至少一张第二车辆图像,对至少一张第二车辆图像分别进行预设事故标识检测;当至少一张第二车辆图像和第一车辆图像中检测到预设事故标识的车辆图像的占比满足预设占比条件时,将第一车辆图像确定为事故车辆图像。其中,例如,预设标识是双闪灯,则预设占比条件可以是大于第一预设占比且小于第二预设占比。例如,第一预设占比30%,第二预设占比是80%。其中,第二预设时间段可以是1s、2s、3s等,根据具体情况设定即可。
104.具体的,调取拍摄车辆图像前后第二预设时间段内的疑似双闪视频后,对疑似双闪视频中的图像逐帧检测双闪灯。当检测出双闪灯的帧数大于30%且小于80%占比时,认为此事件为有效双闪事件,将第一车辆图像确定为事故车辆图像。
105.s202、对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果。
106.本技术实施例中,对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果。
107.具体的,利用车牌检测模型对事故车辆图像进行车牌检测,得到多个车牌候选区,从多个车牌候选区选择与样本iou最大的车牌候选区作为事故车辆车牌号区域。常规的非极大值抑制算法采用iou作为距离度量,iou就是我们所说的交并比,是目标检测中最常用的指标,它可以反映预测检测框与真实检测框的检测效果。车牌检测模型可以是利用车牌
号图像训练接对yolov3模型训练后得到的模型。对事故车辆车牌号区域进行字符分割得到多个字符。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近,并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。在得到多个字符后,对多个字符分别进行识别,得到第一车牌字符识别结果。字符识别主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法首先将分割后的字符二值化并将其尺寸大小缩放为字符数据库中模板的大小,然后与所有的模板进行匹配,选择最佳匹配作为结果。基于人工神经网络的算法有两种:一种是先对字符进行特征提取,然后用所获得特征来训练神经网络分配器;另一种方法是直接把图像输入网络,由网络自动实现特征提取直至识别出结果。第一车牌字符识别结果包括第一车牌字符识别结果中各个字符的位置。
108.s203、基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
109.事故车辆车牌号一般包括汉字和字母数字字符,字母数字字符包括字母和数字任意一种。以中国大陆的车牌号为例,车牌号一般包括一个汉字和6个字母数字字符,例如,事故车辆车牌号可以是鄂abc123、粤bbc123等。当然,事故车辆车牌号的内容可根据不同国家或地区的交通规则进行确定即可,本技术对此不作限定。以下仅以中国大陆车牌号为例进行举例说明。
110.本技术实施例中,基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号,可以包括:对至少两个第一车牌字符识别结果进行筛选,得到至少两个第二车牌字符识别结果,其中,第二车牌字符识别结果中字母数字字符的数量大于第一预设数量;基于至少两个第二车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
111.其中,第一预设数量可以根据具体情况设定,例如,预设数量为3个。当第一车牌字符识别结果中字母数字字符的数量不超过3个时,表明该车牌字符识别结果的识别效果较差,将该车牌字符识别结果放弃,仅保留第二车牌字符识别结果。例如,至少两个第一车牌字符识别结果为4个第一车牌字符识别结果,分别为鄂abc123、鄂ab123、鄂a23以及粤bbc123。鄂a23字母数字字符的数量不超过3个,需要舍弃,因此,至少两个第二车牌字符识别结果分别为鄂abc123、鄂ab123以及粤bbc123。
112.在一个具体的实施例中,基于至少两个第二车牌字符识别结果中字符的出现频率确定事故车辆车牌号,可以包括:判断至少两个第二车牌字符识别结果中是否存在第三车牌字符识别结果,其中,第三车牌字符识别结果中的字母数字字符数量小于第二预设数量;若是,基于预设字符对多个第二车牌字符识别结果进行补全,得到多个第四车牌字符识别结果,其中,第四车牌字符识别结果中字母数字字符的数量为第二预设数量。
113.其中,第二预设数量和预设字符可以根据具体情况设定,例如,第二预设数量为6个,预设字符为*。例如,至少两个第二车牌字符识别结果分别为鄂abc123、鄂ab123以及粤bbc123。其中,鄂ab123的字母数字字符数量小于第二预设数量,确定为第三车牌字符识别结果,对第三车牌字符识别结果进行补全,得到*ab123。第三车牌字符识别结果之外的剩余第二车牌字符识别结果的字母数字字符数量不小于第二预设数量,无需补全。因此,多个第四车牌字符识别结果分别为鄂abc123、*ab123以及粤bbc123。
114.在一个具体的实施例中,基于预设字符对多个第二车牌字符识别结果进行补全,得到多个第四车牌字符识别结果,可以包括:
115.(1)对各个第四车牌字符识别结果中的字母数字字符进行排列组合,得到多个第五车牌字符识别结果,其中,第四车牌字符识别结果中各个字母数字字符的相对位置保持不变。
116.例如,多个第四车牌字符识别结果分别为鄂abc123、*ab123以及粤bbc123。其中,鄂abc123和粤bbc123在各个字母数字字符的相对位置保持不变的情况下,仅有自身一种组合;*ab123在各个字母数字字符的相对位置保持不变的情况下,存在6种组合,分别为鄂ab123*、鄂a12*3、鄂ab1*23、鄂ab*123、鄂a*b123以及鄂*ab123。则多个第五车牌字符识别结果为8个。
117.(2)基于各个第五车牌字符识别结果中预设字符的数量确定各个第五车牌字符识别结果的权重系数。
118.具体的,基于各个第五车牌字符识别结果中预设字符的数量和第二预设数量确定各个第五车牌字符识别结果的权重系数。其中,预设字符的数量越大,权重系数越小。例如,预设字符的数量为m,第二预设数量为n,则权重系数为
119.(3)基于多个第五车牌字符识别结果和权重系数计算事故车辆车牌号每个字母数字位置的字母数字字符的出现频率。
120.例如,多个第五车牌字符识别结果和权重系数分别为:鄂abc123,权重系数1;粤bbc123,权重系数1;鄂ab123*,权重系数1/6;鄂a12*3,权重系数1/6;鄂ab1*23,权重系数1/6;鄂ab*123,权重系数1/6;鄂a*b123,权重系数1/6;鄂*ab123,权重系数1/6。则第一字母数字字符位置的字符分别是:a、b、*。a、b、*的出现频率分别为11/18、6/18、6/18。
121.(4)将事故车辆车牌号每个字母数字位置上出现频率最高的的字母数字字符确定为事故车辆车牌号各个字母数字位置的字母数字字符。
122.由于a出现频率最高,将事故车辆车牌号的第一字母数字字符位置为a。基于同样的方法,即可得到事故车辆车牌号各个字母数字位置的多个字母数字字符为abc123。
123.进一步的,事故车辆车牌号还包括汉字字符,基于至少两个第二车牌字符识别结果中字符的出现频率确定事故车辆车牌号,包括:基于第二车牌字符识别结果统计各个汉字字符的出现频率;从各个汉字字符获取出现频率最高且出现频率大于预设频率的目标汉字字符;将目标汉字字符确定为事故车辆的车牌的汉字字符。预设频率可以根据具体情况设定,例如,预设频率为50%。例如,至少两个第二车牌字符识别结果分别为鄂abc123、鄂ab123以及粤bbc123,则汉字字符为“鄂”和“粤”的出现频率分别为2/3和1/3,则确定目标汉字字符为“鄂”。
124.从各个汉字字符获取出现频率最高且出现频率大于预设频率的目标汉字字符,将目标汉字字符确定为事故车辆车牌号的第一个字符,得到事故车辆车牌号,为鄂abc123。
125.进一步的,将事故车辆图像、事故车辆车牌号以及事故发生位置等显示在实景展示平台上。
126.为了更好实施本技术实施例中事故车辆车牌号的检测方法,在事故车辆车牌号的检测方法基础之上,本技术实施例中还提供一种事故车辆车牌号的检测装置,如图3所示,图3是本技术实施例中提供的事故车辆车牌号的检测装置一个实施例结构示意图,该事故
车辆车牌号的检测装置包括:
127.调取单元301,用于当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;
128.车牌字符识别单元302,用于对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;
129.确定单元303,用于基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
130.其中,事故车辆车牌号包括多个字母数字字符,字母数字字符包括字母和数字任意一种;
131.确定单元303,还用于对至少两个第一车牌字符识别结果进行筛选,得到至少两个第二车牌字符识别结果,其中,第二车牌字符识别结果中字母数字字符的数量大于第一预设数量;
132.基于至少两个第二车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
133.确定单元303,还用于判断至少两个第二车牌字符识别结果中是否存在第三车牌字符识别结果,其中,第三车牌字符识别结果中的字母数字字符数量小于第二预设数量;
134.若是,基于预设字符对多个第二车牌字符识别结果进行补全,得到多个第四车牌字符识别结果,其中,第四车牌字符识别结果中字母数字字符的数量为第二预设数量。
135.确定单元303,还用于对各个第四车牌字符识别结果中的字母数字字符进行排列组合,得到多个第五车牌字符识别结果,其中,第四车牌字符识别结果中各个字母数字字符的相对位置保持不变;
136.基于各个第五车牌字符识别结果中预设字符的数量确定各个第五车牌字符识别结果的权重系数;
137.基于多个第五车牌字符识别结果和权重系数计算事故车辆车牌号每个字母数字位置的字母数字字符的出现频率;
138.将事故车辆车牌号每个字母数字位置上出现频率最高的的字母数字字符确定为事故车辆车牌号各个字母数字位置的字母数字字符。
139.其中,事故车辆车牌号还包括汉字字符,
140.确定单元303,还用于基于第二车牌字符识别结果统计各个汉字字符的出现频率;
141.从各个汉字字符获取出现频率最高且出现频率大于预设频率的目标汉字字符;
142.将目标汉字字符确定为事故车辆的车牌的汉字字符。
143.其中,预设事故标识包括三角警告牌、亮起的双闪灯以及普通行人中的至少一种;
144.调取单元301,还用于获取目标巡检车辆拍摄的第一车辆图像;
145.检测第一车辆图像是否存在预设事故标识;
146.若第一车辆图像上存在预设事故标识,则将第一车辆图像确定为事故车辆图像。
147.调取单元301,还用于若第一车辆图像上存在预设事故标识,则调取目标巡检车辆在拍摄第一车辆图像前后第二预设时间段内拍摄的至少一张第二车辆图像;
148.对至少一张第二车辆图像分别进行预设事故标识检测;
149.当至少一张第二车辆图像和第一车辆图像中检测到预设事故标识的车辆图像的
占比满足预设占比条件时,将第一车辆图像确定为事故车辆图像。
150.本技术实施例还提供一种电子设备,其集成了本技术实施例所提供的任一种事故车辆车牌号的检测装置。如图4所示,其示出了本技术实施例所涉及的电子设备的结构示意图,具体来讲:
151.该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
152.处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
153.存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
154.电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
155.该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
156.尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
157.当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;
158.对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;
159.基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
160.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
161.为此,本技术实施例提供一种计算机可读存储介质,该存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本技术实施例所提供的任一种事故车辆车牌号的检测方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:
162.当获取到目标巡检车辆拍摄的包含预设事故标识的事故车辆图像时,调取目标巡检车辆在拍摄事故车辆图像前后第一预设时间段内的至少一张事故车辆图像,得到至少两张事故车辆图像;
163.对至少两张事故车辆图像进行车牌字符识别,得到至少两张事故车辆图像对应的至少两个第一车牌字符识别结果;
164.基于至少两个第一车牌字符识别结果中字符的出现频率确定事故车辆车牌号。
165.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
166.具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。
167.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
168.以上对本技术实施例所提供的一种事故车辆车牌号的检测方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本技术的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1