基于神经网络的车辆属性识别方法、装置、设备及介质与流程

文档序号:17443628发布日期:2019-04-17 05:10阅读:197来源:国知局
基于神经网络的车辆属性识别方法、装置、设备及介质与流程
本发明涉及人工智能领域,尤其涉及一种基于神经网络的车辆属性识别方法、装置、计算机设备及存储介质。
背景技术
:随着社会经济的发展,越来越多的汽车进入了人们的生活,汽车给人们的生活带来了许多便利,但出现汽车超载、非安全驾驶、车牌遮挡或者使用假牌照等现象也屡见不鲜,这使得汽车的管理也变得越来越复杂。例如车辆收费和管理,交通流量检测,停车场收费管理,违章车辆监控,车顶载有重物,未系安全带,假牌照或者遮挡车牌等车辆属性识别这些具体问题。针对这些问题,当前采用的主要方法是通过识别对车辆进行拍照,得到车牌图像,进而使用不同识别技术,分别对车辆颜色、车辆种类、车顶是否载有异物、是否符合安全驾驶规范以及车牌号码是否正常等,多次进行识别需要花费较多的时间,且通过不同识别技术,存在误差也较大,这导致了在需要识别多重车辆属性时,识别效率低,且准确率不高的问题。技术实现要素:本发明实施例提供一种基于神经网络的车辆属性识别方法、装置、计算机设备和存储介质,以解决在对多重车辆属性进行识别时,识别效率低和准确率不高的问题。一种基于神经网络的车辆属性识别方法,包括:获取待识别的初始车辆图像;对所述初始车辆图像进行图像预处理,得到目标车辆图像;将所述目标车辆图像输入到预设的卷积神经网络模型中,其中,所述预设的卷积神经网络模型包括主干网络、第一分支识别网络、第二分支识别网络和第三分支识别网络,所述主干网络包括三层预设卷积层;通过第一层预设卷积层对所述目标车辆图像进行卷积处理,得到第一特征数据,将所述第一特征数据发送给所述第一分支识别网络并对所述第一特征数据进行识别,得到车辆颜色属性;将所述第一特征数据发送给第二层预设卷积层并对所述第一特征数据进行卷积处理,得到第二特征数据,将得到的所述第二特征数据发送给所述第二分支识别网络并对所述第二特征数据进行识别,得到车辆种类属性;将得到的所述第二特征数据发送给第三层预设卷积层所述第三层预设卷积层并对所述第二特征数据进行卷积处理,得到第三特征数据;将所述第三特征数据发送给所述第三分支识别网络并对所述第三特征数据进行识别,得到车辆安全属性,其中,所述车辆安全属性包括车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。一种基于神经网络的车辆属性识别装置,包括:图像获取模块,用于获取待识别的初始车辆图像;图像预处理模块,用于对所述初始车辆图像进行图像预处理,得到目标车辆图像;图像输入模块,用于将所述目标车辆图像输入到预设的卷积神经网络模型中,其中,所述预设的卷积神经网络模型包括主干网络、第一分支识别网络、第二分支识别网络和第三分支识别网络,所述主干网络包括三层预设卷积层;颜色识别模块,用于通过第一层预设卷积层对所述目标车辆图像进行卷积处理,得到第一特征数据,将所述第一特征数据发送给所述第一分支识别网络并对所述第一特征数据进行识别,得到车辆颜色属性;种类识别模块,用于将所述第一特征数据发送给第二层预设卷积层并对所述第一特征数据进行卷积处理,得到第二特征数据,将得到的所述第二特征数据发送给所述第二分支识别网络并对所述第二特征数据进行识别,得到车辆种类属性;卷积处理模块,用于将得到的所述第二特征数据发送给所述第三层预设卷积层并对所述第二特征数据进行卷积处理,得到第三特征数据;安全识别模块,用于将所述第三特征数据发送给所述第三分支识别网络并对所述第三特征数据进行识别,得到车辆安全属性,其中,所述车辆安全属性包括车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于神经网络的车辆属性识别方法的步骤。一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于神经网络的车辆属性识别方法的步骤。本发明实施例提供的基于神经网络的车辆属性识别方法、装置、计算机设备及存储介质,获取待识别的初始车辆图像,进而对初始车辆图像进行图像预处理,得到目标车辆图像,并将目标车辆图像输入到预设的卷积神经网络模型中,其中,预设的卷积神经网络模型包括主干网络、第一分支识别网络、第二分支识别网络和第三分支识别网络,主干网络包括至少三层预设卷积层,通过第一层预设卷积层对目标车辆图像进行卷积处理,得到第一特征数据,将第一特征数据发送给第二层预设卷积层和第一分支识别网络,并使用第一分支识别网络对第一特征数据进行识别,得到车辆颜色属性,通过第二层预设卷积层对第一特征数据进行卷积处理,得到第二特征数据,将得到的第二特征数据发送给第二层之后的预设卷积层,并使用第二分支识别网络对第二特征数据进行识别,得到车辆种类属性,通过第二层之后的预设卷积层对第二特征数据进行卷积处理,得到第三特征数据,将第三特征数据发送给第三分支识别网络,通过第三分支识别网络对第三特征数据进行识别,得到车辆安全识别属性,其中,车辆安全识别属性包括:车顶异物检测信息、驾驶安全检测信息和车牌号码识别信息,实现了通过一次识别过程即可完成多种车辆属性的识别,提高了识别效率,且这种采用统一的卷积神经网络同时识别多重属性的方式,提高了识别的准确率。附图说明为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例提供的基于神经网络的车辆属性识别方法的应用环境示意图;图2是本发明实施例提供的基于神经网络的车辆属性识别方法的实现流程图;图3是本发明实施例提供的基于神经网络的车辆属性识别方法中步骤s70的实现流程图;图4是本发明实施例提供的基于神经网络的车辆属性识别方法中步骤s73的实现流程图;图5是本发明实施例提供的基于神经网络的车辆属性识别方法中步骤s20的实现流程图;图6是本发明实施例提供的基于神经网络的车辆属性识别方法中步骤s21的实现流程图;图7是本发明实施例提供的基于神经网络的车辆属性识别装置的示意图;图8是本发明实施例提供的计算机设备的示意图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。请参阅图1,图1示出本发明实施例提供的基于神经网络的车辆属性识别方法的应用环境。该基于神经网络的车辆属性识别方法应用在行驶过程中的车辆的多重属性识别场景中。该多重属性识别场景包括客户端和服务端,其中,客户端和服务端之间通过网络进行连接,客户端将拍摄到车辆图像发送到服务端,服务端接收客户端发送的车辆图像并进行识别,客户端具体可以但不限于是超速摄像头、天网监控、电子警察、各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。请参阅图2,图2示出本发明实施例提供的一种基于神经网络的车辆属性识别方法,以该方法应用在图1中的服务端为例进行说明,详述如下:s10:获取待识别的初始车辆图像。具体地,客户端在获取待识别初始车辆图像后,将初始车辆图像通过网络传输协议发送给服务端,服务端通过网络传输协议接收该待识别的初始车辆图像。其中,客户端具体可以是超速摄像头、天网监控、电子警察等具有拍摄功能的监控设备,直接拍摄得到待识别的初始车辆图像,也可以是各种个人计算机、笔记本电脑、智能手机或平板电脑等智能终端设备,具有存储初始车辆图像的存储空间,以及和服务端进行网络交互的功能。其中,网络传输协议包括但不限于:互联网控制报文协议(internetcontrolmessageprotocol,icmp)、地址解析协议(arpaddressresolutionprotocol,arp)和文件传输协议(filetransferprotocol,ftp)等。值得说明的是,在本实施例中,初始车辆图像的拍摄视角为车辆前方拍摄,因而初始车辆图像包含车牌区域信息、前车窗区域信息和车身区域信息等。s20:对初始车辆图像进行图像预处理,得到目标车辆图像。具体地,由于拍摄的角度、距离,以及汽车的高速行驶等因素的影响,获取到的初始车辆图像质量不高,直接进行识别正确率较低,因而,需要先将初始车辆图像进行预处理,以便减少这些因素带来的影响,提高后续识别的准确率,对初始车辆图像进行预处理后,得到大小为a×b个像素的目标车辆图像。其中,预处理包括但不限于:图像裁剪、归一化和倾斜校正等。其中,a和b为预设的数值,其基本单位为1个像素的宽度,以a为水平方向边长,即以a个像素的宽度作为水平方向边长,以b为竖直方向边长,即以b个像素的宽度作为竖直方向边长,a和b为正整数,其具体数值可以根据需要进行设置,此处不作具体限制。优选地,在本发明实施例中,a的值取416,b的值取416,即最后得到像素为416×416的目标车辆图像。s30:将目标车辆图像输入到预设的卷积神经网络模型中,其中,预设的卷积神经网络模型包括主干网络、第一分支识别网络、第二分支识别网络和第三分支识别网络,主干网络包括三层预设卷积层。具体地,将步骤s20中获取到的a×b个像素的目标车辆图像输入到预设的卷积神经网络模型中,以便通过到预设的卷积神经网络模型对目标车辆图像进行识别,得到车辆的多重属性。其中,卷积神经网络模型(convolutionalneuralnetwork,cnn),是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,可以快速高效进行图像处理,本实施例中,预设的卷积神经网络模型包括主干网络和三个分支识别网络。其中,主干网络包括三层预设卷积层,每层预设卷积层包括一个或多个卷积单元,卷积单元用于对输入的数据进行卷积处理。其中,三个分支识别网络分别为第一分支识别网络、第二分支识别网络和第三分支识别网络,第一分支识别网络用于识别车辆颜色属性,第二分支识别网络用于识别车辆种类属性,第三分支识别网络用于识别车辆行驶过程中的安全属性。需要说明的是,预设卷积层的数量和分支识别网络的数量,具体也可以是两个或者三个以上,本实施例中提供的三层预设卷积层与三个分支识别网络仅为一种优选方式,不应理解为对其的限定,可根据实际需要进行灵活设置。优选地,在本实施例中,将目标车辆图像输入到预设的卷积神经网络模型之后,预设的卷积神经网络模型提取该目标车辆图像的多通道数据,以便后续通过第一层预设卷积层提取多通道数据的特征数据。其中,多通道数据是指每个通道的数据,通道个数可根据实际情况进行设置,此处不作具体限制,优选地,本发明实施例通道个数设置为3。s40:通过第一层预设卷积层对目标车辆图像进行卷积处理,得到第一特征数据,将第一特征数据发送给第一分支识别网络并对第一特征数据进行识别,得到车辆颜色属性。具体地,在第一层预设卷积层,通过对目标车辆图像中的多通道数据进行卷积处理,得到多通道数据进行卷积处理后的卷积数据,作为第一特征数据,将该第一特征数据发送给第一分支识别网络,用于进行车辆颜色识别,并将该第一特征数据发送给第二层预设卷积层,以便后续进行其他车辆属性的识别。其中,预设卷积层(convolutionallayer)由预设个数的卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积处理的目的是得到表示不同特征的卷积数据,即方便后续提取输入的不同特征,层级低的卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,越深层级的网路能从低级特征中迭代提取更复杂的特征。值得说明的是,在本发明实施例中,作为一种优选方式,本发明实施例第一预设卷积层包括3个预设的卷积单元,这3个预设的卷积单元能使得提取到的颜色特征清晰,识别正确率高,该3个预设的卷积单元的卷积过程如表一所示,其中,conv是指卷积操作,max是指池化操作,输入表示特征数据输入时的数据结构,输出表示经过卷积操作或者池化操作后得到的数据结构,池化操作对特征数据进行降采样,减少参数数量,防止过拟合,能够实现加强卷积操作后输出的特征数据的鲁棒性的作用,在表一中,输入的多通道数据结构为416*416*3,经过第一层预设卷积层的卷积操作后,得到的第一特征数据的数据结构为52*52*128。表一操作输入输出conv416*416*3416*416*32max416*416*32208*208*32conv208*208*32208*208*64max208*208*64104*104*64conv104*104*64104*104*128max104*104*12852*52*128其中,第一分支识别网络包含对颜色进行识别的分类器,每个分类器对应一种颜色特征,将得到的第一特征数据输入到这些分类器中,计算第一特征数据与这些分类器对应的颜色特征的相似度值,进而将相似度值最大的颜色特征对应的颜色,作为车辆颜色属性,车辆颜色属性包括但不限于:红色、黑色、蓝色和橙色等。s50:将第一特征数据发送给第二层预设卷积层并对第一特征数据进行卷积处理,得到第二特征数据,将得到的第二特征数据发送给第二分支识别网络并对第二特征数据进行识别,得到车辆种类属性。具体地,在将第一特征数据发送给第二层预设卷积层后,通过使用第二层预设卷积层对得到的第一特征数据卷积处理,得到第二特征数据,将该第二特征数据发送给第二分支识别网络,用于进行车辆种类识别,并将该第二特征数据发送给第三层预设卷积层,以便后续进行其他车辆属性的识别。作为一种优选方式,本发明实施例第二预设卷积层包括2个预设的卷积单元,这2个预设的卷积单元能使得提取到的车辆种类特征清晰,识别正确率高,该2个预设的卷积单元的卷积过程如表二所示,在表二中,输入的第一特征数据的数据结构为52*52*128,经过第二层预设卷积层的卷积操作后,得到的第一特征数据的数据结构为13*13*512。表二操作输入输出conv52*52*12852*52*256max52*52*25626*26*256conv26*26*25626*26*512max26*26*51213*13*512其中,第二分支识别网络包含对车辆种类进行识别的分类器,每个分类器对应一种车辆种类特征,将得到的第二特征数据输入到这些分类器中,计算第二特征数据与这些分类器对应的车辆种类特征的相似度值,进而将相似度值最大的车辆种类特征对应的车辆种类,作为车辆种类属性。其中,车辆种类属性包括但不限于:suv、mpv、面包车、皮卡、公交车、卡车、油罐车等种类,能够识别的车辆种类属性可以根据实际进行设置,此处不作具体限制。s60:将得到的所述第二特征数据发送给第三层预设卷积层并对第二特征数据进行卷积处理,得到第三特征数据。在本实施例中,第三层预设卷积层为深层次的卷积层,经过第三层预设卷积层提取到的数据特征可以用于对车辆复杂属性的识别,例如,驾驶员有无系安全带,车牌号码是否遮挡等,由于这些复杂的车辆安全属性对卷积的结构和层次和深度要求不一致,因而,在第三层预设卷积层,提取能区分这些复杂的车辆安全属性的第三特征数据,并在后续通过对第三特征数据进行处理,实现对各种复杂的车辆安全属性进行识别。作为一种优选方式,本发明实施例第三预设卷积层包括1个预设的卷积单元,经过该预设的卷积单元的卷积操作能使得复杂的车辆安全属性被区分开,方便后续车辆安全属性的提取,该预设的卷积单元的卷积过程如表三所示,在表三中,输入的第二特征数据的数据结构为13*13*512,经过第三层预设卷积层的卷积操作后,得到的第三特征数据的数据结构为13*13*1024。表三操作输入输出conv13*13*51213*13*1024s70:将所述第三特征数据发送给第三分支识别网络并对第三特征数据进行识别,得到车辆安全属性,其中,车辆安全属性包括车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。具体地,在将第三特征数据发送给第三分支识别网络后,通过第三分支识别网络对得到的第三特征数据进行识别,分别获取车辆的不同安全属性,车辆安全属性包括但不限于:车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。其中,车身异物检测信息是指车辆的车辆顶部、车辆尾部和车辆侧面是否存在异物的相关信息,驾驶安全检测信息是指驾驶员是否专心驾驶、是否系好安全带等相关信息,车牌号码识别信息是指车牌有无遮挡、车牌号码是否合法等相关信息。其中,第三分支识别网络可以是包括不同的连接层,每个连接层预设有与一种安全属性对应的分类器,通过分类器识别对应的车辆安全属性,也可以是通过多种识别网络,对每种车辆安全属性进行识别,具体可依实际需要进行确定,此处不做限制。优选地,本实施例通过多种识别网络,对每种车辆安全属性进行识别,具体实现过程可参考步骤s71至步骤s73的描述,为避免重复,此处不再赘述。在本实施例中,获取待识别的初始车辆图像,进而对初始车辆图像进行图像预处理,得到目标车辆图像,并将目标车辆图像输入到预设的卷积神经网络模型中,其中,预设的卷积神经网络模型包括主干网络、第一分支识别网络、第二分支识别网络和第三分支识别网络,主干网络包括至少三层预设卷积层,通过第一层预设卷积层对目标车辆图像进行卷积处理,得到第一特征数据,将第一特征数据发送给第二层预设卷积层和第一分支识别网络,并使用第一分支识别网络对第一特征数据进行识别,得到车辆颜色属性,通过第二层预设卷积层对第一特征数据进行卷积处理,得到第二特征数据,将得到的第二特征数据发送给第二层之后的预设卷积层,并使用第二分支识别网络对第二特征数据进行识别,得到车辆种类属性,通过第二层之后的预设卷积层对第二特征数据进行卷积处理,得到第三特征数据,将第三特征数据发送给第三分支识别网络,通过第三分支识别网络对第三特征数据进行识别,得到车辆安全识别属性,其中,车辆安全识别属性包括:车顶异物检测信息、驾驶安全检测信息和车牌号码识别信息,实现了通过一次识别过程即可完成多种车辆属性的识别,提高了识别效率,且这种采用统一的卷积神经网络同时识别多重属性的方式,提高了识别的准确率。在图2对应的实施例的基础之上,下面通过一个具体的实施例来对步骤s70中所提及的通过第三分支识别网络对第三特征数据进行识别,得到车辆安全属性的具体实现方法进行详细说明。请参阅图3,图3示出了本发明实施例提供的步骤s70的具体实现流程,详述如下:s71:通过检测层对第三特征数据进行检测,确定车身预设区域、前车窗区域和车牌区域。具体地,检测层是用于通过对数据特征继续检测,检测出预设的不同兴趣区域,优选地,本提案使用的检测层为detection层,detection层可以提取图像中的显著区域,即人类感兴趣的区域,在本实施例中,采用detection层作为检测层,对第三特征数据进行检测,得到预设的显著区域:车身预设区域、前车窗区域和车牌区域等。其中,detection层通过预设的感兴趣的区域来生成多个预选框、并计算每个预选框的偏移,最后确定显著区域。其中,车身预设区域是指预先设置好需要进行识别的车身区域,包括但不限于车辆顶部、车辆尾部和车辆侧部等。其中,前车窗区域是指车辆的前车窗对应的区域,在这个区域可以识别到驾驶员的动作,驾驶员安全带状况以及驾驶室的其他相关信息。其中,车牌区域是指车牌所在的区域,通过对该区域的识别,可以得到车牌是否遮挡、车牌号码是否合法等相关信息。s72:根据车身预设区域、前车窗区域和车牌区域,对目标车辆图像进行分割,得到车身图像、前车窗图像和车牌图像。具体地,在得到车身预设区域、前车窗区域和车牌区域后,通过这三个区域范围,对目标车辆图像进行分割,得到车身图像、前车窗图像和车牌图像,以使后续可以通过对车身图像、前车窗图像和车牌图像的识别,得到车辆安全属性。s73:采用预设的网络模型,分别对车身图像、前车窗图像和车牌图像进行识别,得到车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。具体地,采用预设的网络模型,分别对车身图像、前车窗图像和车牌图像进行识别,得到车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。其中,预设的网络模型包括但不限于:alexnet模型、vgg网络模型、网络中的网络(network-in-network)、googlenet模型和yolo(youonlylookonce)模型等。需要说明的是,在本实施例中,主干网络通过三个预设卷积层提取到了第三特征数据,在本步骤中进行车身图像、前车窗图像和车牌图像进行识别时,可直接从第三特征数据中获取对应的车身图像的特征数据、前车窗图像的特征数据和车牌图像对应的特征数据,进而采用相应的网络模型,对车身图像的特征数据、前车窗图像的特征数据和车牌图像对应的特征数据进行识别,避免再次对各种车辆安全属性分别进行特征提取,减少特征数据的重复提取,提高了车辆安全属性识别的效率。在本实施例中,通过检测层对第三特征数据进行检测,确定车身预设区域、前车窗区域和车牌区域,进而根据车身预设区域、前车窗区域和车牌区域,对目标车辆图像进行分割,得到车身图像、前车窗图像和车牌图像,再采用预设的网络模型,分别对车身图像、前车窗图像和车牌图像进行识别,得到车身异物检测信息、驾驶安全检测信息和车牌号码识别信息,使得同时对车辆的多重安全属性进行检测,有利于提高车辆多重属性识别的效率。在图3对应的实施例的基础之上,下面通过一个具体的实施例来对步骤s73中所提及的采用预设的网络模型,分别对车身图像、前车窗图像和车牌图像进行识别,得到车身异物检测信息、驾驶安全检测信息和车牌号码识别信息的具体实现方法进行详细说明。请参阅图4,图4示出了本发明实施例提供的步骤s73的具体实现流程,详述如下:s731:采用预设的目标检测网络模型,对车身图像进行识别,得到车身异物检测信息,并对前车窗图像进行识别,得到驾驶安全检测信息。具体地,本实施例采用yolov2网络模型作为优选的目标检测网络模型,采用预设的yolov2网络模型,对车身图像进行识别,得到车身异物检测信息,并对前车窗图像进行识别,得到驾驶安全检测信息。其中,车身异物检测信息包括但不限于:车辆顶部是否存在异物、车辆尾部是否存在异物和车辆侧窗是否有物体伸出侧窗等。其中,驾驶安全检测信息包括但不限于:驾驶员当前驾驶行为是否规范、驾驶员是否系好安全带和驾驶室是否超载等安全信息。其中,yolo网络模型(youonlylookonce)是一种基于单个神经网络的目标检测系统,它可以一次性预测多个预选框(box)位置和类别的卷积神经网络,能够实现端到端的目标检测和识别,其最大的优势就是速度快,通常来说,对目标检测的本质就是回归,一个实现回归功能的神经网络并不需要复杂的设计过程,因而,yolo没有选择滑动窗口(sildingwindow)的方式训练网络,而是直接选用整图训练模型,yolov2网络进一步提高了检测的精度和速度,本提案采用的使用的yolov2网络,其基础模型结构就是darknet-19,包含19个卷积层、5个最大值池化层(maxpoolinglayers)。s732:采用预设的车牌识别算法,对车牌图像进行识别,得到车牌号码识别信息。具体地,通过预设的车牌识别算法,对车牌图像进行识别,得到车牌号码识别信息。其中,车牌号码识别信息包括但不限于:车牌号码是否被遮挡、车牌号码是否合理有效。其中,预设的车牌识别算法包括但不限于:基于keras-tensorflow的车牌识别、基于字符分割的车牌识别算法、基于滑动窗口(sildingwindow)的车牌识别算法、端对端(endtoend)的车牌识别算法和基于opencv车牌识别算法等,可以根据实际需要进行选取,此处不作具体限制。需要说明的是,步骤s731和步骤s732没有必然的先后执行顺序,其可以是并列执行的关系,此处不做限制。在本实施例中,采用预设的yolov2网络模型,对车身图像进行识别,得到车身异物检测信息,并对前车窗图像进行识别,得到驾驶安全检测信息,并采用预设的车牌识别算法,对车牌图像进行识别,得到车牌号码识别信息,通过这两种优选的神经网络模型的识别,有利于提高车辆安全属性的识别效率和识别准确率。在图2对应的实施例的基础之上,下面通过一个具体的实施例来对步骤s20中所提及的对初始车辆图像进行图像预处理,得到目标车辆图像的具体实现方法进行详细说明。请参阅图5,图5示出了本发明实施例提供的步骤s20的具体实现流程,详述如下:s21:通过边缘检测算法,获取初始车辆图像中车辆的左边界和车辆的右边界。具体地,由于拍摄的角度和距离等因素影响,拍摄到的车辆图像一般除了车辆所在区域之外,还会包括车辆区域外的一些其他背景图像,这些背景图像会对后续的车辆识别造成干扰,因而,为了提高后续车辆识别的准确率,需要通过边缘检查算法,找出初始车辆图像中车辆的左边界和车辆的右边界,从而确定初始车辆图像中的车辆范围。其中,边缘检测算法是用来进行边缘检测的算法,边缘检测是图像处理和计算机视觉中的基本问题,在本发明实施例中,边缘检测的目的是标识车辆图像中亮度变化明显的点,即车辆边界的点,图像属性中的显著变化通常反映了属性的重要事件和变化,这些图像属性包括但不限于:深度上的不连续、表面方向不连续、物质属性变化和场景照明变化等。其中,图像的边缘是指图象中灰度发生急剧变化的区域,图象灰度的变化情况可以用灰度分布的梯度来反映。常用的边缘检测算法包括但不限于:索贝尔算子(sobeloperator)边缘检测算法、高斯拉普拉斯算子边缘检测算法、罗伯茨交叉边缘检测(robertscrossoperator)算法和canny多级边缘检测算法等。优选地,被发明实施例采用的边缘检测算法为canny多级边缘检测算法。值得说明的是,根据边缘检测算法,得到的车辆的左边界和车辆的右边界为两段线段。即,得到车辆的左边界包括上下两个顶点,得到的车辆的右边界包括上下两个顶点。s22:根据车辆的左边界和车辆的右边界,确定车辆的范围图像。具体地,将步骤s21中得到的车辆的左边界和车辆的右边界连接起来,即,将车辆的左边界的上边顶点与车辆的右边界的上边顶点相连,将车辆的右边界的下边顶点与车辆的右边界的下边顶点相连,从而得到一个四边形,将这个四边形范围内的图像作为车辆的范围图像。s23:使用拉东变换对范围图像进行倾斜校正,得到校正后的基础图像。具体地,由于拍摄的角度和距离的影响,获取到的初始车辆图像会存在倾斜,进而得到的范围图像也存在倾斜,为了提高后续车辆属性识别的准确率,通过拉东变换对范围图像进行倾斜校正,从而得到校正后的基础图像。其中,拉东变换(radontransform)是一种通过定方向投影叠加,找到最大投影值时角度,从而确定图像倾斜角度,进而进行校正,得到校正后的图像的方法。s24:以基础图像的重心为中心,对基础图像进行裁剪,得到目标车辆图像。具体地,以基础图像的重心为中心,以a为水平方向边长,以b为垂直方向边长,对步骤s23得到的基础图像进行裁剪,得到一个a×b个像素大小的矩形的目标车辆图像,其中,a和b为预设大小的像素值。优选地,本发明实施例预设的a为416个像素值,b为416个像素值,即最后得到的416×416个像素值的目标车辆图像。例如,在一具体实施方式中,基础图像的重心的坐标为(250,270),水平方向边长为500个像素值,垂直方向边长为560个像素值,则得到左上角顶点坐标(42,478),右上角顶点坐标(458,478),左下角顶点坐标(42,62),右下角顶点坐标(458,62),由这四个顶点组成的416×416个像素值的矩形,沿着这个矩形裁剪基础图像,得到该矩形范围内的图像,即目标车辆图像。优选地,在得到目标车辆图像之后,本发明实施例还对目标车辆图像进行去均值和归一化,消除目标车辆图像中不同维度图像数据之间的差异。其中,归一化是指将目标车辆图像中的图像特征幅度归一化到同样的范围,即使用每个图像特征除所有图像特征的标准差,将得到的结果作为该图像特征归一化后的图像特征。其中,去均值是指将目标车辆图像中的图像特征各个维度都中心化为0,即将目标车辆图像的中心点拉回到坐标系原点上。本实施例中,通过边缘检测算法,获取初始车辆图像中车牌的左边界和车辆的右边界,进而根据车辆的左边界和车辆的右边界,确定车辆的范围图像,再使用拉东变换对范围图像进行倾斜校正,得到校正后的基础图像,继而以基础图像的重心为中心,对基础图像进行裁剪,得到目标车辆图像,使得后续使用基础图像进行识别时,避免了由于车辆范围外的图像的干扰和倾斜因素导致的识别误差,增强了目标车辆图像的质量,有利于提高后续车辆属性识别的准确率。在图5对应的实施例的基础之上,下面通过一个具体的实施例来对步骤s21中所提及的通过边缘检测算法,获取初始车辆图像中车辆的左边界和车辆的右边界的具体实现方法进行详细说明。请参阅图6,图6示出了本发明实施例提供的步骤s21的具体实现流程,详述如下:s211:通过高斯模糊对初始车辆图像进行噪音去除,得到去噪车辆图像。具体的,车辆图像的边缘为高频信号,但图像的噪音也集中于高频信号,很容易被误识别为边缘,因而,需要去除图像的噪音,避免图像的噪音对确定边缘带来的干扰。在本发明实施例中,采用高斯模糊对初始车辆图像进行噪音去除,得到去噪车辆图像。其中,车辆图像的边缘是指车辆区域与非车辆区域交界处的图象中灰度发生急剧变化的区域。图象灰度的变化情况可以用灰度分布的梯度来反映。其中,图像的噪音,也即图像的噪声,是指存在于图像数据中的不必要的或多余的干扰信息,噪音的存在严重影响了图像的质量,因此在图像增强处理和分类处理之前,必须予以纠正,在本发明实施例中,采用的纠正方法为使用高斯模糊去除噪音。其中,高斯模糊(gaussianblur),也叫高斯平滑,它是一种图像模糊滤波器,它用正态分布计算图像中每个像素的变换,通常用它来减少图像噪声以及降低细节层次。值得说明的是,图像边缘和噪音均为高频信号,因而高斯模糊的半径选择很重要,过大的半径很容易让一些弱边缘点检测不到,其半径的具体设置,可根据实际情况进行调整,此处不作限制。s212:使用预设的梯度算子计算去噪车辆图像的水平方向的梯度值和垂直方向的梯度值,得到初始梯度值集合。具体地,图像的边缘可以指向不同方向,通过使用预设的算子,计算去噪车辆图像的水平方向和垂直方向的梯度值,得到初始梯度值集合。其中,数字图像就是离散的点值谱,也可以叫二维离散函数,图像的梯度就是这个二维离散函数的求导的结果,梯度算子,也即,用来计算梯度的方法。其中,预设的梯度算子包括但不限于:索贝尔算子(sobeloperator)、prewitt算子、罗伯茨算子(robertsoperator)和canny算子。优选的,本发明实施例采用的梯度算子为canny算子。s213:采用非最大值抑制的方式对初始梯度值集合进行边缘细化处理,得到宽度为单个像素的梯度边缘。具体地,采用非最大值抑制的方式对初始梯度值集合进行边缘细化处理,得到一个像素宽的梯度边缘。其中,非最大值抑制(nonmaximumsuppression,nms)是抑制不是极大值的元素,可理解为局部进行最大值搜索,从而帮助保留局部最大梯度而抑制所有其他梯度值,这意味着只保留了梯度变化中最锐利的位置。例如,在一具体实施方式中,在垂直方向,有4个像素宽度的梯度值构成了一个局部,在盖局部采用非最大值抑制的方式,搜索出这个局部的梯度值中梯度值最大的一个像素点,作为梯度边缘,从而实现了边缘细化。s214:使用预设的双阈值过滤梯度边缘中的弱边缘点,得到梯度边缘中的强边缘点。具体地,通过设置双阈值,即一个高阀值和一个低阀值来区分边缘像素。如果边缘像素点梯度值大于高阀值,则被认为是强边缘点,如果边缘梯度值小于高阀值,大于低阀值,则标记为弱边缘点,小于低阀值的点则被抑制掉,强边缘点可以确认为是真的边缘,但弱边缘点则可能是真的边缘,也可能是噪声或颜色变化引起的,为得到精确的结果,在本发明实施例中,弱边缘点也被抑制掉。s215:根据强边缘点,确定车辆的左边界和车辆的右边界。具体地,根据强边缘点,通过腐蚀延伸等图像处理,得到车辆的左边界和车辆的右边界。其中,腐蚀可以消除强边缘点中独立的点,延伸可以将相邻但不相连的强边缘点连接起来。本实施例中,通过高斯模糊对初始车辆图像进行噪音去除,得到去噪车辆图像,并使用预设的梯度算子来计算去噪车辆图像的水平方向和垂直方向的梯度值,得到初始梯度值集合,进而采用非最大值抑制的方式对初始梯度值集合进行边缘细化,得到一个像素宽的梯度边缘,使用预设的双阈值过滤梯度边缘中的弱边缘点,得到梯度边缘中的强边缘点,继而根据强边缘点,确定车辆的左边界和车辆的右边界,提高了车辆边缘检测的准确率,有利于后续对车辆范围的确定。应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。图6示出与上述实施例基于神经网络的车辆属性识别方法一一对应的基于神经网络的车辆属性识别装置的原理框图。如图6所示,该基于神经网络的车辆属性识别装置包括图像获取模块10、图像预处理模块20、图像输入模块30、颜色识别模块40、种类识别模块50、卷积处理模块60和安全识别模块70。各功能模块详细说明如下:图像获取模块10,用于获取待识别的初始车辆图像;图像预处理模块20,用于对初始车辆图像进行图像预处理,得到目标车辆图像;图像输入模块30,用于将目标车辆图像输入到预设的卷积神经网络模型中,其中,预设的卷积神经网络模型包括主干网络、第一分支识别网络、第二分支识别网络和第三分支识别网络,主干网络包括三层预设卷积层;颜色识别模块40,用于通过第一层预设卷积层对目标车辆图像进行卷积处理,得到第一特征数据,将第一特征数据发送给第一分支识别网络并对第一特征数据进行识别,得到车辆颜色属性;种类识别模块50,用于将第一特征数据发送给第二层预设卷积层并对第一特征数据进行卷积处理,得到第二特征数据,将得到的第二特征数据发送第二分支识别网络并对第二特征数据进行识别,得到车辆种类属性;卷积处理模块60,用于将得到的所述第二特征数据发送给第三层预设卷积层并对第二特征数据进行卷积处理,得到第三特征数据;安全识别模块70,用于将所述第三特征数据发送给第三分支识别网络并对第三特征数据进行识别,得到车辆安全属性,其中,车辆安全属性包括车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。进一步地,安全识别模块70包括:区域检测单元71,用于通过检测层对第三特征数据进行检测,确定车身预设区域、前车窗区域和车牌区域;图像分割单元72,用于根据车身预设区域、前车窗区域和车牌区域,对目标车辆图像进行分割,得到车身图像、前车窗图像和车牌图像;图像识别单元73,用于采用预设的网络模型,分别对车身图像、前车窗图像和车牌图像进行识别,得到车身异物检测信息、驾驶安全检测信息和车牌号码识别信息。进一步地,图像识别单元73包括:第一识别子单元731,用于采用预设的目标检测网络模型,对车身图像进行识别,得到车身异物检测信息,并对前车窗图像进行识别,得到驾驶安全检测信息;第二识别子单元732,用于采用预设的车牌识别算法,对车牌图像进行识别,得到车牌号码识别信息。进一步地,图像预处理模块20包括:边缘检测单元21,用于通过边缘检测算法,获取初始车辆图像中车辆的左边界和车辆的右边界;范围确定单元22,用于根据车辆的左边界和车辆的右边界,确定车辆的范围图像;倾斜校正单元23,用于使用拉东变换对范围图像进行倾斜校正,得到校正后的基础图像;图像裁剪单元24,用于以基础图像的重心为中心,对基础图像进行裁剪,得到目标车辆图像。进一步地,边缘检测单元21包括:图像去噪子单元211,用于通过高斯模糊对初始车辆图像进行噪音去除,得到去噪车辆图像;梯度计算子单元212,用于使用预设的梯度算子计算去噪车辆图像的水平方向的梯度值和垂直方向的梯度值,得到初始梯度值集合;边缘细化子单元213,用于采用非最大值抑制的方式对初始梯度值集合进行边缘细化处理,得到宽度为单个像素的梯度边缘;边缘过滤子单元214,用于使用预设的双阈值过滤梯度边缘中的弱边缘点,得到梯度边缘中的强边缘点;边界确定子单元215,用于根据强边缘点,确定车辆的左边界和车辆的右边界。关于基于神经网络的车辆属性识别装置的具体限定可以参见上文中对于基于神经网络的车辆属性识别方法的限定,在此不再赘述。上述基于神经网络的车辆属性识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。图8是本发明一实施例提供的计算机设备的示意图。该计算机设备可以是服务端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设的卷积神经网络模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于神经网络的车辆属性识别方法。在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例基于神经网络的车辆属性识别方法的步骤,例如图2所示的步骤s10至步骤s70。或者,处理器执行计算机程序时实现上述实施例基于神经网络的车辆属性识别装置的各模块/单元的功能,例如图7所示的模块10至模块70的功能。为避免重复,这里不再赘述。所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。在一实施例中,提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例基于神经网络的车辆属性识别方法的步骤,或者,该计算机程序被处理器执行时实现上述实施例基于神经网络的车辆属性识别装置中各模块/单元的功能。为避免重复,这里不再赘述。可以理解地,所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、电载波信号和电信信号等。以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1