一种车辆检测方法、装置及系统与流程

文档序号:15518722发布日期:2018-09-25 18:54阅读:133来源:国知局

本发明涉及计算机技术领域,特别涉及一种车辆检测方法、装置及系统。



背景技术:

随着随着车载自动驾驶中,经常需要实时采集道路的实时图像,对采集的实时图像进行识别以对实时图像中的车辆图像进行分割并标记以形成检测图像,从而实现对实时图像中的车辆进行检测。

目前,主要通过基于卷积神经网络的ssd(singleshotmultiboxdetector)网络模型对实时图像中的车辆进行检测。

但是,由于实时图像中的车辆图像可能因光照以及大雾等原因而导致不清晰,使得部分车辆所对应的图像区域相对复杂而不易被识别,从而导致ssd网络模型输出的检测图像中未能对不易被识别的车辆图像进行分割并标记,检测精度较低。



技术实现要素:

本发明实施例提供了一种车辆检测方法、装置及系统,检测精度较高。

第一方面,本发明提供了一种车辆检测方法,包括:

预先训练出ssd网络模型、roi(regionofinteresting,感兴趣区域)网络模型以及基于卷积神经网络的复杂图像车辆检测模型;

将目标图像输入ssd网络模型,使得所述ssd网络模型对所述目标图像进行识别以分割出至少一个易识别车辆图像,并在所述目标图像上对各个所述易识别车辆图像进行标记以形成标记图像后输出;

将所述ssd网络模型输出的所述标记图像输入roi网络模型,使得所述roi网络模型对所述标记图像进行识别以提取至少一个复杂区域图像,并标记提取的各个所述复杂区域图像在所述标记图像上的位置信息;

针对于每一个所述复杂区域图像,将所述复杂区域图像输入所述复杂图像车辆检测模型,使得所述复杂图像车辆检测模型在能够对所述复杂区域图像进行识别时,从所述复杂区域图像中分割出目标车辆图像;

根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像与所述标记图像集成检测图像。

优选地,

还包括:

预先训练基于卷积神经网络的复杂图像障碍物检测模型;

针对于每一个所述复杂区域图像,在所述复杂图像车辆检测模型未能对所述复杂区域图像进行识别时,将所述复杂区域图像输入所述复杂图像障碍物检测模型,使得所述复杂障碍物检测模型对所述复杂区域图像进行识别以提取目标障碍物图像;

则,所述根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像与所述标记图像集成检测图像,包括:

根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像、各个所述目标障碍物图像与所述标记图像集成检测图像。

优选地,

还包括:针对于所述roi网络模型所提取的每一个所述复杂区域图像,执行:生成所述标记图像所对应的灰度图像,将所述复杂区域图像对应在所述灰度图像中的各个当前像素点的灰度值标记为255,并将所述灰度图像中除各个所述当前像素点以外的每一个像素点的灰度值均标记为0,以形成二值化复杂区域图像;

则,所述针对于每一个所述复杂区域图像,将所述复杂区域图像输入所述复杂图像车辆检测模型,包括:针对于每一个所述二值化复杂区域图像,将所述二值化复杂区域图像输入所述复杂图像车辆检测模型。

第二方面,本发明实施例提供了一种车辆检测装置,包括:

训练处理模块,用于预先训练出ssd网络模型、roi网络模型以及基于卷积神经网络的复杂图像车辆检测模型;

第一交互模块,用于将目标图像输入ssd网络模型,使得所述ssd网络模型对所述目标图像进行识别以分割出至少一个易识别车辆图像,并在所述目标图像上对各个所述易识别车辆图像进行标记以形成标记图像后输出;

第二交互模块,用于将所述ssd网络模型输出的所述标记图像输入roi网络模型,使得所述roi网络模型对所述标记图像进行识别以提取至少一个复杂区域图像,并标记提取的各个所述复杂区域图像在所述标记图像上的位置信息;

第三交互模块,用于针对于每一个所述复杂区域图像,将所述复杂区域图像输入所述复杂图像车辆检测模型,使得所述复杂图像车辆检测模型在能够对所述复杂区域图像进行识别时,从所述复杂区域图像中分割出目标车辆图像;

集成处理模块,用于根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像与所述标记图像集成检测图像。

优选地,

所述训练处理模块,进一步用于预先训练基于卷积神经网络的复杂图像障碍物检测模型;

还包括:第四交互模块;其中,

所述第四交互模块,用于针对于每一个所述复杂区域图像,在所述复杂图像车辆检测模型未能对所述复杂区域图像进行识别时,将所述复杂区域图像输入所述复杂图像障碍物检测模型,使得所述复杂障碍物检测模型对所述复杂区域图像进行识别以提取目标障碍物图像;

则,所述集成处理模块,用于根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像、各个所述目标障碍物图像与所述标记图像集成检测图像。

优选地,

还包括:二值化处理模块;其中,

所述二值化处理模块,用于针对于所述roi网络模型所提取的每一个所述复杂区域图像,执行:生成所述标记图像所对应的灰度图像,将所述复杂区域图像对应在所述灰度图像中的各个当前像素点的灰度值标记为255,并将所述灰度图像中除各个所述当前像素点以外的每一个像素点的灰度值均标记为0,以形成二值化复杂区域图像;

则,所述第三交互模块,用于针对于每一个所述二值化复杂区域图像,将所述二值化复杂区域图像输入所述复杂图像车辆检测模型。

第三方面,本发明实施例提供了一种车辆检测系统,包括:

ssd网络模型、roi网络模型、基于卷积神经网络的复杂图像车辆检测模型,以及如上述第二方面中任一所述的车辆检测装置;其中,

所述ssd网络模型、所述roi网络模型以及所述复杂图像车辆检测模型均与所述车辆检测装置相连。

优选地,

进一步包括:基于卷积神经网络的复杂图像障碍物检测模型;其中,

所述复杂图像障碍物检测模型与所述车辆检测装置相连。

本发明实施例提供了一种车辆检测方法、装置及系统,该方法中,通过预先训练出ssd网络模型、roi网络模型以及基于卷积神经网络的复杂图像车辆检测模型,当ssd网络模型对目标图像进行识别,并在目标图像上分割并标记出至少一个易识别车辆图像以形成标记图像之后,可将ssd网络模型输出的标记图像再次输入roi网络模型,roi网络模型则可对输入的标记图像进行识别,以从输入的标记图像中提取出未能被ssd网络模型分割并标记的至少一个复杂区域图像,并同时标记各个复杂区域图像在标记图像中的位置信息,后续则可通过基于卷积神经网络的复杂图像车辆检测模型对每一个复杂区域图像分别进行识别,当输入的复杂区域图像中存在不易被识别的目标车辆图像时,复杂图像车辆检测模型则可从输入的复杂区域图像中提取出目标车辆图像,后续的,则可根据各个复杂区域图像在标记图像上的位置信息,利用分割的各个目标车辆图像与标记图像集成检测图像;如此,各个易识别车辆图像以及各个不易被识别的车辆图像均可在检测图像中体现,检测精度较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种车辆检测方法的流程图;

图2是本发明一实施例提供的一种车辆检测装置的结构示意图;

图3是本发明一实施例提供的另一种车辆检测装置的结构示意图;

图4是本发明一实施例提供的一种车辆检测系统的结构示意图;

图5是本发明一实施例提供的另一种车辆检测系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,本发明实施例提供了一种车辆检测方法,包括:

步骤101,预先训练出ssd网络模型、roi网络模型以及基于卷积神经网络的复杂图像车辆检测模型;

步骤102,将目标图像输入ssd网络模型,使得所述ssd网络模型对所述目标图像进行识别以分割出至少一个易识别车辆图像,并在所述目标图像上对各个所述易识别车辆图像进行标记以形成标记图像后输出;

步骤103,将所述ssd网络模型输出的所述标记图像输入roi网络模型,使得所述roi网络模型对所述标记图像进行识别以提取至少一个复杂区域图像,并标记提取的各个所述复杂区域图像在所述标记图像上的位置信息;

步骤104,针对于每一个所述复杂区域图像,将所述复杂区域图像输入所述复杂图像车辆检测模型,使得所述复杂图像车辆检测模型在能够对所述复杂区域图像进行识别时,从所述复杂区域图像中分割出目标车辆图像;

步骤105,根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像与所述标记图像集成检测图像。

如图1所示的实施例,通过预先训练出ssd网络模型、roi网络模型以及基于卷积神经网络的复杂图像车辆检测模型,当ssd网络模型对目标图像进行识别,并在目标图像上分割并标记出至少一个易识别车辆图像以形成标记图像之后,可将ssd网络模型输出的标记图像再次输入roi网络模型,roi网络模型则可对输入的标记图像进行识别,以从输入的标记图像中提取出未能被ssd网络模型分割并标记的至少一个复杂区域图像,并同时标记各个复杂区域图像在标记图像中的位置信息,后续则可通过基于卷积神经网络的复杂图像车辆检测模型对每一个复杂区域图像分别进行识别,当输入的复杂区域图像中存在不易被识别的目标车辆图像时,复杂图像车辆检测模型则可从输入的复杂区域图像中提取出目标车辆图像,后续的,则可根据各个复杂区域图像在标记图像上的位置信息,利用分割的各个目标车辆图像与标记图像集成检测图像;如此,各个易识别车辆图像以及各个不易被识别的车辆图像均可在检测图像中体现,检测精度较高。

本领域技术人员应当理解的,roi网络模型对输入的检测图像进行识别时,各个易识别的车辆图像以及易识别的背景区域可以被roi网络模型去除,即从检测图像中直接提取出不易被识别的复杂区域图像,这些不易被识别的复杂区域图像中可能存在不易被识别的目标车辆图像,也可能存在不易被识别的目标障碍物图像,基于卷积神经网络的复杂图像车辆检测模型则仅能对携带有不易被识别的目标车辆图像的复杂区域图像进行识别,因此,一旦复杂区域图像被输入复杂图像车辆检测模型后,复杂图像车辆检测模型能够对其进行识别时,则可从输入的复杂区域图像中提取出相应的不易被识别的目标车辆图像。

具体地,ssd网络模型可以包括一个特征提取层和后面接入4个卷积层,每个卷积层利用3*3的卷积来对每种分辨率的目标进行检测,通过融合多分辨率的结果,可以达到较高的检测精度。另外,相比较其他的经典检测网络模型,ssd只有一个阶段,并且放弃了参数复杂的全连接网络,使用参数较少的卷积进行类别与位置的预测,极大地提高了检测精度,能够较为精准的分割并标记出目标图像中易于被识别的车辆图像。

上述实施例中,根据各个复杂区域图像在标记图像上的位置信息,利用分割的各个目标车辆图像与标记图像集成检测图像时,举例来说,对复杂区域图像a在标记图像上的位置信息进行记录之后,从复杂区域图像a中提取的目标车辆图像a1则可根据该位置信息集成到标记图像中与该位置信息相对应的位置,具体地,可根据a的位置信息,利用a1的轮廓线在标记图像中分割并标记出目标车辆图像a1。

本发明一个实施例中,还包括:预先训练基于卷积神经网络的复杂图像障碍物检测模型;

针对于每一个所述复杂区域图像,在所述复杂图像车辆检测模型未能对所述复杂区域图像进行识别时,将所述复杂区域图像输入所述复杂图像障碍物检测模型,使得所述复杂障碍物检测模型对所述复杂区域图像进行识别以提取目标障碍物图像;

则,所述根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像与所述标记图像集成检测图像,包括:

根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像、各个所述目标障碍物图像与所述标记图像集成检测图像。

本发明上述实施例中,当基于卷积神经网络的复杂图像车辆检测模型未能对一个复杂区域图像进行识别时,则说明该复杂区域图像中并不存在不易被识别的目标车辆图像,而是存在不易被识别的目标障碍物图像,因此,可通过基于卷积神经网络的复杂图像障碍物检测模型对该复杂区域图像进行识别,以从该复杂区域图像中提取出目标障碍物图像,后续根据各个复杂区域图像在标记图像上的位置信息,利用分割的各个目标车辆图像、各个目标障碍物图像与标记图像集成检测图像时,不易被识别的障碍物图像也可体现在检测图像中,可方便后续根据检测图像实现车辆的自动驾驶时,确保车辆能够更为准确的避让障碍物。

本发明一个实施例中,还包括:针对于所述roi网络模型所提取的每一个所述复杂区域图像,执行:生成所述标记图像所对应的灰度图像,将所述复杂区域图像对应在所述灰度图像中的各个当前像素点的灰度值标记为255,并将所述灰度图像中除各个所述当前像素点以外的每一个像素点的灰度值均标记为0,以形成二值化复杂区域图像;

则,所述针对于每一个所述复杂区域图像,将所述复杂区域图像输入所述复杂图像车辆检测模型,包括:针对于每一个所述二值化复杂区域图像,将所述二值化复杂区域图像输入所述复杂图像车辆检测模型。

上述实施例中,通过将复杂区域图像转换成二值化复杂区域图像,可在一定程度上降低复杂区域图像的复杂程度,使得基于卷积神经网络的复杂图像车辆检测模型及复杂图像障碍物检测模型能够对输入的二值化复杂区域图像进行更为快速而精准的识别。

如图2所示,本发明实施例提供了一种车辆检测装置,包括:

训练处理模块201,用于预先训练出ssd网络模型、roi网络模型以及基于卷积神经网络的复杂图像车辆检测模型;

第一交互模块202,用于将目标图像输入ssd网络模型,使得所述ssd网络模型对所述目标图像进行识别以分割出至少一个易识别车辆图像,并在所述目标图像上对各个所述易识别车辆图像进行标记以形成标记图像后输出;

第二交互模块203,用于将所述ssd网络模型输出的所述标记图像输入roi网络模型,使得所述roi网络模型对所述标记图像进行识别以提取至少一个复杂区域图像,并标记提取的各个所述复杂区域图像在所述标记图像上的位置信息;

第三交互模块204,用于针对于每一个所述复杂区域图像,将所述复杂区域图像输入所述复杂图像车辆检测模型,使得所述复杂图像车辆检测模型在能够对所述复杂区域图像进行识别时,从所述复杂区域图像中分割出目标车辆图像;

集成处理模块205,用于根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像与所述标记图像集成检测图像。

如图3所示,本发明一个实施例中,所述训练处理模块201,进一步用于预先训练基于卷积神经网络的复杂图像障碍物检测模型;

还包括:第四交互模块301;其中,

所述第四交互模块301,用于针对于每一个所述复杂区域图像,在所述复杂图像车辆检测模型未能对所述复杂区域图像进行识别时,将所述复杂区域图像输入所述复杂图像障碍物检测模型,使得所述复杂障碍物检测模型对所述复杂区域图像进行识别以提取目标障碍物图像;

则,所述集成处理模块205,用于根据各个所述复杂区域图像在所述标记图像上的位置信息,利用分割的各个所述目标车辆图像、各个所述目标障碍物图像与所述标记图像集成检测图像。

如图3所示,本发明一个实施例中,还包括:二值化处理模块302;其中,

所述二值化处理模块302,用于针对于所述roi网络模型所提取的每一个所述复杂区域图像,执行:生成所述标记图像所对应的灰度图像,将所述复杂区域图像对应在所述灰度图像中的各个当前像素点的灰度值标记为255,并将所述灰度图像中除各个所述当前像素点以外的每一个像素点的灰度值均标记为0,以形成二值化复杂区域图像;

则,所述第三交互模块204,用于针对于每一个所述二值化复杂区域图像,将所述二值化复杂区域图像输入所述复杂图像车辆检测模型。

上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。

如图4所示,本发明实施例提供了一种车辆检测系统,包括:

ssd网络模型401、roi网络模型402、基于卷积神经网络的复杂图像车辆检测模型403,以及本发明任意一个实施例中提供的车辆检测装置404;其中,

所述ssd网络模型401、所述roi网络模型402以及所述复杂图像车辆检测模型403均与所述车辆检测装置404相连。

如图5所示,本发明一个实施例中,所述车辆检测系统,进一步包括:基于卷积神经网络的复杂图像障碍物检测模型501;其中,

所述复杂图像障碍物检测模型501与所述车辆检测装置404相连。

综上所述,本发明各个实施例至少具有如下有益效果:

1、本发明一实施例中,通过预先训练出ssd网络模型、roi网络模型以及基于卷积神经网络的复杂图像车辆检测模型,当ssd网络模型对目标图像进行识别,并在目标图像上分割并标记出至少一个易识别车辆图像以形成标记图像之后,可将ssd网络模型输出的标记图像再次输入roi网络模型,roi网络模型则可对输入的标记图像进行识别,以从输入的标记图像中提取出未能被ssd网络模型分割并标记的至少一个复杂区域图像,并同时标记各个复杂区域图像在标记图像中的位置信息,后续则可通过基于卷积神经网络的复杂图像车辆检测模型对每一个复杂区域图像分别进行识别,当输入的复杂区域图像中存在不易被识别的目标车辆图像时,复杂图像车辆检测模型则可从输入的复杂区域图像中提取出目标车辆图像,后续的,则可根据各个复杂区域图像在标记图像上的位置信息,利用分割的各个目标车辆图像与标记图像集成检测图像;如此,各个易识别车辆图像以及各个不易被识别的车辆图像均可在检测图像中体现,检测精度较高。

2、本发明一实施例中,当基于卷积神经网络的复杂图像车辆检测模型未能对一个复杂区域图像进行识别时,则说明该复杂区域图像中并不存在不易被识别的目标车辆图像,而是存在不易被识别的目标障碍物图像,因此,可通过基于卷积神经网络的复杂图像障碍物检测模型对该复杂区域图像进行识别,以从该复杂区域图像中提取出目标障碍物图像,后续根据各个复杂区域图像在标记图像上的位置信息,利用分割的各个目标车辆图像、各个目标障碍物图像与标记图像集成检测图像时,不易被识别的障碍物图像也可体现在检测图像中,可方便后续根据检测图像实现车辆的自动驾驶时,确保车辆能够更为准确的避让障碍物。

3、本发明一实施例中,通过将复杂区域图像转换成二值化复杂区域图像,可在一定程度上降低复杂区域图像的复杂程度,使得基于卷积神经网络的复杂图像车辆检测模型及复杂图像障碍物检测模型能够对输入的二值化复杂区域图像进行更为快速而精准的识别。

需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1