包含特定背景图像的车辆目标图像数据库建立方法与流程

本发明的技术方案涉及道路车辆的交通控制系统，具体地说是包含特定背景图像的车辆目标图像数据库建立方法。

背景技术：

识别车辆目标是智能驾驶的重要方向，也是智能交通控制系统中的核心技术。由于深度学习神经网络近年来在计算机视觉领域取得了重大进展，基于数据获取、预处理、特征提取、分类等浅层神经网络识别车辆目标逐渐被高识别率的深度学习神经网络识别车辆目标所取代。深度学习神经网络识别车辆目标的关键是要优化网络设计结构，但是这必须有大量车辆目标图像数据库，才能满足训练深度学习神经网络的需求。

为了建立大量车辆目标图像数据库以满足训练深度学习神经网络的需求，在道路车辆的交通控制系统的现有技术中，经常采用已经制备公开的车辆目标数据库及视频现场采集视频的方法。例如，论文(计算机与数字工程，2019，46(9)，1871-1875+1915)利用微软coco公共数据库；论文(ietintelligenttransportsystems，2018，12(3)：186–193；计算机工程与应用，2018，54(18)：154-160)使用compcars数据库；论文(ieeetransactionsonimageprocessing，2018，27(1)：432–441)采用kitti和pascalvoc2007数据库；论文(ieeetransactionsonintelligenttransportationsystems，2019，20(2)：749–759；计算机与现代化，2017(8)，264：56-600)作者的研究小组采用各自电子摄录拍照的方法，获得车辆目标图像数据库；cn106846813a公开了构建城市道路车辆图像数据库的方法，是采用实际采集含视频转换成图像的策略；cn109446973a公开了一种基于深度神经网络图像识别的车辆定位方法，是在不同光照及天气条件下多个时段内采集车辆目标图像样本；cn107633220a公开了一种基于卷积神经网络的车辆前方目标识别方法，需要获取大量车辆交通相关图像作为样本，对收集的图像进行左右镜像化变换，扩充数据集并制作标签。

上述现有技术，使用现有的数据库以及电子摄录车辆目标，并对原采集的视频或者图像进行裁剪，为深度学习神经网络提供真实可靠的车辆目标图像数据库，可以训练深度学习神经网络，但是存在下面缺陷：①真实采集车辆目标图像及视频限制了数据库的种类和数量，必须增加摄录时间或者拍照次数，才能提高数据库的容量；②摄录或者拍照的方法不可能包含所有任意场景中的车辆目标图像，形成的车辆目标图像数据库只能代表部分背景下车辆目标图像，在特定区域和季节拍摄车辆目标图像，不能适应于其它区域及季节背景下的车辆目标图像；③按照增加视频时间提高车辆目标数据库的容量，其人力和物力的耗费量会随着摄录时间而增加。

归纳起来，在道路车辆的交通控制系统的现有技术中，存在于不同光照及天气条件下多个时段内进行摄录视频及拍照图像采集的车辆目标图像样本，再经过裁剪和左右镜像化变换所制备的车辆目标图像数据库不能适应不同背景和车辆车型的不断增加和更新，而增加车辆目标图像数据库数量的费用高且时间长的缺陷。

技术实现要素：

本发明所要解决的技术问题是：提供包含特定背景图像的车辆目标图像数据库建立方法，先采集制作特定背景图像，后制作只包含单一车辆图像的车辆目标图像，再将只包含单一车辆的车辆目标图像嵌入到特定背景图像中形成包含特定背景图像的车辆目标图像，重复上述步骤，制备出满足深度学习神经网络对图像数据库的需求并使用深度学习神经网络进行验证的包含特定背景图像的车辆目标图像数据库，有效地克服了在道路车辆的交通控制系统的现有技术中，存在于不同光照及天气条件下多个时段内进行摄录视频及拍照图像采集车辆目标图像样本，再经过裁剪和左右镜像化变换所制备的车辆目标图像数据库不能适应不同背景和车辆车型的不断增加和更新，而增加车辆目标图像数据库数量的费用高且时间长的缺陷。

本发明解决该技术问题所采用的技术方案是：包含特定背景图像的车辆目标图像数据库建立方法，所制备的包含特定背景图像的车辆目标图像数据库要使用深度学习神经网络进行验证，具体步骤如下：

第一步，采集制作特定背景图像：

通过拍照或网络下载方法，采集制作特定背景图像，所采集制作特定背景图像要求如下：

(1.1)特定背景图像中所包含的图像内容：

特定背景图像中所包含的图像内容为，车道图像加树木图像、建筑物图像、山脉图像和路标图像中的1～4种；

(1.2)特定背景图像的像素点大小：

特定背景图像像素点大小为n像素×m像素，即纵向为n像素，横向为m像素，特定背景图像像素点≥被背景图像所包含的待制备的车辆目标图像像素点；

(1.3)计算特定背景图像下底边单位像素表示的实际宽度：

设定标准车道的宽度为l米，根据特定背景图像下底边中车道所占有i像素，用如下公式(1)计算出特定背景图像的下底边单位像素表示的实际宽度r，

上述公式(1)中，r的单位为米/像素；

第二步，制作只包含单一车辆图像的车辆目标图像：

通过拍照或网络下载方法，采集并制作只包含单一车辆图像的车辆目标图像，该只包含单一车辆图像的车辆目标图像的要求如下：

(2.1)采集单一目标车辆的正面图像；

(2.2)按照所采集制作车辆目标图像的车辆的大小及形状，分成不同车型；

(2.3)当拍照或网络下载的车辆目标图像中包含相应的原始背景图像时，通过图像处理软件将该原始背景图像删除，这样在采集和变换的车辆目标图像中只包含单一目标车辆图像，该车辆目标图像中的车辆宽度为j像素，采集车辆目标图像中的车辆宽度像素j要大于0.9倍的特定背景图像下底边中车道所占有i像素；

(2.4)计算车辆宽度对应像素点：

根据上述(2.2)步中所述的不同车型，测定其宽度为w米，用如下公式(2)计算相应该车型横向对应上述第一步采集制作的特定背景图像的像素d，

公式(2)中，fix()表示取整；

第三步，将只包含单一车辆图像的车辆目标图像嵌入特定背景图像中：

将上述第二步制作的只包含单一车辆图像的车辆目标图像嵌入上述第一步采集制作的特定背景图像中，具体操作方法如下：

(3.1)调整车辆目标图像的大小：

用如下公式(3)分别计算上述第二步制作的只包含单一车辆图像的车辆目标图像横向和纵向的调整系数e，

依据调整系数e的数值来调整车辆目标图像的大小，调整大小后的车辆目标图像用于下一步的车辆目标图像嵌入特定背景图像中；

(3.2)将只包含单一车辆图像的车辆目标图像嵌入采集制作的特定背景图像中：

在上述第一步采集制作的特定背景图像中显示的车道图像中心位置附近，嵌入上述(3.1)步已经调整大小的车辆目标图像，该车辆目标图像放置在上述第一步采集制作的特定背景图像下底边以上的位置，该车辆目标图像前轮着地，轮胎占据在上述第一步采集制作的特定背景图像中的车道位置，该车辆目标图像是不透明的；

(3.3)依据上述第一步采集制作的特定背景图像中车道的大小确定该特定背景图像宽度像素表示的实际宽度，结合目标车辆宽度确定该车辆目标图像占据特定背景图像中横向像素的数量；

(3.4)调整只包含单一车辆图像的车辆目标图像像素点的数量，要保持该车辆目标图像的横向与纵向同样比例变化，只改变该车辆目标图像的大小，车辆形状保持不变；

由此制成包含特定背景图像的单一车辆图像的车辆目标图像；

第四步，制作包含特定背景图像的车辆目标图像数据库：

重复上述第二步至第三步的步骤，对于所有的不同车型均制备包含特定背景图像的单一车辆图像的车辆目标图像数据库，制备的不同车型的包含特定背景图像的单一车辆图像的车辆目标图像均≥100张，由此完成制作包含特定背景图像的车辆目标图像数据库，以满足深度学习神经网络对图像数据库的需求；

第五步，用深度学习神经网络对制备的包含特定背景图像的车辆目标图像数据库进行验证：

对上述第四步制作的包含特定背景图像的不同车型的单一车辆图像的车辆目标图像数据库，进一步变换包含特定背景图像的车辆目标图像的大小，作为深度学习神经网络输入，验证深度学习神经网络对制备可变背景车辆目标图像数据库的识别能力；

至此，完成包含特定背景图像的车辆目标图像数据库建立。

上述包含特定背景图像的车辆目标图像数据库建立方法，所述不同车型是越野车、轿车、公交车和面包车这四类车型。

上述包含特定背景图像的车辆目标图像数据库建立方法，所述越野车的宽度为1.9米，轿车的宽度为1.7米，公交车的宽度为2.5米，面包车的宽度为1.5米。

上述包含特定背景图像的车辆目标图像数据库建立方法，所述设定标准车道的宽度为3.75米。

上述包含特定背景图像的车辆目标图像数据库建立方法，同样适用于越野车、轿车、公交车和面包车这四类车型之外的其他车型。

上述包含特定背景图像的车辆目标图像数据库建立方法，所述通过图像处理软件将采集车辆目标背景图像删除，这里所用的图像处理软件是windows中自带的绘图软件。

上述包含特定背景图像的车辆目标图像数据库建立方法，所述深度学习神经网络是深度学习神经网络lenet-5。

上述包含特定背景图像的车辆目标图像数据库建立方法，所涉及的操作方法是本技术领域所公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明方法采用特定背景图像和车辆目标图像合成的方法，分别采集特定背景图像和车辆目标图像，两者相互独立，因此根据需求来选择不同的特定背景图像，采集制作特定背景图像和车辆目标图像很方便合成为包含特定背景图像的车辆目标图像数据库，无需多次在不同的实际背景中采集背景的视频或者图像，并且一次按需要采集制作的特定背景图像制备出包含不同背景图像的车辆目标图像数据库，因此本发明方法具有容易拓展及成本低特点。

(2)现有技术在采集车辆视频以及图像然后裁剪方法中，只能由实际景物确定车辆目标图像的背景图像，不能改变背景图像，本发明方法，在相同特定背景图像下嵌入不同车辆目标图像，背景图像表示实际区域的图像不变，相当于固定焦距下摄录或者拍照车辆目标图像，同时可以任意改变背景图像，拓展不同背景图像下车辆目标图像，很容易拓展车辆目标图像数据库的容量。

(3)建立包含特定背景图像的车辆目标图像数据库的现有相关技术中，经常采用现有公开的车辆目标数据库，典型如compcars和coco，这些数据库是第三方采集，在拍摄现场的背景图像下制备形成，不可能包含各个地区以及所有季节的背景图像，在不同背景图像下会影响由此制成的车辆目标数据库深度学习神经网络的识别能力，本发明方法克服了采用某些地区及特定时间采集车辆目标图像推广应用到另一个特定区域的缺陷，利用可改变的特定背景图像，合成包含特定背景图像的车辆目标图像数据库，适应于不同地区和不同季节的背景图像，具有很强的推广性。

(4)在一个地区现场采集视频及拍照得到的背景图像不能直接推广到其它地区，如果对对所有车辆监控点采集车辆视频，需要投入庞大的资金和巨大的工作量，本发明采用分别独立采集特定背景图像及车辆目标图像，然后利用图像合成的方法，简化了建立包含特定背景图像的车辆目标图像数据库的工作量，降低了成本。

(5)采集车辆视频以及图像然后裁剪的现有技术中，采集到同一位置车辆目标图像需要大量视频，很难实现不同车辆完全重合在同一位置的图像，而本发明方法将车辆目标图像嵌入特定背景图像，很容易实现同一位置的不同车辆目标图像。

(6)本发明利用实际道路宽度与待制图像数据库特定背景图像下底边的像素，确定特定背景图像下底边表示实际宽度，确定待制图像数据库背景图像与实际景物的对应关系，真实反映出特定背景图像中表示的空间位置。

(7)本发明利用实际典型车辆宽度结合特定背景图像下底边表示实际宽度，调整车辆目标图像宽度，并进而调整车辆目标图像的高度，实现车辆目标图像与特定背景图像的对应关系。

(8)与单独采用不含背景图像的车辆目标图像数据库用于深度学习神经网络训练相比，本发明建立的包含特定背景图像的车辆目标图像数据库，由于包含了背景图像，更接近实际车辆目标的识别。

(9)本发明包含特定背景图像的车辆目标图像数据库建立方法，制备的包含特定背景图像的车辆目标图像数据库，除了用于深度学习神经网络外，可以推广到其它网络训练、车辆目标图像特征提取及识别。

(10)cn106846813a构建城市道路车辆图像数据库的方法，采用实际采集含视频转换成图像方法，是根据车型种类、不同场景、拍摄角度、光照变化和天气情况这些因素，确定数据采集方案并采集道路车辆原始视频，将原始视频转为图像，使用梯形框划定图像中的感兴趣区域，对梯形框以外的非感兴趣区域进行模糊化处理，标注感兴趣区域内的车辆图像，获得车辆数据库；本发明采用特定背景和车辆目标图像合成的方法，采集特定背景图像和车辆目标图像很方便合成包含特定背景图像的车辆目标图像数据库，无需在特定背景中再采集视频或者图像，并且背景图像可以改变，制备不同背景图像下车辆目标图像数据库，具有容易拓展及成本低特点。

(11)cn109446973a一种基于深度神经网络图像识别的车辆定位方法，是在不同光照及天气条件下的多个时段内进行图像样本采集，本发明采用特定背景图像和车辆目标图像合成的方法，采集特定背景图像和车辆目标图像很方便合成包含特定背景图像的车辆目标图像数据库，无需在特定背景图像中再采集视频或者图像，并且背景图像可以改变，制备不同背景图像下的车辆目标图像数据库，具有容易拓展及成本低特点。

(12)cn107633220a一种基于卷积神经网络的车辆前方目标识别方法，需要获取大量车辆交通相关图像作为样本，对收集的图像进行左右镜像化变换，扩充数据集并制作标签；本发明采用特定背景图像和车辆目标图像合成的方法，采集特定背景图像和车辆目标图像很方便合成包含特定背景图像的车辆目标图像数据库，无需在特定背景图像中再采集视频或者图像，并且背景图像可以改变，制备不同背景图像下车辆目标图像数据库，具有容易拓展及成本低特点。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明方法的操作流程示意框图。

图2为本发明实施例中所采集的特定背景图像的示意图。

图3为本发明实施例中所采集的不含背景图像的越野车目标图像的示意图。

图4为本发明实施例中所制备的含图2所示特定背景图像的越野车目标图像的示意图。

图5为本发明实施例中所采集的不含背景图像的轿车目标图像的示意图。

图6为本发明实施例中所制备的含图2所示特定背景图像的轿车目标图像的示意图。

图7为本发明实施例中所采集的不含背景图像的公交车目标图像的示意图。

图8为本发明实施例中所制备的含图2所示特定背景图像的公交车目标图像的示意图。

图9为本发明实施例中所采集的不含背景图像的面包车目标图像的示意图。

图10为本发明实施例中所制备的含图2所示特定背景图像下面包车目标图像的示意图。

图11为本发明实施例中深度学习神经网络训练和测试所制备的包含特定背景图像的车辆目标图像数据库的准确率曲线。

图中，201.高速路路边树木，202.高速水泥防撞墩，203.车道分界实线，204.高速行车车道(i)，205.车道分界虚线，206.高速行车车道(ii)，207.高速隔离带及树木，401.越野车目标图像嵌入高速路背景图像中越野车目标图像的示意图，601.轿车目标图像嵌入高速路背景图像中轿车目标图像的示意图，801.嵌入高速路背景图像中公交车目标图像的示意图，1001.面包车目标图像嵌入高速路背景图像中面包车目标图像的示意图，1101.训练集为四类车辆每类140张车辆目标图像的深度学习神经网络识别率，1102.测试集为四类车辆每类60张车辆目标图像的深度学习神经网络识别率。

具体实施方式

图1所示实施例表明，本发明的操作流程是：采集制作特定背景图像，计算特定背景图像下底边单位像素表示的实际宽度→制作只包含单一车辆图像的车辆目标图像并计算车辆宽度对应像素点→调整车辆目标图像的大小将车辆目标图像嵌入特定背景图像中→重复上述第二步至第三步的步骤，制作包含特定背景图像的车辆目标图像数据库→用深度学习神经网络对制备的包含特定背景图像的车辆目标图像数据库进行验证。

图1所示实施例表明，本发明方法是独立采集特定背景图像与车辆目标图像，先采集制作特定背景图像，后制作只包含单一车辆图像的车辆目标图像，再将只包含单一车辆的车辆目标图像嵌入到特定背景图像中形成包含特定背景图像的车辆目标图像，制作包含特定背景图像的车辆目标图像数据库，用深度学习神经网络对制备的包含特定背景图像的车辆目标图像数据库进行验证，制备出满足深度学习神经网络对图像数据库的需求并使用深度学习神经网络进行验证的包含特定背景图像的车辆目标图像数据库。

图2为本发明实施例中所采集的特定背景图像的示意图，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图图像中含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、高速行车车道(i)204、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207。本图2为特定背景图像经过灰度变换提取边沿的效果图示意图，在此特定背景下制备四种车型车辆目标图像数据库，某一种车型制备有200种车辆目标图像。为了绘制方便，该特定背景图像已经调整成128×128像素，在本发明实施中，该图像中所包含的构成元素并不被限制。

图3为本发明实施例中所采集的不含背景图像的越野车目标图像的示意图，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图中，所示越野车宽度在1.9米，图中越野车图像中不包含任何背景图像。对于采集越野车目标图像包含的原有背景图像，利用图像处理软件，将其原有背景图像删除。只有不含原背景图像的单一越野车辆的目标图像，才能合成到上述图2特定背景图像中，否则原背景图像会与上述图2特定背景图像混合在一起。本图3为越野车车辆目标图像经过灰度变换提取边沿的效果图的示意图，车辆目标图像横向宽度已经调整为128像素。

图4为本发明实施例中所制备的含图2所示特定背景图像的越野车目标图像的示意图，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图以上述图2为特定背景图像，以上述图3所示越野车图像为车辆目标图像制备成的含图2特定背景图像的越野车目标图像，本图4是经过灰度变换提取边沿的效果图。图中，越野车目标图像占据在观察者的右面车道，上述图2的特定背景图像中部分被越野车图像取代，越野车的前轮着地轮胎在特定背景图像下底边的道路上，实现了图3的越野车车辆目标图像嵌入图2的特定背景图像中，制成包含特定背景图像的车辆目标图像。图4所示的越野车目标图像嵌入高速路背景图像中经过灰度变换提取边沿的越野车目标图像效果图的示意图401中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207。

图5为本发明实施例中所采集的不含背景图像的轿车目标图像的示意图，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。本发明将普通轿车和跑车形状都归为轿车车型，该图5中，所示轿车宽度在1.7米。图5中轿车图像中不包含任何背景图像。对于采集轿车目标图像包含的原有背景图像，利用图像处理软件，将其原有背景图像删除。本图5为不含背景的轿车车型目标图像经过灰度变换提取边沿的效果图的示意图中车辆目标图像的横向宽度已经调整为128像素。

图6为本发明实施例中所制备的含图2所示特定背景图像的轿车目标图像的示意图，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图以上述图2为特定背景图像，以上述图5所示轿车图像为车辆目标图像制备成的含图2特定背景图像的轿车目标图像，本图6是经过灰度变换提取边沿的效果图。本图6中，轿车图像占据在观察者的右面车道，上述图2的特定背景图像中部分被轿车图像取代，轿车的前轮着地轮胎在特定背景图像下底边的道路上，实现了图5的轿车车辆目标图像嵌入图2的特定背景图像中，制成包含特定背景图像的车辆目标图像。与越野车相比，轿车高度低，在制备上述图2特定背景图像下包含图5的轿车车辆目标图像中，轿车车辆目标图像在图2背景中区域小于越野车，遮挡了背景图像中扁平的区域。图6所示的轿车目标图像嵌入高速路背景图像中经过灰度变换提取边沿的轿车目标图像效果图601中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207。

图7为本发明实施例中所采集的不含背景图像的公交车目标图像的示意图。该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图中，公交车宽度在2.5米。图7中公交车图像中不包含任何背景。对于采集公交车辆目标图像包含原有的背景图像，利用图像处理软件，将其原有背景图像删除。本图7为不含背景的公交车辆目标图像经过灰度变换提取边沿的效果图，车辆目标图像的横向宽度已经调整为128像素。

图8为本发明实施例中所制备的含图2所示特定背景图像的公交车目标图像的示意图。该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图以上述图2为特定背景图像，以上述图7所示公交车图像为车辆目标图像制备成的含图2特定背景图像的公交车目标图像，本图8是经过灰度变换提取边沿的效果图。本图8中，公交车图像占据在观察者的右面车道，上述图2的特定背景图像中部分被公交车图像取代，公交车的前轮着地轮胎在特定背景图像下底边的道路上，实现了与图2特定背景图像下公交车图像，相比越野车和轿车，公交车体积庞大，在制备上述图2特定背景图像下包含公交车目标图像时，公交车目标图像在图2背景中区域大于越野车和轿车，遮挡原背景中景物最大，占据了大部分背景图像。图8所示的嵌入高速路背景图像中经过灰度变换提取边沿的公交车目标图像效果图801中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、高速行车车道(ii)206、高速隔离带及树木207。

图9为本发明实施例中所采集的不含背景图像的面包车目标图像的示意图。该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图中，面包车宽度在1.5米。对于采集面包车辆目标图像包含原有的背景图像，利用图像处理软件，将其原有背景图像删除。本图9为不含背景的面包车辆目标图像经过灰度变换提取边沿的效果图，车辆目标图像的横向宽度已经调整为128像素。

图10为本发明实施例中所制备的含图2所示特定背景图像下面包车目标图像的示意图。该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图。该图以上述图2为特定背景图像，以上述图9所示面包车图像为车辆目标图像制备成的含图2特定背景图像的面包车目标图像，本图10是经过灰度变换提取边沿的效果图。本图10中，面包车图像占据在观察者的右面车道，上述图2的特定背景图像中部分被面包车图像取代，面包车的前轮着地轮胎在特定背景图像下底边的道路上，实现了与图2特定背景图像下面包车图像，相比越野车、轿车和公交车，面包车最窄，在制图2特定背景图像下包含面包车目标图像，在图2背景中狭长区域，遮挡背景的景物较少。图10所示的面包车目标图像嵌入高速路背景图像中经过灰度变换提取边沿的面包车目标图像效果图1001中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207。

图11为本发明实施例中深度学习神经网络训练和测试所制备的包含特定背景图像的车辆目标图像数据库的准确率曲线。由图11所示实施例可见，本发明将200张图像组成每一类，由此制备组成包含图2所示的特定背景图像下的越野车、轿车、公交车和面包车四类车型的车辆目标图像数据库。已经制备的包含特定背景图像的车辆目标图像数据库，在尺寸被变换到32×32像素后，用于典型深度学习神经网络lenet-5，其中某一类型车辆有200张图像，选择其中140张用于训练深度网络，另外60张用于测试，深度学习神经网络lenet-5学习率系数为2，每次训练采用20张图像样品，在训练150次后训练集和测试集的识别正确率都超过了95％，能够实现对深度学习神经网络结构的训练。图11中，曲线1101为训练集为四类车辆每类140张车辆目标图像的深度学习神经网络识别率，曲线1102为测试集为四类车辆每类60张车辆目标图像的深度学习神经网络识别率。

实施例1

本实施例中所采集制作的车辆目标图像的车辆的车型包括越野车、轿车、公交车和面包车。

本实施例的包含特定背景图像的车辆目标图像数据库建立方法，具体步骤如下：

第一步，采集制作特定背景图像：

通过拍照的方法或网络下载方法，采集制作特定背景图像，所采集制作特定背景图像要求如下：

(1.1)特定背景图像中所包含的图像内容：

采集特定背景图像中所包含的图像内容为：

特定背景图像中所包含的图像内容为，车道图像加树木图像、建筑物图像、山脉图像和路标图像中的1～4种；

本实施例中，如附图2所示，特定背景图像中所包含的图像内容中，包含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、高速行车车道(i)204、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

越野车：通过拍照的方法采集制作的特定背景图像，如附图4所示，特定背景图像中所包含的图像内容中，包含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

轿车：通过拍照的方法采集制作的特定背景图像，如附图6所示，特定背景图像中所包含的图像内容中，包含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

公交车：通过拍照的方法采集制作的特定背景图像，如附图8所示，特定背景图像中所包含的图像内容中，包含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、高速行车车道(ii)206、高速隔离带及树木207；

面包车：通过拍照的方法采集制作的特定背景图像，如附图10所示，特定背景图像中所包含的图像内容中，包含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

(1.2)特定背景图像的像素点大小：

特定背景图像像素点大小为n像素×m像素，即纵向为n像素，横向为m像素，特定背景图像像素点≥被背景图像所包含的待制备的车辆目标图像像素点；

本实施例中的特定背景图像像素点大小为n×m＝128像素×128像素，即纵向为n＝128像素，横向为m＝128像素，特定背景图像像素点≥被背景图像所包含的待制备的车辆目标图像像素点；

(1.3)计算特定背景图像下底边单位像素表示的实际宽度：

设定标准车道的宽度为l米，根据特定背景图像下底边中车道所占有i像素，用如下公式(1)计算出特定背景图像的下底边单位像素表示的实际宽度r，

上述公式(1)中，r的单位为米/像素；

本实施例中，

越野车、轿车、公交车和面包车相同：设定标准车道的宽度为l＝3.75米，根据特定背景图像下底边中车道所占有i＝128像素，代入l＝3.75米和i＝128像素，得到r＝0.029297(米/像素)；

第二步，制作只包含单一车辆图像的车辆目标图像：

通过拍照或网络下载方法，采集并制作只包含单一车辆图像的车辆目标图像，该只包含单一车辆图像的车辆目标图像的要求如下：

(2.1)采集单一目标车辆的正面图像；

(2.2)按照所采集制作车辆目标图像的车辆的大小及形状，分成不同车型，本实施例中包括越野车、轿车、公交车和面包车；

(2.3)当拍照或网络下载的车辆目标图像中包含相应的原始背景图像时，通过图像处理软件将该原始背景图像删除，这样在采集和变换的车辆目标图像中只包含单一目标车辆图像，该车辆目标图像中的车辆宽度为j像素，采集车辆目标图像中的车辆宽度像素j要大于0.9倍的特定背景图像下底边中车道所占有i像素；

本实施例中，

越野车：包含单一越野车车辆图像的车辆目标图像如附图3所示，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图，该越野车车辆目标图像中的车辆宽度为j＝128像素，满足j大于0.9倍的特定背景图像下底边中车道所占有i＝128像素的要求；

轿车：包含单一轿车车辆图像的车辆目标图像如附图5所示，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图，该轿车车辆目标图像中的车辆宽度为j＝128像素，满足j大于0.9倍的特定背景图像下底边中车道所占有i＝128像素的要求；

公交车：包含单一公交车车辆图像的车辆目标图像如附图7所示，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图，该公交车车辆目标图像中的车辆宽度为j＝128像素，满足j大于0.9倍的特定背景图像下底边中车道所占有i＝128像素的要求；

面包车：包含单一面包车车辆图像的车辆目标图像如附图9所示，该图的实样为实景的彩色照片或经过灰度变换提取边沿的效果图，该面包车车辆目标图像中的车辆宽度为j＝128像素，满足j大于0.9倍的特定背景图像下底边中车道所占有i＝128像素的要求；

(2.4)计算车辆宽度对应的像素点：

根据上述(2.2)步中所述的不同车型，测定其宽度为w米，用如下公式(2)计算相应该车型横向对应上述第一步采集制作的特定背景图像的像素d，

公式(2)中，fix()表示取整；

本实施例中，

越野车：代入越野车宽度w＝1.9米和r＝0.029297(米/像素)，得到d＝65像素，越野车横向对应图2特定背景图像中下底边占有d＝65像素；

轿车：代入轿车宽度w＝1.7米和r＝0.029297(米/像素)，得到d＝58像素，轿车横向对应图2特定背景图像中下底边占有d＝58像素；

公交车：代入公交车宽度w＝2.5米和r＝0.029297(米/像素)，得到d＝85像素，公交车横向对应图2特定背景图像中下底边占有d＝85像素；

面包车：代入面包车宽度w＝1.5米和r＝0.029297(米/像素)，得到d＝51像素，面包横向对应图2特定背景图像中下底边占有d＝51像素；

第三步，将车辆目标图像嵌入特定背景图像中：

将上述第二步制作的只包含单一越野车车辆图像的车辆目标图像嵌入上述第一步采集制作的特定背景图像中，具体操作方法如下：

(3.1)调整车辆目标图像的大小：

用如下公式(3)分别计算上述第二步制作的只包含单一越野车车辆图像的车辆目标图像横向和纵向的调整系数e，即单一越野车车辆目标图像横向和纵向分别调整为e倍

依据调整系数e的数值来调整车辆目标图像的大小，调整大小后的车辆目标图像用于下一步的车辆目标图像嵌入特定背景图像中；

本实施例中，

越野车：d＝65像素，j＝128像素，e＝0.5078，e＜1，缩小上述第二步制作的只包含单一越野车车辆图像的车辆目标图像，即将附图2横向和纵向分别作相应大小调整为原图像的0.5078倍，缩小采集的越野车目标图像的大小，将调整大小后的车辆目标图像用于下一步的车辆目标图像嵌入特定背景图像中；

轿车：d＝58像素，j＝128像素，e＝0.4531，e＜1，缩小上述第二步制作的只包含单一越野车车辆图像的车辆目标图像，即将附图2横向和纵向分别作相应大小调整为原图像的0.4531倍，缩小采集的越野车目标图像的大小，将调整大小后的车辆目标图像用于下一步的车辆目标图像嵌入特定背景图像中；

公交车：d＝85像素，j＝128像素，e＝0.6641，e＜1，缩小上述第二步制作的只包含单一越野车车辆图像的车辆目标图像，即将附图2横向和纵向分别作相应大小调整为原图像的0.6641倍，缩小采集的越野车目标图像的大小，将调整大小后的车辆目标图像用于下一步的车辆目标图像嵌入特定背景图像中；

面包车：d＝51像素，j＝128像素，e＝0.3984，e＜1，缩小上述第二步制作的只包含单一越野车车辆图像的车辆目标图像，即将附图2横向和纵向分别作相应大小调整为原图像的0.3984倍，缩小采集的越野车目标图像的大小，将调整大小后的车辆目标图像用于下一步的车辆目标图像嵌入特定背景图像中；

(3.2)将只包含单一车辆图像的车辆目标图像嵌入采集制作的特定背景图像中：

在上述第一步采集制作的特定背景图像中显示的车道图像中心位置附近，嵌入上述(3.1)步已经调整大小的车辆目标图像，该车辆目标图像放置在上述第一步采集制作的特定背景图像下底边以上的位置，该车辆目标图像前轮着地，轮胎占据在上述第一步采集制作的特定背景图像中的车道位置，该车辆目标图像是不透明的；

(3.3)依据上述第一步采集制作的附图2所示的特定背景图像中车道的大小确定该特定背景图像宽度像素表示的实际宽度，结合目标车辆宽度确定该车辆目标图像占据特定背景图像中横向像素的数量；

(3.4)调整只包含单一越野车车辆图像的车辆目标图像像素点的数量，要保持该车辆目标图像的横向与纵向同样比例变化，只改变该车辆目标图像的大小，车辆形状保持不变；

由此制成包含特定背景图像的单一车辆图像的车辆目标图像；

本实施例中，

越野车：由此制成包含特定背景图像的越野车车辆目标图像如附图4所示，该图以上述图2为特定背景图像，以上述图3所示越野车图像为车辆目标图像制备成的含图2特定背景图像的越野车目标图像，本图4是经过灰度变换提取边沿的效果图。图中，越野车目标图像占据在观察者的右面车道，上述图2的特定背景图像中部分被越野车图像取代，越野车的前轮着地轮胎在特定背景图像下底边的道路上，实现了图3的越野车车辆目标图像嵌入图2的特定背景图像中，制成包含特定背景图像的车辆目标图像。图4所示的越野车目标图像嵌入高速路背景图像中经过灰度变换提取边沿的越野车目标图像效果图401中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

轿车：由此制成包含特定背景图像的轿车车辆目标图像如附图6所示，该图以上述图2为特定背景图像，以上述图5所示轿车图像为车辆目标图像制备成的含图2特定背景图像的轿车目标图像，本图6是经过灰度变换提取边沿的效果图。本图6中，轿车图像占据在观察者的右面车道，上述图2的特定背景图像中部分被轿车图像取代，轿车的前轮着地轮胎在特定背景图像下底边的道路上，实现了图5的轿车车辆目标图像嵌入图2的特定背景图像中，制成包含特定背景图像的车辆目标图像。与越野车相比，轿车高度低，在制备上述图2特定背景图像下包含图5的轿车车辆目标图像中，轿车车辆目标图像在图2背景中区域小于越野车，遮挡了背景图像中扁平的区域。图6所示的轿车目标图像嵌入高速路背景图像中经过灰度变换提取边沿的轿车目标图像效果图601中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

公交车：由此制成包含特定背景图像的公交车车辆目标图像如附图8所示，该图以上述图2为特定背景图像，以上述图7所示公交车图像为车辆目标图像制备成的含图2特定背景图像的公交车目标图像，本图8是经过灰度变换提取边沿的效果图。本图8中，公交车图像占据在观察者的右面车道，上述图2的特定背景图像中部分被公交车图像取代，公交车的前轮着地轮胎在特定背景图像下底边的道路上，实现了与图2特定背景图像下公交车图像，相比越野车和轿车，公交车体积庞大，在制备上述图2特定背景图像下包含公交车目标图像时，公交车目标图像在图2背景中区域大于越野车和轿车，遮挡原背景中景物最大，占据了大部分背景图像。图8所示的嵌入高速路背景图像中经过灰度变换提取边沿的公交车目标图像效果图801中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、高速行车车道(ii)206、高速隔离带及树木207；

面包车；由此制成包含特定背景图像的面包车车辆目标图像如附图10所示，该图以上述图2为特定背景图像，以上述图9所示面包车图像为车辆目标图像制备成的含图2特定背景图像的面包车目标图像，本图10是经过灰度变换提取边沿的效果图。本图10中，面包车图像占据在观察者的右面车道，上述图2的特定背景图像中部分被面包车图像取代，面包车的前轮着地轮胎在特定背景图像下底边的道路上，实现了与图2特定背景图像下面包车图像，相比越野车、轿车和公交车，面包车最窄，在制图2特定背景图像下包含面包车目标图像，在图2背景中狭长区域，遮挡背景的景物较少。图10所示的面包车目标图像嵌入高速路背景图像中经过灰度变换提取边沿的面包车目标图像效果图1001中，含高速路路边树木201、高速水泥防撞墩202、车道分界实线203、车道分界虚线205、高速行车车道(ii)206、高速隔离带及树木207；

第四步，制作包含特定背景图像的车辆目标图像数据库：

重复上述第二步至第三步的步骤，对于所有的不同车型均制备包含特定背景图像的单一车辆图像的车辆目标图像数据库，制备的不同车型的包含特定背景图像的单一车辆图像的车辆目标图像均≥100张，由此完成制作包含特定背景图像的车辆目标图像数据库，以满足深度学习神经网络对图像数据库的需求；

本实施例中的不同车型为越野车、轿车、公交车、面包车；

第五步，用深度学习神经网络对制备的包含特定背景图像的车辆目标图像数据库进行验证：

对上述第四步制作的包含特定背景图像的越野车、轿车、公交车、面包车的单一车辆图像的车辆目标图像数据库，进一步变换包含特定背景图像的车辆目标图像的大小，作为深度学习神经网络输入，验证深度学习神经网络对制备可变背景车辆目标图像数据库的识别能力；

本实施例中，由图11所示，本实施例将200张图像组成每一类，由此制备组成包含图2所示的特定背景图像下的越野车、轿车、公交车和面包车四类车型的车辆目标图像数据库。已经制备的包含特定背景图像的车辆目标图像数据库，在尺寸被变换到32×32像素后，用于典型深度学习神经网络lenet-5，其中某一类型车辆有200张图像，选择其中140张用于训练深度网络，另外60张用于测试，深度学习神经网络lenet-5学习率系数为2，每次训练采用20张图像样品，在训练150次后训练集和测试集的识别正确率都超过了95％，能够实现对深度学习神经网络结构的训练。图11中，曲线1101为训练集为四类车辆每类140张车辆目标图像的深度学习神经网络识别率，曲线1102为测试集为四类车辆每类60张车辆目标图像的深度学习神经网络识别率。

至此，完成包含特定背景图像的车辆目标图像数据库建立。

表1.车道及四种类型车辆典型宽度及对应制备图像中占据像素和调整系数

实施例2

除特定背景图像中所包含的图像内容为车道图像加路标图像之外，其他同实施例1。实施例3

除特定背景图像中所包含的图像内容为车道图像加路标图像和建筑物图之外，其他同实施例1。

实施例4

除特定背景图像中所包含的图像内容为车道图像加树木图像、建筑物图像、山脉图像和路标图像之外，其他同实施例1。

上述实施例中，所述通过图像处理软件将采集车辆目标背景图像删除，这里所用的图像处理软件是windows中自带的绘图软件；所述深度学习神经网络是深度学习神经网络lenet-5；所涉及的操作方法是本技术领域所公知的。