构建城市道路车辆图像数据库的方法与流程

本发明属于图像识别技术领域，尤其涉及一种构建城市道路车辆图像数据库的方法，可用于智能交通系统中的深度卷积神经网络训练。

背景技术：

我国城市道路交通管理工作正面临着相当严峻的形势。近年来，随着社会经济的迅速发展和城市化的快速推广，各类交通出行工具均在不断增加,且呈现出多元化快速增长趋势。现有道路资源正在逐渐趋于饱和,不仅制约了社会经济发展,而且带来了一系列的交通事故，如交通拥堵、车祸等，严重影响了市民的交通出行。因此，改善交通管理方法，提高管理水平，最大限度缓解现有交通状况已经刻不容缓。

车辆种类以及数量的统计，是城市交通管理工作的一项基本而重要的任务。如果没有正确的车辆统计数据，就不可能对道路车流量分布规律进行准确的预测，更不能为城市道路规划做出正确的指导。因此，防治交通事故，提高国民出行质量的前提是正确地识别与计数各类道路车辆，从而进一步掌握交通事故的发生动态，为实时、准确的预测预报提供理论依据。

传统交通管理方法一般依靠人力或者基础交通设施，但单纯的人力管理劳动强度大、效率低。因此，通过开发智能交通系统远程自动监测道路状况，将有助于提高车辆的检测与计数的准确率和效率，减少交通事故带来的损失，进而促进城市道路规划的实施，提高市民生活质量。

深度卷积神经网络是目前图像识别领域的前沿技术，能够满足智能交通系统车辆检测与计数的要求。其本质上是一种特征学习算法，采用监督学习策略，从数据库中提取不同类型车辆的判别性特征来实现车辆的检测和分类。因此，训练适用于智能交通系统的深度卷积神经网络需要提供一个包含城市道路各种情况的车辆数据库。目前，国内外已存在一些车辆图像数据库,如德国卡尔斯鲁厄技术学院团队于2013年公布的KITTI数据库、2012年中国科学院建立的拍摄于苏州高速公路的数据库，但是这些数据库均是针对特定问题而构建的，所覆盖车辆类别、道路状况、天气情况和拍摄角度存在不足，无法有效的描述中国城市交通，极易导致所建模型出现过拟合现象，检测和分类的鲁棒性以及泛化能力不足。因此，对于国内的车辆检测领域，亟需建立一个具有全天候、复杂场景、交通拥堵、多种车型等特点的数据库。

同时，深度卷积神经网络的训练过程需要大量大小一致的图像样本，且每张输入图像均需要对应的标签文件来说明图像中目标信息的类别和位置。因此，需要一种样本标定方法，来准确的获取车辆在图像中的位置和类别信息，建立完善的数据库用于网络模型的训练。

技术实现要素：

本发明的目的在于针对现有技术存在的不足，提出一种构建城市道路车辆图像数据库的方法，以有效的描述车辆图像，准确的给出车辆的位置和类别信息，为智能交通系统中训练深度卷积神经网络提供数据支撑。

为实现上述目的，本发明的技术方案如下：

(1)根据车型种类、不同场景、拍摄角度、光照变化和天气情况这些因素，确定数据采集方案并采集道路车辆原始视频；

(2)将原始视频分解为原始图像，使用梯形框标定原始图像中的感兴趣区域，并对梯形框外非感兴趣区域进行模糊化处理；

(3)标注感兴趣区域内车辆的类型和位置，生成标签文件；

(4)将标签文件转换为xml格式文件进行存储，得到车辆图像数据库。

本发明具有以下优点：

1.能准确的给出训练深度卷积神经网络所需的车辆位置和类别信息

现有城市交通车辆图像数据库由于使用全图训练深度卷积神经网络模型，远处道路上车辆过小的情况以及道路两侧背景信息会为训练智能交通系统的深度卷积神经网络提供了不必要的计算量。因此，本发明提出的城市道路车辆图像数据库的构建方法，由于只标记感兴趣区域内的车辆，因而能准确的给出训练网络所需的车辆位置和类别信息。

2.为训练性能良好的车辆检测与计数深度卷积神经网络提供数据支撑

深度卷积神经网络网络特征提取能力不仅仅取决于其网络架构，还依赖于所使用的数据库，其本质上是一种数据驱动方法。现有城市交通车辆图像数据库由于样本数量不足，场景不够丰富，其泛化能力不足，极易导致所训练的深度卷积神经网络模型出现过拟合现象，因此本发明建立了一个多种类、多天气和多场景的车辆图像数据库，为训练适用于多种交通状况的深度卷积神经网络提供数据支撑。

附图说明

图1为本发明的实现流程图；

图2为本发明中采集的原始图像样本图；

图3为本发明中模糊化后的图像样本图；

图4为本发明中标注感兴趣区域内的车辆示意图。

具体实施方式：

下面结合实例和附图对本发明进行详细说明。

参照图1，本发明的实现步骤如下：

步骤一：制定采集方案并采集原始视频

本实例以西安市交通路况为例，确定车辆数据拍摄地点和车辆类型。

车辆数据采集地点如表1所示，这些采集地点包括大学、商业区、公交站、十字路口和单车道道路这些不同场景的人行天桥，并且在各场景下设定了不同的拍摄位置，采集能够有效描述西安市交通情况的原始视频；

车辆类型包括8类：汽车、自行车、摩托车、公交车、三轮车、紧急车、卡车和泥罐车；

具体拍摄方法为：在每个拍摄地点的人行天桥上，使用三脚架固定DV相机或者高像素手机，在早上、中午、傍晚、晚上四个时间段，以俯视角度录制天桥两侧两个车道的车辆正面通行视频，录制时长为10分钟，录制的路段长度为100米。

表1.车辆检测视频数据采集地点

视频录制完成之后，删除时长不够、清晰度较差或者道路遮挡严重的视频，按地点-时间-天气的格式进行存放，如：公交五公司20160422_18:19阴，表示该视频是2016年4月22号18点19分于公交五公司拍摄的，当天天气为阴天。

步骤二：分解原始视频并进行模糊化处理

(2a)分解原始视频并保存原始图像：

根据原始视频中道路拥堵情况，按照不同的帧数间隔将视频分解为JPEG格式的RGB图像：若视频中道路车辆过于拥堵，则以48帧为间隔从视频中提取原始图像；若视频中道路状况通畅，则以24帧为间隔从视频提取原始图像，并将视频分解得到的原始图像存放在与用该视频名命名的文件夹中，提取的原始图像如图2所示，这些原始图像的大小为1280×720。

(2b)划定感兴趣区域：

为有效减少道路两侧背景信息以及远处道路上车辆过小的情况对训练网络模型的影响，设定原始图像中的感兴趣区域，即标注车辆信息时所重点关注的区域；

再使用梯形框来标定原始图像中的感兴趣区域,梯形框的两腰分别与道路两侧路沿平行，底边与图像底边重合，上边的选择以保证能采集到同一辆车由远及近的渐变过程为准；

(2c)对非感兴趣区域进行模糊化处理：

根据所划定的感兴趣区域，对原始图像中的非感兴趣区域进行简单模糊处理，其步骤为：

(2c1)读取原始图像，从图像中的第一个像素点开始，判断其所在的区域：若像素点在感兴趣区域内，则不作处理，跳转到下一个像素点；若像素点在非在感兴趣区域内，则用它领域内像素点的平均值代替该点的像素值，然后跳转下一个像素点；

(2c2)遍历完图片所有像素点，完成图像的模糊化处理后，并将经过模糊处理的图片保存，如图3所示，感兴趣区域以白色梯形框标定，车道外的事物以及不利于网络去检测识别的过小的车辆均被模糊化。

步骤三：标注车辆的类别和位置信息并获得xml格式标签文件

(3a)在图像中的感兴趣区域内，使用外接矩形框对车辆进行分类和定位，即选择车身主体未被遮挡的车辆，对公交车只标注车头，对其他车标注整体，标注结果如图4所示，其中蓝色框标记了公交车、黄色框标记了摩托车、绿色框标记了汽车；

(3b)对模糊化后的图像一一进行感兴趣区域内的车辆标注，记录标注车辆所用的每个外接矩形框的各顶点坐标和其代表的类别，并将每个矩形框的顶点坐标和其代表的类别存入txt格式的标签文件中，标注完成后，每一张图像对应一个标签文件；

当堵车时间过长时，从原始视频中得到的原始图像往往会出现多张相似的情况，对于这种情况，删除相似的图像，不进行重复标注；

(3c)合并所有标签文件，并将文件txt格式转换为xml格式，获得包含数据库内所有车辆类别与位置信息的xml格式标签文件。

步骤四：存储标签文件、图像文件名和样本图像得到完整数据库

(4a)建立与深度卷积神经网络训练过程相对应的文件夹存储数据：

由于训练深度卷积神经网络包括自下而上的非监督学习与自顶向下的监督学习的学习过程以及网络测试过程，每一个过程都会根据所提供样本的图像文件名，寻找样本图片与对应样本的xml标签信息。因而，本发明的数据库需要建立与网络训练过程相对应的三个主文件夹存储数据。其中

第一个是ImageSets文件夹，用于存储图像文件名列表的文件，该文件夹内有一个名为Main的子文件夹，存放着训练深度卷积神经网络不同过程所需的图片文件名，具体为：

train.txt，存有训练网络的图像文件的文件名列表，

trianval.txt，存有训练和验证网络的图像文件的文件名列表，

val.txt，存有验证网络的图像文件的文件名列表，

test.txt，存有测试网络的图像文件的文件名列表；

第二个是Annotations文件夹，用于存储包含车辆类别与位置信息的xml格式标签文件；

第三个是JPEGImages文件夹，用于存放样本图像；

(4b)合并所有文件夹获得完整数据库：

将(4a)所建的Annotations、ImageSets和JPEGImages这三个文件夹整合到一个文件夹内，并命名为Vechile_Data，得到完整的城市道路车辆图像数据库。

本发明的效果可通过以下应用实例进一步说明。

使用上述方法构建的车辆图像数据库训练现有的深度卷积神经网络模型，并计算最终测试结果的召回率，其应用过程如下：

第一步，选择深度神经网络：

由于SSD网络是一种多尺度目标检测深度卷积神经网络框架，可以用来实现对目标信息的定位和分类，满足智能交通系统要实现车辆检测与技术的要求，因此选择SSD网络模型进行训练，同时在深度卷积神经网络SSD网络框架的基础网络VGG-16上，添加卷积层和池化层，以增加整个网络的特征提取能力；

第二步，对网络进行训练并计算最终测试结果的召回率：

从已建立的数据库中选择汽车、摩托车和公交车这三类道路最常见车辆的数据对SSD网络进行训练和测试。

实例中，使用SSD网络框架中的VGG-16网络的原始参数对基础网络进行初始化，用深度学习Xavier初始化方法对额外添加的卷积层和池化层进行初始化，迭代次数选择15000次，对网络模型进行训练。训练完成后，用一段时长为10分钟的视频对网络进行测试并计算测试结果的召回率。经过计算，测试结果中摩托车、汽车及公交车的召回率分别为：94％、99％、99％。

以上实例以及最终的测试效果表明利用本发明数据库描述的车辆图像以及准确给出的车辆位置和类别信息，为智能交通系统中训练深度卷积神经网络提供了可靠的数据支撑。