基于可变部件模型的电动摩托车图像检测方法与流程

本发明涉及一种图像检测方法，具体涉及一种基于可变部件模型的电动摩托车图像检测方法，用以在交通视频监控图像中检测出电动摩托车位置。

背景技术：

当前交通视频监控图像趋于复杂多样，存在视角变化、光照变化、背景复杂、目标形态多样化以及噪声干扰等问题，使得在图像中对特定目标进行检测成为一个难点。现有技术中有许多针对行人、车辆、自行车等的目标检测算法，但在电动摩托车的检测识别方面的研究很少，但由电动摩托车所引起的交通事故、偷盗、火灾等事故却不少。

目前的车辆识别算法，采用是sift特征，通过抽取各个样本中部分特征构成一个特征空间，对其进行稀疏编码获得稀疏编码特征基矩阵，利用线性svm和稀疏编码结合训练出模板，然后，对目标图像和模板进行sift特征匹配得到最优匹配位置，从而检测出车辆。但是该算法存在的缺陷是：(1)主要针对于小汽车、皮卡、大货车、公交车等大型目标，对电动摩托车的识别效果不好。(2)易受外界条件影响：对于遮挡、不同角度拍摄等效果不理想，同时易受光照影响；(3)受目标自身影响：当目标发生形变时，易造成漏检或错检。

技术实现要素：

针对当前现有技术中存在的问题，本发明的目的是提供一种基于可变部件模型的电动摩托车图像检测方法，将可变部件模型应用于电动摩托车检测，采用多组件模型，可以适应不同视角，提高目标检测准确率。

为了实现上述任务，本发明采用以下技术方案：

基于可变部件模型的电动摩托车图像检测方法，包括以下步骤：

步骤1，建立正样本集和负样本集；

步骤2，对正样本集分类，负样本集分组，然后对每个正样本、负样本进行特征提取，得到正样本的特征以及负样本的特征；

训练所述正样本的特征和负样本的特征，得到根模板；

步骤3，将所述的根模板通过空间聚合得到初始根模板，对所有的正样本、负样本分别建立特征金字塔，然后训练所述的初始根模板；

步骤4，设定电动摩托车的部件个数和形状，利用部件扫描步骤3训练后的初始根模板，当部件形状与初始根模板覆盖区域的能量最大时，该覆盖区域即为部件的位置，从而得到初始部件模型；

将初始部件模型加载到训练后的初始跟模板中，并在所述的正样本集和负样本集上进行训练，得到最终根模板以及最终部件模型；

步骤5，对于待检测图像，对待检测图像进行特征提取，然后与所述的最终根模板以及最终部件模型进行匹配，得到待检测图像中电动摩托车的位置。

进一步地，所述的建立正样本集和负样本集，包括：

将多张包含电动摩托车的图像作为正样本集，将正样本集中每一个正样本中的电动摩托车进行矩形框标注；负样本集则选取pascalvoc数据集提供的不包含电动摩托车的图像。

进一步地，所述的步骤2包括：

步骤2.1，将正样本集中的正样本的矩形标注框按照长宽比分为m类，负样本集随机分成m组；

步骤2.2，对每个正样本、负样本进行特征提取，包括：

对于正样本或负样本图像，将图像分为多个单元格，对单元格内的每个像素分18个有符号梯度方向和9个无符号梯度方向求梯度，然后用梯度方向在单元格的直方图中加权投影，得到该单元格的梯度方向直方图，即为该单元格对应的27维的特征向量；然后将每2*2个相邻单元格组成一个区块，则每个区块对应于一个108维的特征向量，通过对其进行主成分分析和解析降维，将原来的108维特征分别对每行每列进行累加降至4+27＝31维，将所有区块特征向量串联起来即可得到整个图像的特征；由此得到正样本的特征和负样本的特征；

步骤2.3，根据正样本的特征和负样本的特征，用svm训练得到m个根模板f1,f2,…,fm。

进一步地，所述的对所有的正样本、负样本分别建立特征金字塔，包括：

对于正样本或负样本图像，将图像作为特征金字塔的第一层，然后特征金字塔的其他层均以上一层2^1/interval的倍数进行采样，对于特征金字塔的每一层，按照步骤2.2的方法进行特征提取，从而得到特征金字塔每一层的特征。

进一步地，进行目标检测，所述的对待检测图像进行特征提取，然后与所述的最终根模板以及最终部件模型进行匹配，得到待检测图像中电动摩托车的位置，包括：

建立待检测图像的特征金字塔，将该特征金字塔的每一层与所述最终根模板分别进行卷积操作，选择最大的卷积值作为根模板得分；

从待检测图像的特征金字塔中，选择待检测图像的两倍分辨率特征与每一个最终部件模型分别进行卷积，得到每一个最终部件模型对应的得分；

计算最终部件模型的变形花费；

求所述根模板得分、最终部件模型对应的得分与变形花费的总的代数和作为检测总得分，得分最高的位置即为电动摩托车的位置。

本发明与现有技术相比具有以下技术特点：

1.本发明所采用的可变形部件模型构建了图像特征金字塔，可在不同尺度上提取特征，以适应不同尺度的图像检测；

2.本发明所采用的可变形部件模型是采用了多组件混合模型，可适应不同视角变化、光照等；

3.本发明所采用的可变形部件模型采用了两倍分辨率的部件模型，可解决小范围遮挡问题。

附图说明

图1为本发明方法的流程图；

图2的(a)为最终根模板的示意图，(b)为最终部件模型的示意图，(c)为变形花费的示意图。

图3为利用本发明方法进行电动摩托车检测的结果示意图。

具体实施方式

本发明公开了一种基于可变部件模型的电动摩托车图像检测方法，包括以下步骤：

步骤1，建立正样本集和负样本集

将多张包含电动摩托车的图像作为正样本集p，将正样本集中每一个正样本中的电动摩托车进行矩形框标注，本方案采用的是弱标注的方式，即仅对目标位置(即电动摩托车所在位置)进行标注；本实施例中，正样本集采用1000张拍摄的包含电动摩托车的的图像；

负样本集n则选取pascalvoc数据集提供的1000张不包含电动摩托车的图像。

步骤2，对正样本集分类，负样本集分组，然后对每个正样本、负样本进行特征提取，得到正样本的特征以及负样本的特征；训练所述正样本的特征和负样本的特征，得到根模板；具体步骤如下：

步骤2.1，将正样本集中的正样本的矩形标注框按照长宽比分为m类，负样本集随机分成m组；

步骤2.2，对每个正样本、负样本进行特征提取，包括：

对于正样本或负样本图像(该图像即指正样本、负样本)，将图像分为多个单元格，本实施例中每个单元格为8*8像素大小；对单元格内的每个像素分18个有符号梯度方向(0°-360°)和9个无符号梯度方向(0°-180°)求梯度，然后用梯度方向在单元格的直方图中加权投影，得到该单元格的梯度方向直方图，即为该单元格对应的18+9＝27维的特征向量；然后将每2*2个相邻单元格(上下左右四个单元格)组成一个区块(如上下左右相邻不足四个单元格，则在缺失的部分补0)，则每个区块对应于一个4*27＝108维的特征向量，通过对其进行主成分分析和解析降维，将原来的108维特征分别对每行每列进行累加降至4+27＝31维，将所有区块特征向量串联起来即可得到整个图像的特征。

对每一个正样本的图像、负样本的图像都按照上述方法进行处理，即得到了正样本的特征和负样本的特征。

步骤2.3，根据所有的正样本的特征和负样本的特征，用标准支持向量机svm训练得到m个根模板f1,f2,…,fm。

步骤3，将所述的根模板通过空间聚合得到初始根模板，对所有的正样本、负样本分别建立特征金字塔，然后训练所述的初始根模板；具体包括：

步骤3.1，将所述的m个根模板f1,f2,…,fm通过空间聚合得到初始根模板f0；

步骤3.2，对所有的正样本、负样本分别建立特征金字塔，正样本或负样本建立特征金字塔的步骤如下：

对于正样本或负样本图像，将图像作为特征金字塔的第一层，然后特征金字塔的其他层均以上一层2^1/interval的倍数进行采样，对于特征金字塔的每一层，按照步骤2.2的方法进行特征提取，从而得到特征金字塔每一层的特征。本实施例中，对于正样本interval＝5，对于负样本interval＝2。

即，将正样本、负样本的原始图像作为金字塔的第一层，第二层是以第一层2^1/interval的倍数进行采样，第三层是以第二层2^1/interval的倍数进行采样，以此类推；每一层采样对应得到一幅图像，将该图像按照步骤2.2的特征提取方法提取特征，从而得到了特征金字塔每一层的特征。

步骤3.3，训练所述的初始根模板

本实施例中，采用隐支持向量机lsvm训练所述的初始根模板，主要包括两部分：

步骤3.3.1，样本优化

设隐藏变量zp为正样本中矩形框的坐标[x1,y1,x2,y2](矩形框的左上角点和右下角点的坐标)，固定初始根模板，计算出矩形框中与初始根模板卷积得分最高的位置坐标，将该坐标位置作为新的正样本标注框，以此优化正样本；

对于负样本，固定隐藏变量zp，舍弃远离分界面的负样本，依次优化负样本。

步骤3.3.2，利用优化后的正样本和负样本，利用随机梯度下降算法优化初始根模板f0。

步骤4，设定电动摩托车的部件个数和形状，利用部件扫描步骤3训练后的初始根模板，当部件形状与根模板覆盖区域的能量最大时，该覆盖区域即为部件的位置，从而得到初始部件模型；具体步骤如下：

步骤4.1，首先设定电动摩托车的部件个数为8，这8个部件分别对应于电动摩托车的8个部分；设定部件的形状为矩形，每个矩形的面积相同，这8个矩形的总面积是步骤3.3优化后初始根模板大小的80％。分别利用部件(即所述的矩形)扫描步骤3.3训练后得到的初始根模板，当部件与所述优化后的初始根模板能量最大时，将覆盖区域确定为该部件的位置，从而得到该部件对应的初始部件模型，并将所述覆盖区域的能量设置为0。利用相同的方法，初始化所有8个部件，得到每个部件对应的初始部件模型。

步骤4.2，将初始部件模型加载到所述训练后的初始根模板中，利用lsvm在正样本集和负样本集上进行训练，从而获得最优电动摩托车模型，该模型即为最终电动摩托车模型，包括最终根模板(初始根模板经过训练后得到)如图2的(a)所示，最终部件模型(初始部件模型经过训练后得到)如图2的(b)所示。

步骤5，对于待检测图像，对待检测图像进行特征提取，然后与所述的最终根模板以及最终部件模型进行匹配，得到待检测图像中电动摩托车的位置。所述的匹配算法可采用现有技术中已有匹配算法。本实施例中提供了一种匹配素算法，具体包括：

步骤5.1，对于待检测图像，首先利用步骤3.2相同的方法，建立待检测图像的特征金字塔以对待检测图像进行特征提取，此处指定interval＝10。

步骤5.2，与所述的最终根模板以及最终部件模型进行匹配，得到待检测图像中电动摩托车的位置，具体步骤如下：

步骤5.2.1，将待检测图像的特征金字塔的每一层分别与所述的最终根模板进行卷积操作，在每一层计算得到的卷积值中，选择最大的卷积值作为根模板得分。

步骤5.2.2，将待检测图像的两倍分辨率特征与每一个最终部件模型分别进行卷积，得到每一个最终部件模型对应的得分；所述的待检测图像的两倍分辨率特征是指待检测图像特征金字塔中的两倍分辨率特征。

步骤5.2.3，计算最终部件模型的变形花费

如图2的(c)所示，第i个最终部件模型的变形花费就是该部件模型在待检测图像中的实际位置与锚点位置之间的偏离程度；所述的锚点位置是指在步骤4.2训练后最终部件模型在所述最终根模板上的中心点的位置。

最后求得步骤5.2.1至步骤5.2.3所得结果的代数和，即求所述根模板得分、最终部件模型对应的得分与变形花费的总的代数和作为检测总得分，得分最高的位置即为目标位置。

图3为利用本发明方法进行电动摩托车检测结果的示意图，从图中可以看到，该模型可适应不同尺度、不同光照、不同形变的图像的电动摩托车检测，同时，也能解决小范围遮挡问题，可将其应用于交通中电动摩托车的监控。