基于自适应上下文信息的CNN交通检测方法与流程

技术特征：

1.一种基于自适应上下文信息的CNN交通检测方法，其特征在于，包括训练阶段和检测阶段，

训练阶段包含两步：

第一步，在特定交通场景下，训练获取自适应的上下文特征选择模型；首先，在特定的交通场景下，提取交通目标图像及其上下文图像的两组CNN特征图；然后，在同一尺度下，计算两组特征图间的差异，记录并统计所有样本差异度小于设定阈值的特征图位置索引；接着，选取K个有效的上下文CNN特征图的位置索引，得到自适应的上下文选择模型，K＞0，整数；

第二步，在获取自适应的上下文特征选择模型的基础上，训练基于自适应上下文信息的CNN交通检测系统；在前向阶段，首先，提取交通目标图像及其上下文图像的两组CNN特征图，利用上下文特征选择模型保留的K个特征图位置索引，从获取的上下文CNN特征图中，保留相应的有效特征图；然后，对获得的两组特征图分别利用目标核与上下文核做卷积计算获得目标分值与上下文分值；接着，通过混合系数融合目标分值与上下文分值，获得检测分值；

在后向阶段，计算检测分值与标签的误差，用BP算法，更新目标核、上下文核和混合系数参数；

检测阶段：在特定交通场景下，首先，输入检测的交通图像，利用CNN提取256张特征图，一方面，利用训练好的目标核卷积256张特征图获得目标掩码图；另一方面，用上下文特征选择模型保留的K个特征图位置索引，从256张特征图中选择K个特征图，利用训练好的上下文核做卷积获得上下文掩码图；然后，利用训练好的混合系数，融合获得的目标掩码图与上下文掩码图，联合预测目标位置；最后，通过后处理，准确框定交通目标。

2.根据权利要求1所述的基于自适应上下文信息的CNN交通检测方法，关于图像特征图的特征提取均采用基于CNN的Alexnet模型的前五层结构提取相应特征图；具体步骤是：

(1)假设输入图像为x⁰，将其表示为其中，和

分别表示图像x⁰在RGB空间的三通道图；用l表示卷积层的索引，l＝1，2，3，4，5；M^l表示第l个卷积层特征图的数目，M¹＝96、M²＝256、M³＝384、M⁴＝384、M⁵＝256；则第l个卷积层的第j个特征图计算方式如下：

其中，W^l表示相邻卷积层特征图的连接关系；表示卷积操作；与分别表示卷积核和偏移；

(2)通过第l层的池化层和非线性层得到表示为：

其中，g(g)表示进行局部响应归一化处理，f(g)表示激活函数，采用不饱和非线性函数：

因此，CNN对输入图像x⁰在第五个卷积层获取了256张特征图每张特征图的大小为输入图像x⁰的1/16；本系统为了方便表达用F(x⁰，j)表示输入图像在x⁰第5个卷积层提取的第j个特征图。

3.根据权利要求1所述的基于自适应上下文信息的CNN交通检测方法，其特征在于，对于其中自适应的上下文选择模型获取过程如下：，首先，对读取的交通图像集I进行统一表示，具体形式为：其中表示目标图像，表示包含目标图像的上下文图像，yn∈{0，1}表示正负样本的标记，n表示样本索引；则：

(1)对输入大小为80×48的目标图像和其对应的大小为144×112的上下文图像分别利用CNN提取第5个卷积层的特征图，获得256张5×3大小的目标特征图和256张9×7大小的对应的上下文特征图

(2)为了能够在同一尺度比 较目标特征图和其对应的上下文特征图的差异，需要对目标特征图进行上采样，使每张特征图的大小为9×7，记作

(3)采用余弦相似度的方法度量两个特征图与的差异；将目标特征图的向量形式记为x，上下文特征图的向量形式记为y，当相似度小于某个经验阈值ε时，即

Scos(x，y)≤ε (4)

如果与差异度较小，丢弃上下文特征图否则，保留上下文特征图并最终记录保留的上下文特征图的位置索引；通过对2N张正负样本图片的结果进行统计，根据相应位置出现的频率，进行排序，并最终选择保留的上下文特征图位置索引，实现自适应的上下文特征选择，其中N＞0，为整数。

4.根据权利要求3所述的基于自适应上下文信息的CNN交通检测方法，其特征在于，还包括训练获取交通检测系统相关参数，训练阶段采用前向过程获取上下文掩码和目标掩码：

(1)分别对目标图像和包含目标的上下文图像提取CNN特征，获得相应的目标特征图和上下文特征图其中，j＝1，...，256表示特征图的数目；

(2)根据权利要求3获取的自适应的上下文特征选择模型，利用余弦相似度量目标特征图和对应的上下文特征图的差异，根据阈值从256张上下文特征图中挑选需要保留的K张上下文特征图其中q＝1，...，K，K≤256；

(3)分别对目标特征图和上下文特征图利用不同的目标核和上下文核进行卷积，则得到的相应目标掩码和上下文掩码分别表示为：

其中，b^o表示目标核与相应的偏移，b^c表示上下文核与相应的偏移；目标核和上下文核的大小分别与和的大小一致；

采用的是valid卷积(该卷积有边界损失)，因此和都是标量；

(4)融入上下文信息的检测分值scoren表示为：

其中，γ表示目标和上下文的混合系数，γ∈[0，1]；针对不同场景，需要获得不同的γ；通过该变量反映在不同场景中，不同上下文信息对目标检测的不同作用，如γ＝o，则上下文对目标检测没有作用，相当于该模型无须融入上下文，则该模型就是不考虑上下文的CNN目标检测模型；

(5)该系统采用最小均方误差的方法来建立目标函数，利用BP算法逐步减小scoren与标签yn间的误差；该模型的目标函数为：

其中，2N表示正负样本的总数量；为了解决上式中相关参数的优化问题，本系统采用随机梯度下降的方法来训练该模型中的参数，所有参数w利用下式进行更新，直到收敛：

其中，i代表迭代的索引，α表示梯度下降算法的学习率；更新相关参数，需要反复计算目标函数L(g)的梯度。

5.根据权利要求2所述的基于自适应上下文信息的CNN交通检测方法，其特征在于，还包括交通目标检测，通过目标掩码图和上下文掩码图联合预测目标位置，然后通过非最大抑制获取交通目标的检测结果：

(1)首先，该系统输入交通场景的图像In，通过权利要求2方法提取特征图，生成256张特征图；

(2)接着，根据获得的上下文特征图选择模型，从256张特征图中，选择K张有效的上下文特征图，对已有的目标特征图进行上下文信息的补充；

(3)然后，对上下文特征图和目标特征图分别卷积对应的卷积核，获得相应的目标掩码图和上下文掩码图

(4)在检测阶段，采用的是same卷积(该卷积无边界损失)，因此和都是矩阵；最后，利用目标掩码图和上下文掩码图通过加权方式，联合预测目标的位置M；

(5)通过非最大值抑制的后处理，得到相应交通目标的检测结果。