一种针对复杂场景下的小目标行人检测方法与流程

本发明属于行人检测技术领域，具体涉及一种针对复杂场景下的小目标行人检测方法。

背景技术：

随着平安城市建设的不断进步以及各行各业监控系统的不断完善，每秒都有海量的视频图像数据被采集。绝大部分监控视频中，行人构成了活动的主体。如何利用好这些数据，实现对行人轨迹的精准分析以及行人结构化特征的精准提取成为了大数据时代安防领域急需解决的问题。

行人检测技术是解决以上问题的最重要核心技术之一。不仅如此，行人检测在行为分析、区域防控、行人重识别、人群密度与人流量分析等众多其它领域也有非常重要的应用。行人检测技术在近十年中得到了飞速的发展，从人工特征与机器学习相结合的传统方法到基于深度学习的目标检测框架，行人检测的准确率有了大幅的提升，但是复杂背景与光照以及小目标的检测问题始终未能解决。不仅如此，与检测准确率同时大幅增长的还有算法的计算量与资源需求，极大限制了算法的应用范围。

在复杂场景的行人检测中，小目标与背景特征区分度不高，通用的单步目标检测框架对分类特征提取能力较差，无法准确区分背景与行人。通用rpn与rcnn相结合的目标检测框架计算复杂度高，没有充分共享卷积层，极大的限制了应用的范围。小目标检测中，不同特征图的特征能力有限，回归框的相对误差较大，包含过多的背景信息，干扰了对行人目标后续的分析。

此外，在基于神经网络的行人目标检测算法中，通常存在严重的正负样本不均衡问题，很大程度上会影响神经网络的收敛以及最终检测的准确性。传统的样本均衡方法试图通过目标检测的置信度来选择合适的正负样本。但行人目标特别是复杂背景下的行人小目标有其独特的特征：目标类别单一，大目标的特征区分度高，小目标与复杂背景的特征区分度低。

技术实现要素：

针对现有技术中存在的技术问题，本发明提出一种针对复杂场景下的小目标行人检测方法，采用单步目标检测框架保证检测效率，设计部分共享卷积的分类特征提取分支网络，提高神经网络的小目标分类的能力，设计两级回归结构对小目标位置进行精确回归，保证定位的准确性。

本发明采用如下技术方案来实现：一种针对复杂背景下的小目标行人检测方法，包括如下步骤：

s1、采用深度学习的训练方法，对神经网络进行训练；

s2、将样本数据进行尺寸归一化；

s3、利用共享特征提取网络提取共享特征，得到特征图；

s4、利用分类特征提取网络对特征图提取分类特征，得到分类特征图；

s5、进行粗回归运算，对粗回归的结果利用置信度进行过滤，得到候选区域；

s6、根据分类特征图与侯选区域提取相应的分类特征，进行是否是行人目标的分类；

s7、对候选区域进行二次回归，进行精准定位，结合粗回归运算所获取的位置得到最终的回归位置；

s8、利用步骤s7输出的最终回归位置进行softnms，去掉重复框，得到最终目标位置以及与之对应分类结果。

优选地，s1包括如下步骤：

s11、根据训练数据集进行数据读取与数据扩展，得到训练数据及其标签；

s12、前向运算，根据s11得到的标签，计算误差值；

s13、采用正负样本选择策略，选择最终训练样本集；

s14、进行损失函数计算；

s15、判断神经网络的训练是否达到迭代结束阈值，若是则结束神经网络训练，若否则返回步骤s12继续进行前向运算。

优选地，步骤s13中正负样本选择策略动态选择正负样本以及正负样本的比例；针对前向运算得到的样本集s，利用动态阈值策略，选择负样本集st为最终训练样本集。而步骤s14中损失函数由分类损失函数和位置损失函数叠加而成。

优选地，步骤s4提取分类特征时，将特征图进行一次1*1的普通卷积运算后，进行去卷积操作，使特征图的尺寸扩大3倍，再与分类特征提取网络中的相应尺寸的特征图连接，再进行一次1*1的普通卷积，得到分类特征图。

优选地，步骤s5过程为：利用步骤s3输出的特征图结合预选进行区域预测，输出感兴趣区域；利用所述感兴趣区域在步骤s3的特征图上的位置关系，提取特征向量进行回归运算，分别得到中心点与长宽的偏移，以形成候选区域。

优选地，步骤s7过程为：对于步骤s3输出的每个特征图，进行1*1的depthwidth卷积运算，最终输出output数目为512的精确定位特征；利用所述精确定位特征对候选区域进行二次回归，最终得到左上角点与右下角点的偏移，结合粗回归运算所获取的位置得到最终的回归位置。

从以上技术方案可知，本发明采用单步目标检测框架保证检测效率，设计部分共享卷积的分类特征提取分支网络，提高神经网络的小目标分类的能力，设计两级回归结构对小目标位置进行精确回归，保证定位的准确性。针对单步目标检测框架，提出一种新型损失函数以及正负样本选择策略(ohem)，提高训练时的收敛速度与训练效果。本发明采用单步深度神经网络结构，针对单步深度神经网络结构提出一种新型损失函数以及正负样本选择策略(ohem)，可以有效的解决复杂场景下小目标检测的误检率高、目标定位精确度低的问题；利用复杂背景下的行人小目标所具有的独特的特征点，采用了兼顾复杂背景下的小目标行人检测的样本均衡策略，从而提升算法对小目标行人与复杂背景的概率区分度。

附图说明

图1为本发明一个实施例中行人检测方法对神经网络训练的流程图；

图2为本发明一个实施例中行人检测方法利用训练好的神经网络进行小目标检测的流程图。

具体实施方式

下面通过具体实施方式对本发明作进一步详细的描述，但本发明的实施方式并不限于此。

本实施例中，针对复杂背景下的小目标行人检测方法主要包括以下步骤：

s1、采用深度学习的训练方法，对神经网络进行训练，如图1所示。训练过程具体包括如下步骤：

s11、根据训练数据集进行数据读取与数据扩展，得到训练数据及其标签；

s12、前向运算，根据s11得到的标签，计算误差值，流程如图2所示；

s13、依据s12中的误差值，采用正负样本选择策略(ohem)，选择最终训练样本集；

使用新的正负样本选择策略，动态选择正负样本以及正负样本的比例；针对前向运算得到的样本集s，利用动态阈值策略，选择负样本集st为最终训练样本集。负样本集st的计算方式如式(1)：

st＝s[st_idx_opt],

st_idx_opt＝st_idx-topn(st_idx)-bottomn(st_idx),topn＝0.1,bottomn＝0.3,st_idx＝sortmax(iouthr(s)＜midvalue(iouthr(s))(1)

st_idx表示所有大于iou(重叠度)中值的样本从大到小的样本索引集合，st_idx_opt表示st_idx中去除10％最大值与30％最小值的样本索引集合，st为最终选出做反向传播的样本。iouthr(s)为iou阈值选择函数，选择去除10％最大值与30％最小值的所有预选框，midvalue表示对数据集进行取中值运算，sortmax表示对数据集进行从大到小的排序。

s14、进行损失函数计算。

使用新的损失函数，由分类损失函数和位置损失函数叠加而成。本实施例采用的损失函数如式(2)：

其中l(x,c,l,g)表示综合损失值，x表示有效样本，c表示相对于中心点的偏移量(offset)，l表示预测框，g表示标签框。lconf为分类损失函数，保持原来的不变；lloc为位置损失函数，n表示与真实位置匹配的默认框个数，α表示分类与位置损失函数的权重比例值。可表达为式(3)：

smoothl1表示进行损失值运算，以避免梯度爆炸。这里的l1与l2分别代表粗回归与精确回归。α表示两次回归的损失函数权重比例。

s15、判断神经网络的训练是否达到迭代结束阈值，若是则结束神经网络训练，若否则返回步骤s12继续进行前向运算。

s2、将样本数据进行尺寸归一化。将输入样本归一化为480*270大小的三通道图片。

s3、利用共享特征提取网络提取共享特征，得到特征图。共享特征提取网络包括15个depthwidth卷积核大小为3*3的卷积层，以及与之相应的depthwidth卷积核大小为1*1的卷积层、bn层与relu层。这些层被设计用来提取用来分类与定位的公用特征，最终输出3个不同尺度的特征图用于后续特征输入。

s4、利用分类特征提取网络提取分类特征。分别将三个特征图进行一次1*1的普通卷积运算后，进行去卷积操作，使特征图的尺寸扩大3倍，分别与分类特征提取网络中的相应尺寸的特征图连接(concat)，再进行一次1*1的普通卷积，得到分类特征图。

s5、进行粗回归运算，对粗回归的结果利用置信度进行过滤，得到候选区域。利用步骤s3输出的特征图结合预选进行区域预测，输出感兴趣区域；利用所述感兴趣区域在步骤s3的特征图上的位置关系，提取特征向量进行回归运算，分别得到中心点与长宽的偏移(offset)，以形成候选区域。

s6、进行分类。根据步骤s4输出的分类特征图与步骤s5输出的侯选区域提取相应的分类特征，进行是否是行人目标的分类。

s7、对候选区域进行二次回归，进行精准定位。对于步骤s3输出的每个特征图，进行1*1的depthwidth卷积运算，最终输出output数目为512的精确定位特征。利用所述精确定位特征对候选区域进行二次回归，最终得到左上角点与右下角点的偏移(offset)，结合粗回归运算所获取的位置得到最终的回归位置。

s8、利用步骤s7输出的最终回归位置进行softnms，去掉重复框，得到最终目标位置以及与之对应分类结果。

综上所述，本发明可以有效地解决复杂场景下小目标检测的误检率高，目标定位不精确的问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。