一种改进基于LDCF的行人检测方法与流程

本发明涉及行人检测领域，尤其是涉及一种改进基于LDCF的行人检测方法。

背景技术：

行人检测是目标检测中的一项热点和重要内容，目标是在灰度、彩色、深度等图像或视频中找到直立行走的行人，在汽车辅助驾驶、智能交通管理、智能视频监控等方面有着广泛的应用。

目前，行人检测算法大体上有三类：DPM类、决策森林类和深度学习类。其中决策森林类算法更具优势。LDCF算法可以从训练集中提取颜色、梯度方向和梯度幅值三种特征信息，训练成分类器。在检测行人时，则采用缩放图像构成尺度金字塔的策略，使用决策树进行多尺度检测。

经过对现有技术的文献检索发现，现有的LDCF检行人检测方法中，在行人检测的过程中的检测不准确，而且对于采用Non-Maximal Suppression(非极大抑制)方法抑制检测窗口的方法中，对于重合的检测窗口的识别以及降低失效率上，效果不明显，经常出现误检。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种检测准确、消除姿态影响的改进基于LDCF的行人检测方法。

本发明的目的可以通过以下技术方案来实现：

一种改进基于LDCF的行人检测方法，用以准确检测车载摄像头图像中的行人信息，包括以下步骤：

1)根据不同的训练数据集获取LDCF行人检测算法中三个行人外形的几何约束条件；

2)对待检测图像中的行人进行滑动窗口检测，并根据约束条件剔除长宽比不符合行人特点以及位置不在合理区域内的检测窗口，获取符合约束要求的初步行人检测窗口；

3)对初步行人检测窗口进行抑制，最终获取合适大小的检测窗口，并据此识别待检测图像中的行人。

所述的步骤1)中，三个行人外形的几何约束条件包括行人底部到图像底部的距离约束、行人的像素高度与行人到图像底部距离的线形函数关系约束以及行人检测窗口的宽高比约束。

所述的步骤1)中，训练数据集包括Caltech-USA训练数据集和ETH训练数据集。

所述的步骤3)中通过改进的NMS算法对初步行人检测窗口进行抑制。

所述的改进的NMS算法通过将NMS算法中的固定重合面积阈值改为动态重合面积阈值进行窗口抑制。

所述的动态重合面积阈值Threshold为：

其中，A为固定重合面积阈值，s_d为被抑制窗口的检测分数，s_u为抑制窗口的检测分数，h_d为被抑制窗口的高度，h_u为抑制窗口的高度，为检测分数比，为检测对象尺度比，α为检测分数比的阈值，δ为检测对象尺度比的阈值。

所述的窗口抑制的方法为：

1、被抑制窗口和抑制窗口存在重合，当检测分数比且检测对象尺度比时，则认定被抑制窗口为抑制窗口的子区域，并缩小动态重合面积阈值；

当检测分数比且检测对象尺度比时，则认定被抑制窗口为抑制窗口的附近的独立窗口，不采用动态重合面积阈值抑制；

2、当抑制窗口完全被被抑制窗口包含，且其检测分数差异极小，即时，则将抑制窗口作为误检窗口剔除，保留被抑制窗口，并将抑制窗口的检测分数赋值给被抑制窗口。

与现有技术相比，本发明具有以下优点：

一、检测准确：本发明在行人检测时加入三个行人外形的几何约束条件，有效的去除了检测框位于地平线上、检测框的宽度过窄或过宽以及检测框的高度与行人距离摄像头的距离不符合近大远小的规律这三种误检，有效的提高了检测准确度。

二、消除姿态影响：本发明还通过对NMS算法改进，将固定重合面积阈值改为动态重合面积阈值进行窗口抑制，有效的降低了行人的遮挡、姿态的影响，使得检测分数稍低的检测窗口可能与真实行人更匹配。

附图说明

图1是本发明的方法流程图。

图2是实施例一中几种常见的几何错误举例，其中，图(2a)为检测窗口位于地平线上的情况，图(2b)为检测窗口的宽度过窄，图(2c)为距离摄像头较远的行人高度过高的情况，图(2d)为距离摄像头较近的行人高度过矮。

图3是实施例一中的成像模型图，其中，图(3a)为焦距、视角视角与屏幕高度的关系示意图，图(3b)为摄像机成像模型，图(3c)为行人几何成像关系图。

图4是实施例二的使用前后效果对比图，其中，图(4a)为LDCF原始NMS检测效果，图(4b)为引入尺度比信息后的NMS检测效果，图(4c)为原始NMS检测效果，图(4d)为引入保留外围窗口和激活机制的NMS检测效果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例1：

如图1所示，本实施例包括以下步骤：

第一步、选择一系列地平线上无遮挡的图片，估算出地平线的高度。不同数据集的地平线高度不同，如Caltech-USA数据集的地平线高度约为190，ETH数据集的地平线高度约为235。

第二步、计算摄像头参数，并根据训练集数据获得行人的高度与距离摄像头的距离之间的关系。

针孔摄像机成像模型如图3(a)所示。其中f为摄像机焦距，w为屏幕高度，θ为垂直视角。根据该模型，可以得到焦距、垂直视角与屏幕高度的关系：

其中，摄像机焦距为1000像素，屏幕高度为480像素。根据这些已知条件可以计算出垂直视角约为27°。

车载摄像机针孔成像模型如图3(b)所示。其中H为行人实际高度，d为行人到车载摄像机的实际距离，f为摄像机的焦距，h为行人在图像中的像素高度。可以发现，对于同一个行人而言，离摄像机越远，其成像高度h越小。而行人距离摄像头越远，代表着行人距离图像底部的距离也越远，所以行人距图像底部的距离和行人像素高度之间存在一定的几何关系。

理想的非畸变的行人的成像关系如图3(c)所示。其中f为焦距，h为图像行人的像素高度，D为行人底部到图像底部的距离，H为行人的真实高度，d为行人到车载摄像机的实际距离。根据该图，可以得到：

由以上两个公式可知：

由图及以上公式可得：

所以，

即，当人的高度一定时，行人到图像底部的距离和行人的像素高度存在正比关系。

通过对Caltech-USA训练数据集的数据进行简单的函数拟合，得到D和h的大致关系：

D＝-0.6927h+292.2

在实际应用中，由于人的高度H会变化，以及检测框在检测时也存在一定的误差，将通过不等式来筛选数据：

-0.6936h+223.68＜D＜-0.6916h+352.95

通过对ETH训练数据集的数据进行函数拟合，得到D和h的大致关系：

D＝-0.5675h+238.3

在实际应用中，通过不等式来筛选数据：

-0.8079h+212.31＜D＜-0.5261h+260.59

第三步、根据训练集数据获得行人的高度与宽度的关系。

行人的宽高比会随着行人的动作变化而改变。因此可以通过不等式来筛选数据：

其中，w为检测框的宽度，h为检测框的高度，rmin、rmax分别为宽高比的最小值和最大值。

通过对训练数据集的数据进行分析，可以发现行人宽高比的平均值约为0.41，行人宽高比的最小值为0.165，最大值为1，即不等式为：

第四步、将前三步推得的三个几何约束条件运用到检测中，提高检测效率。

三个几何约束条件是指：

对Caltech-USA训练数据集来说，几何约束条件为：

对ETH训练数据集来说，几何约束条件为：

其中，w为检测框的宽度，h为检测框的高度，D为检测框距图像底端的距离。

本实施例的工作原理为，现有的LDCF行人检测算法是一个误检率较高、漏检率较低的行人检测算法。检测框常见的几何错误有三种：检测框位于地平线上，因而这些检测框大多是错误的(如图2(a)所示)；检测框的宽度过窄或过宽，不满足行人的动作特点(如图2(b)所示)；检测框的高度与行人距离摄像头的距离不符合近大远小的规律，如距离摄像头较远的行人高度过高(如图2(c)所示)，或者距离摄像头较近的行人高度过矮(如图2(d)所示)。通过几何约束，可以去除掉这一部分不合理的检测盒，从而降低该算法的误检率。

实施例2：

设抑制窗口BB_u检测分数为s_u，高度为h_u，被抑制的窗口BB_d的检测分数为s_d,高度为hd,则动态重合面积阈值threshold。

本实施例包括以下步骤：

第一步、我们目的是当被抑制窗口尺度小于抑制窗口时，应该进行更严格地抑制，降低重合面积阈值可以抑制这类误检窗口。重合面积的阈值应与尺度比成正相关关系，因此估算检测分数比sd/su和检测对象尺度比hd/hu的阈值α，δ。

第二步、总结出动态阈值的公式如下：

其中0.65为原算法设定的固定的重合面积阈值。δ＝0.75为高度比hd/hu的转折点，α＝0.7为检测分数比sd/su的转折点。当sd/su<α且hd/hu<δ时，我们认为BBd可能是BBu的腿部、手臂等区域，应采用动态的更小的阈值抑制。当hd/hu<δ但sd/su>α时我们认为BBd可能是BBu附近小尺度的行人，不采用动态阈值抑制。

第三步、修改原NMS算法，引入保留外围窗口的非极大抑制策略。当前抑制窗口BBu的区域完全被被抑制窗口BBd所包围，且二者的检测分数差异极小:sd/su>β(这里β取0.86)，则将BBu作为误检窗口剔除，而将BBd保留下来，且将BBu的检测分数赋值给BBd。，不过BBu此时仍然一直其他未被抑制的低分窗口，知道本轮循环结束。

第四步、修改原NMS算法，引入激活机制的非极大抑制策略。第三步引入的保留外围窗口的非极大抑制策略一定程度上具有激活功能，理论上能够减少漏检和误检窗口，因此，我们在这里进一步取消被抑制窗口是否已经被抑制的检查过程，使得所有分数比当前一直窗口低的初始检测窗口都暻秀保留外围窗口的非极大抑制，激活一些已经被抑制过但是无法被当前抑制窗口抑制的检测窗口。

第五步、分别将前面两种改进(第三种需要和第二种配合使用)应用到实际检测中，观察效果。并将三种改进的组合改进算法应用到实际检测中，观察检测效果，取效果最好的组合方案。

本创新工作的原理是，(1)LDCF原始的非极大抑制过程中容易抑制尺度相近的检测窗口，而难以抑制尺度相差较大的窗口，一些主要来自行人腿、手臂等与行人类似地柱状区域会被误检处理而无法被抑制(如图4(a))，引入尺度比信息使原来的固定阈值变为动态阈值可以有效解决这个问题。(2)LDCF贪心保留检测分数最高的检测窗口，实际情况下由于行人的遮挡、姿态等影响，使得检测分数稍低的检测窗口可能与真实行人更匹配。因此，我们在抑制窗口完全包含于被抑制窗口且二者检测分数相差不大的情况下保留外围窗口。(3)原算法一个窗口被抑制就会被判定为误检窗口，就不会被再次被抑制，我们引进的保留外围窗口策略具有一定的激活功能，因此，我们进一步的取消了被抑制窗口是否已经被抑制的检查，使得所有分数比当前抑制窗口低的初始检测窗口，都能进行保留外围窗口的非极大抑制。

实施效果

依据上述步骤，我们对Caltech-USA测试数据集进行了测试，该测试集包含66个视频，不进行几何约束时，得到了161731个检测框。仅对地平线的高度进行约束后，保留下121362个检测框，比例为75.04％；仅对行人的宽高比进行约束后，保留下159952个检测框，比例为98.90％；仅对行人的高度和距摄像头的距离进行约束后，保留下114406个检测框，比例为70.74％；同时使用三个条件进行约束，保留下107141个检测框，比例为66.25％，即约束掉了33.75％的检测框。Miss rate(误检率)从31.0848％下降到22.6487％。

依据上述实验步骤，我们将对原始非极大抑制的集中改进应用到toolbox中的非极大抑制函数中，在Caltech-USA部分数据集进行了测试，仅引入尺度比信息的非极大抑制算法比原始算法的miss rate能够降低1.1918％，引入保留外围窗口和激活机制的非极大抑制算法能够比原来MR降低1.2913％，组合引入尺度比信息、保留外围窗口和激活机制的非极大抑制算法能比原始的MR降低1.7768％。

这一实验表明，本实施例的行人检测优化算法能有效地降低误检率，提高检测准确度。