基于快速多尺度及联合模板匹配的多目标行人检测方法与流程

本发明属于图像预处理技术领域，尤其涉及一种基于快速多尺度及联合模板匹配的多目标行人检测方法。

背景技术：

目前，业内常用的现有技术是这样的：视觉是人类从物体发射或反射的光中提取有效信息的过程，是人类感知和认识世界的重要途径。人的视网膜可以接收不同波长的可见光，通过感光细胞将其转换为图像，从而实现从环境中获取物体信息的功能。计算机智能视觉，或称机器视觉，就是借助各种成像设备和相应机器算法，研究使用机器设备代替人工实现对图像目标的特征提取，并作进一步实现目标检测、跟踪、测量和分析等图像处理工作的科学。目标检测是选择高效算法提取目标对象特征，通过合适的机器学习算法对给定样本数据进行训练后，得到能够有效检测待定目标的模型，并以此模型在图像中准确地检测并定位目标对象的一门技术，一直是非常热门且充满挑战性的研究课题。其中行人检测就是把人从复杂背景中区分出来并加以定位的过程，是行人跟踪及行为分析等工作的前提，又因其非刚性特点而使行人检测相比其他类的目标更加困难。在实际检测场景中，光照以及各个行人不同外观衣着，不同姿态形状以及行人被遮挡等情况都会对最后的检测结果造成影响。行人检测算法主要面临几个关键问题：(1)多变的客观环境条件：其一，在不同的光照条件下，计算机往往无法辨别出哪些是光照引起的阴影或失真，哪些是真正的行人信息。其二，背景条件越复杂，获取行人的特征及相关信息难度大；(2)行人自身的各种形变和遮挡：当行人姿态变化比较大以及行人与行人之间、行人与背景之间发生遮挡时，这种情况下计算机提取的行人信息减少，很难对行人目标进行检测。

综上所述，现有技术存在的问题是：现有的行人检测算法存在检测速度慢，难对行人目标进行检测。

解决上述技术问题的难度和意义：行人检测的研究涉及到图像处理、计算机视觉、模式识别、机器学习等多个学科领域的知识。该技术已不仅限于智能交通和自动辅助驾驶领域，在智能机器人开发、人体行为分析、军事侦查等领域均具有广泛的应用价值。由于图像背景复杂，行人轮廓形变，遮挡等问题增加了行人检测研究和创新的难度。克服这些困难，不断进步的行人检测技术同时促进了模式识别和计算机视觉等相关领域的发展，对许多课题的研究与推广具有相互促进相互带动的深远意义。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于快速多尺度及联合模板匹配的多目标行人检测方法。

本发明是这样实现的，一种基于快速多尺度及联合模板匹配的多目标行人检测方法，所述基于快速多尺度及联合模板匹配的多目标行人检测方法包括：

(1)在图像特征金字塔构建过程中使用快速特征金字塔模型；快速特征金字塔模型为：

其中s为采样的尺度，c为原始尺度下的级联特征，λω为级联特征c对应的特征常数；

(2)在图像特征提取过程中使用主能量方向搜索模型确定目标的主能量方向以及尺度，接下来提取目标的gabor特征；使用3个尺度(λ＝8,λ＝9,λ＝10)，8个方向(θ＝-6,θ＝-4,θ＝-2,θ＝0,θ＝2,θ＝4,θ＝6,θ＝8)共24个滤波器构成的gabor滤波器组，根据滤波器响应幅值确定目标的主能量方向以及尺度。

进一步，所述提取目标的gabor特征，gabor核函数由高斯核函数和复指数函数构成，公式如下：

其中，x'＝xcosθ+ysinθ；y'＝-xsinθ+ycosθ；

λ和θ分别表示尺度和方向，表示相位，σ表示方差，γ表示椭圆率。

进一步，所述基于快速多尺度及联合模板匹配的多目标行人检测方法具体包括：

步骤一，输入待检测图像i(x,y)；

步骤二，使用主能量方向搜索算法搜索待检测图像i(x,y)的主能量方向，使用3个尺度(λ＝8,λ＝9,λ＝10)，8个方向(θ＝-6,θ＝-4,θ＝-2,θ＝0,θ＝2,θ＝4,θ＝6,θ＝8)共24个滤波器构成的gabor滤波器组，根据滤波器响应幅值确定目标的主能量方向以及尺度；

步骤三，根据目标的主能量方向以及尺度提取目标的gabor特征，gabor核函数由高斯核函数和复指数函数构成，公式如下：

其中，x'＝xcosθ+ysinθ；y'＝-xsinθ+ycosθ；

λ和θ分别表示尺度和方向，表示相位，σ表示方差，γ表示椭圆率；

步骤四，提取目标的方向梯度直方图特征，使用[-101]梯度算子对图像做卷积运算得到水平方向的梯度分量，使用[10-1]^t梯度算子对图像做卷积运算得到竖直方向梯度分量，计算图像中每个像素点的梯度以及方向，公式如下：

gx(x,y)＝h(x+1,y)-h(x-1,y)；

gy(x,y)＝h(x,y+1)-h(x,y-1)；

其中gx(x,y)，gy(x,y)，h(x,y)分别表示x方向梯度、y方向梯度、(x,y)处的像素值，像素点(x,y)处的梯度幅值以及方向分别为：

步骤五，将提取的hog特征与gabor特征级联，得到目标的级联特征，建立级联特征快速金字塔，公式如下：

其中s为采样的尺度，c为原始尺度下的级联特征，λω为级联特征c对应的特征常数；

步骤六，使用已训练好的模型计算图像在不同窗口处的得分；

步骤七，第0个滤波器的总得分为根滤波器得分加上部件滤波器得分，公式如下：

其中，p0(x0,y0,l0)表示第0个滤波器在级联特征金字塔中的位置坐标，(x0,y0)表示根滤波器左上角在第l0层特征图上的位置，vi是部件滤波器i的锚点相对于根滤波器位置的偏移，λ表示在特征金字塔中为了获得某两层的分辨率需要向下走的层数，b表示偏差实数；

步骤八，目标的位置对应于n个滤波器中得分高于阈值的位置，公式如下：

其中，

pi＝(xi,yi,li)指定第i个滤波器在级联特征金字塔中的位置；

步骤九，将得分高于阈值的检测窗口按照得分由大到小排序，采用非极大值抑制筛选出关于目标的得分最高且无重叠的检测结果。

进一步，所述步骤六具体包括：

(1)使用窗口滑动方法遍历级联特征金字塔，滑窗步长s＝8，将已训练好的根滤波器与当前窗口内特征向量做卷积，计算根滤波器得分，公式如下：

ri,l＝fi'·φ(h,(x,y,l))；

其中，fi表示表示训练好的第i个滤波器，h表示图像的级联特征金字塔，(x,y,l)分别表示级联特征金字塔每个像素的横坐标、纵坐标、层坐标；

(2)将已训练好的部件滤波器与当前窗口内特征向量做卷积，计算部件滤波器得分，公式如下：

其中，di是一个四维向量，表示部件的所有可能位置相对于锚点位置的形变花费；

(dx,dy)＝(x,y)-(2(x0,y0)+v)为部件相对于其锚点位置的偏移；φd(dx,dy)＝(dx,dy,dx²,dy²)表示变形特征，如果di＝(0,0,1,1)，则形变花费即为第i个滤波器的位置与锚点位置之间的距离的平方。

本发明的另一目的在于提供一种应用所述基于快速多尺度及联合模板匹配的多目标行人检测方法的智能交通控制系统。

本发明的另一目的在于提供一种应用所述基于快速多尺度及联合模板匹配的多目标行人检测方法的机器人导航控制系统。

本发明的另一目的在于提供一种应用所述基于快速多尺度及联合模板匹配的多目标行人检测方法的智能视频监控控制系统。

综上所述，本发明的优点及积极效果为：本发明快速特征金字塔模型和主能量方向搜索以及gabor特征提取。快速特征金字塔模型首先计算金字塔中某些中间层的图像特征，再以这些中间层特征估计金字塔中其余层的特征。通过这样的方式大大化简了计算的复杂度。主能量方向搜索使用3个尺度、8个方向共24组的gabor滤波器组，根据滤波器响应的幅值确定目标的主能量方向以及尺度。在原有特征的基础上，通过使用gabor函数提取目标的方向特征，更加丰富了对目标的描述。本发明可用于智能交通，机器人导航、智能视频监控等领域。

本发明通过快速特征金字塔模型大大的简化了计算的复杂度，将运行速度提高了17％；本发明通过主能量方向搜索确定了目标的主能量方向以及尺度，在原有特征的基础上增加了gabor特征，gabor特征充分的描述了目标的方向以及尺度特征。通过增加gabor特征，有效的抑制了背景的干扰。

附图说明

图1是本发明实施例提供的基于快速多尺度及联合模板匹配的多目标行人检测方法流程图。

图2是本发明实施例提供的基于快速多尺度及联合模板匹配的多目标行人检测方法实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明只在解决现有的行人检测算法存在检测速度慢，难对行人目标进行检测的问题。本发明快速特征金字塔模型和主能量方向搜索以及gabor特征提取。快速特征金字塔模型首先计算金字塔中某些中间层的图像特征，再以这些中间层特征估计金字塔中其余层的特征；通过这样的方式大大化简了计算的复杂度。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于快速多尺度及联合模板匹配的多目标行人检测方法包括以下步骤：

s101：输入待检测图像；使用主能量方向搜索模型确定目标的主能量方向以及尺度，提取目标的gabor特征；

s102：提取目标的hog特征；将hog特征与gabor特征级联，建立快速级联特征金字塔；

s103：分别计算根滤波器和部件滤波器得分；计算综合模型得分；非极大值抑制滤除重复结果；得到最终检测结果。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，本发明实施例提供的基于快速多尺度及联合模板匹配的多目标行人检测方法包括以下步骤：

步骤1，输入待检测图像i(x,y)；

步骤2，使用主能量方向搜索算法搜索待检测图像i(x,y)的主能量方向，使用3个尺度(λ＝8,λ＝9,λ＝10)，8个方向(θ＝-6,θ＝-4,θ＝-2,θ＝0,θ＝2,θ＝4,θ＝6,θ＝8)共24个滤波器构成的gabor滤波器组，得到24组响应图，响应图幅值的大小表示目标能量的高低。响应图幅值越大的地方目标的能量越高，幅值越小的地方目标的能量越低，根据滤波器响应幅值大小与阈值的关系确定目标的主能量方向以及尺度。

步骤3，根据目标的主能量方向以及尺度提取目标的gabor特征，gabor核函数由高斯核函数和复指数函数构成，公式如下：

其中，x'＝xcosθ+ysinθ；y'＝-xsinθ+ycosθ。

λ和θ分别表示尺度和方向，表示相位，σ表示方差，γ表示椭圆率。

步骤4，提取目标的方向梯度直方图(hog)特征，使用[-101]梯度算子对图像做卷积运算得到水平方向的梯度分量，使用[10-1]^t梯度算子对图像做卷积运算得到竖直方向梯度分量，计算图像中每个像素点的梯度以及方向，公式如下：

gx(x,y)＝h(x+1,y)-h(x-1,y)；

gy(x,y)＝h(x,y+1)-h(x,y-1)；

其中gx(x,y)，gy(x,y)，h(x,y)分别表示x方向梯度、y方向梯度、(x,y)处的像素值，像素点(x,y)处的梯度幅值以及方向分别为：

设有p个方向通道，将每个像素点的梯度方向离散到p个通道中的一个，可以得到：对比度敏感方向范围b1为(0-360)，相对方向的两通道的像素点具有不同的梯度值，对比度不敏感方向范围b2为(0-180)，相对方向的两通道的像素点具有相同的梯度值，公式如下：

本发明中p＝9，使用9个对比度不敏感方向特征，18个对比度敏感方向特征以及反映cell周围区域梯度能量的4个特征，最终得到31维特征；

步骤5，将提取的hog特征与gabor特征级联，得到目标的级联特征，建立级联特征快速金字塔，公式如下：

其中s为采样的尺度，c为原始尺度下的级联特征，λω为级联特征c对应的特征常数；

步骤6，使用已训练好的模型计算图像在不同窗口处的得分，步骤如下：6a)使用窗口滑动方法遍历级联特征金字塔，滑窗步长s＝8，将已训练好的根滤波器与当前窗口内特征向量做卷积，计算根滤波器得分，公式如下：

ri,l＝fi'·φ(h,(x,y,l))；

其中，fi表示表示训练好的第i个滤波器，h表示图像的级联特征金字塔，(x,y,l)分别表示级联特征金字塔每个像素的横坐标、纵坐标、层坐标；

6b)将已训练好的部件滤波器与当前窗口内特征向量做卷积，计算部件滤波器得分，公式如下：

其中，di是一个四维向量，表示部件的所有可能位置相对于锚点位置的形变花费；(dx,dy)＝(x,y)-(2(x0,y0)+v)为部件相对于其锚点位置的偏移；φd(dx,dy)＝(dx,dy,dx²,dy²)表示变形特征，如果di＝(0,0,1,1)，则形变花费即为第i个滤波器的位置与锚点位置之间的距离的平方。

步骤7，第0个滤波器的总得分为根滤波器得分加上部件滤波器得分，公式如下：

其中，p0(x0,y0,l0)表示第0个滤波器在级联特征金字塔中的位置坐标，(x0,y0)表示根滤波器左上角在第l0层特征图上的位置，vi是部件滤波器i的锚点相对于根滤波器位置的偏移，λ表示在特征金字塔中为了获得某两层的分辨率需要向下走的层数，b表示偏差实数；

步骤8，目标的位置对应于n个滤波器中得分高于阈值的位置，公式如下：

其中，

pi＝(xi,yi,li)指定第i个滤波器在级联特征金字塔中的位置；

步骤9，将得分高于阈值的检测窗口按照得分由大到小排序，采用非极大值抑制(nms)筛选出关于目标的得分最高且无重叠的检测结果。

下面结合仿真实验对本发明的应用效果做详细的描述。

1、仿真条件

在中央处理器为intel(r)corei7-4790k4.0ghz、内存32g、64位windows7操作系统的pc上，运用matlab2016a进行的仿真实验。

2、仿真实验内容

仿真1，采用原始方法对分别对mot16-07数据集以及实际拍摄视频进行检测。

仿真2，采用本发明方法分别对mot16-07数据集以及实际拍摄视频进行检测。

本实验选择了两个数据集做目标检测结果的验证，两个数据集样本的大小均为1920×1080。

3、仿真实验结果及分析

采用原始方法在mot16-07数据集000001-000004帧的检测结果；采用原始方法在实际拍摄视频00001-00004帧的检测结果；

采用本发明方法在mot16-07数据集000001-000004帧的检测结果；采用本发明方法在实际拍摄视频00001-00004帧的检测结果；

表1给出了原始方法和本发明方法在mot16-07数据集上的运行速度对比结果；

表1原始方法和本发明方法在mot16-07数据集上运行速度对比

通过表格数据可以看出，相比于原始方法，本发明在保证检测率的前提下明显提升了算法的运行速度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。