一种基于改进HOG‑SSLBP的行人检测方法与流程

本发明涉及计算机视觉和模型识别技术领域，尤其涉及一种基于改进hog-sslbp的行人检测方法。

背景技术：

行人检测作为物体检测技术的一种，已经在汽车驾驶辅助、视频监控系统和基于内容的视频检索等方面得到广泛的应用。行人检测可看作是特征提取和分类器设计相结合的过程，目的是从一个未知的视频或图像中，自动分析并检测出其中存在的行人。采用行人检测的智能图像信息分析技术，可有效处理与目标检测相关的图像理解和模式识别中的不确定性问题。

目前，较为经典的行人检测方法有hog描述子与svm分类器结合的行人检测方法，利用可变部件模型(deformalpartmodels，dpm)检测粘连现象严重的行人的方法以及基于hog-lbp特征的行人检测方法。使用hog及其改进的方法取得了较大的成功。hog与lbp融合作为特征进行行人检测，弥补了单独使用lbp特征进行图像描述造成的边缘方向信息缺失的缺陷。hof和局部自相似性特征进行图像描述，使用hiksvm分类器进行行人检测，提高了算法的精度和实时性。

局部二值模式(lbp)作为一种描述图像局部纹理特征的算子，用于提取纹理特征时，具有旋转不变性和灰度不变性等显著优点，且提取的特征是图像局部的纹理特征。但存在特征谱维数较高，对光照、旋转和尺度鲁棒性差等缺陷。

hog描述子生成过程冗长，导致速度慢，实时性差，很难处理遮挡问题。由于梯度的性质，该描述子对噪点相当敏感。lbp及其改进的算子无法解决尺度变化问题，且存在特征谱维度较高，对噪声鲁棒性差等缺陷。

技术实现要素：

鉴于上述的分析，本发明旨在提供一种基于改进hog-sslbp的行人检测方法，用以解决现有行人检测方法无法解决尺度变化问题或实时性差的问题。

本发明的目的主要是通过以下技术方案实现的：

一种基于改进hog-sslbp的行人检测方法，具体包括以下步骤：

获取待检测图像序列；

提取上述图像序列的sslbp特征和hog特征并进行融合，得到融合特征；

利用训练好的hiksvm分类器对上述融合特征进行分类，获得行人检测结果。

本发明有益效果如下：

本发明采用将原始图像的尺度选择局部二值模式(sslbp)特征与hog特征融合的特征提取方法，提取图像特征。在对光照、噪声和旋转具有鲁棒性，保留原始图像纹理信息和边缘信息的同时；简单有效地解决了尺度问题，提高局部二值模式的尺度不变性，获得尺度不变特征提高了检测精度，且提取特征耗时较短，具有较高的实时性。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述提取图像序列的sslbp特征具体包括以下步骤：

使用clbp提取尺度敏感特征；

应用尺度选择方案对上述得到尺度敏感特征进行处理，获得sslbp特征。

采用上述进一步方案的有益效果是：

使用clbp提取尺度敏感特征，消除了旋转的影响。

进一步，所述尺度选择方案，具体包括以下步骤：

使用高斯滤波器获得图像的尺度空间；

构建上述尺度空间中仅包含主导模式的每个图像的局部模式直方图；

对于每个主导模式，选择不同尺度之间的最大发生频率；

利用上述选择的最大发生频率构建得到新的特征直方图，所述新的特征直方图作为图像的尺度不变特征。

进一步，所述主导模式通过以下步骤确定：

通过二维高斯滤波器得到训练样本集的尺度空间；

对于上述每个尺度空间中的图像，构建局部模式直方图；

对于每个模式，选择不同尺度之间的最大发生频率；

利用上述选择的最大发生频率构建得到新的特征直方图；

对上述得到的新的特征直方图进行降序分类，选择具有高平均频率的模式为主导模式。

进一步，所述hiksvm分类器，训练过程具体包括以下步骤：

输入训练样本集；

提取训练样本的sslbp特征和hog特征并进行融合，得到融合特征；

利用上述融合特征对hiksvm分类器进行训练。

进一步，所述提取训练样本的sslbp特征具体包括以下步骤：

使用clbp提取训练样本的尺度敏感特征；

应用尺度选择方案对上述得到的尺度敏感特征进行处理，获得训练样本的sslbp特征。

进一步，所述使用clbp提取尺度敏感特征，具体地，建立二维联合直方图“clbp_s/c”或“clbp_m/c”，作为尺度敏感特征。

进一步，所述提取hog特征具体包括以下步骤：

对待检测图像进行归一化处理；

利用一阶微分计算上述归一化处理后的图像的梯度；

基于上述计算得到的梯度幅值进行方向权重投影，得到特征向量；

对上述特征向量进行归一化处理，得到hog特征。

进一步，所述得到融合特征，具体地，将提取的待检测图像的sslbp特征和hog特征按串行融合。

采用上述进一步方案的有益效果是：

将两者图像特征融合，既不损失任何的纹理信息和边缘信息，又对光照、旋转、噪声和尺度具有鲁棒性。

进一步，对于得到的融合特征，使用主成分分析法降维。

采用上述进一步方案的有益效果是：

能够大幅降低特征维度，提升运算效率，提高行人检测的实时性。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1示出了基于改进hog-sslbp的行人检测方法的流程图。

图2示出了hog特征生成过程示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种基于改进hog-sslbp的行人检测方法。包括以下步骤：

步骤s1、获取待检测图像序列。

获取待检测的图像序列，并对图像进行预处理，提高待检测图像的质量。

步骤s2、使用改进的sslbp提取图像特征

具体地，使用clbp提取尺度敏感特征；应用尺度选择方案来获得sslbp特征。

步骤s201，使用clbp提取尺度敏感特征。

clbp是表征图像纹理的局部空间结构的灰度纹理算子。给出中心像素gc及其p个圆形均匀间隔的相邻的gp，其半径为r，p＝0，1，...，p-1。可以简单地计算gc和gp之间的差值，因为dp＝gp-gc。dp可以进一步分解成两个组成部分：

其中，为符号函数，mp为dp的幅值。

因此，三个算子被定义为：

clbp_cp，r＝t(gc，ci)

其中，t为阈值函数cm为对于图像的mp的平均值，ci为图像的平均灰度级别。可以得到clbp_sp，r与clbp_mp，r均可具有2^p个不同的值。由于clbp_c仅包含一个字节，所以它可以有两种值是旋转不变的。

为了消除旋转的影响，即为每个旋转不变模式分配唯一的标识符，旋转不变量clbp_s和clbp_m被定义为：

其中，ror(x，i)为在p字节数x上循环右移i次。远小于clbp_sp，r(clbp_mp，r)。

由于clbp_s、clbp_m和clbp_c产生二进制字符串且包含补充信息，通过建立一个二维联合直方图“clbp_s/c”或“clbp_m/c”，提取尺度敏感特征，以获取更多信息和避免巨大的维度问题。

步骤s202、应用尺度选择方案来获得sslbp，提取尺度不变特征。

当图像被放大或缩小时，仍然存在一种主导模式，但它将占据较大或较小的图像区域。即图像中的这种模式的百分比并没有改变，同时该模式的特征尺度也是如此。因此，通过发现模式的特征尺度并提取其在该尺度上的百分比，则可以实现尺度不变性。在本发明实施例中，通过确定尺度空间的主导模式，为lbp设计了一种新颖简单的尺度不变特征提取方法，包括以下步骤：通过分析训练集的尺度空间，应用训练阶段来找出主导模式；基于上述主导模式，提取训练和测试集的尺度不变特征。

所述通过分析训练集的尺度空间，应用训练阶段来找出主导模式。具体包括以下步骤：给出一个训练样本集，通过二维高斯滤波器得到尺度空间，构建出多尺度；对于每个尺度空间中的图像，构建局部模式直方图；对于每个模式，不同尺度之间的模式最大发生频率被保留以构建新的直方图，该直方图用作给定训练样本的尺度不变特征；选择整个训练集中具有高平均频率来确定主导模式。

所述尺度不变特征提取方法从学习和固定模式中提取频率信息，因此保留了包含重要信息的模式类型。对于两个图像i1和i2，根据上述方法将得到特征：和其中pa和pb是两种类型的主导模式。

具体地，对于上述得到的在不同尺度确定主导模式，具体包括以下步骤：

步骤s20201，对于训练样本集初始化一个模式直方图其中hs为旋转不变直方图的大小。所述训练样本集为：t＝{fi|i＝1，2，...，n}，其中fi为一个训练图像，n为训练集大小。

步骤s20202，对于上述训练样本集中的图像fi，通过二维高斯滤波器得到尺度空间。

具体地，gσ为用于构建尺度空间的具有标准偏差σ的二维高斯滤波器，基于gσ对于图像fi获取尺度空间sl。

式中，l为对于给定图像尺度空间的大小，

步骤s20203，对于上述得到的尺度空间sl，建立一个基于clbp_s/c的模式直方图

步骤s20204，选取上述模式直方图中模式的最大发生频率，构建图像fi的一个新直方图：

式中，0≤k≤hs-1，hs为旋转不变直方图的大小。

步骤s20205，将上述构建的一个新直方图的值累加到

式中，0≤k≤hs-1，hs为旋转不变直方图的大小。

步骤s20206，重复步骤s20202到步骤s20205步直至处理完训练样本中所有的图像。

步骤s20207，对上述得到的降序分类，最终得到对应于排序为前k个最大频率的k个模式k为对于clbp_s/c所学习的主导模式的数量。

对于在不同尺度确定主导模式的具体步骤与上述步骤类似，这里不再赘述。

步骤s203、通过确定主导模式后，提取测试图像序列的尺度不变特征。首先，给定一个样本，通过二维高斯滤波器获取尺度空间。然后，对于尺度空间中的每个图像，构建仅包含预先学习的主导模式的局部模式直方图。最后，对于每个主导模式，选择不同尺度的最大发生频率以构建新的特征直方图，提取尺度选择局部二值模式特征。

具体地，通过上述提取尺度选择局部二值模式特征，具体包括以下步骤：

步骤s20301，通过二维高斯滤波器获取给定样本的尺度空间，基于gσ对于图像i获取尺度空间sl，其中gσ为用于构建尺度空间的具有标准偏差σ的二维高斯滤波器。

步骤s20302，对于上述尺度空间sl建立一个基于clbp_s/c的模式直方图具体地，对于每一像素，首先基于clbp_s/c计算模式标签，若其模式标签不属于则此像素不会对有贡献。

步骤s20303，建立图像i的尺度选择特征：

式中，1≤k≤k。

通过提取尺度选择特征的具体方法过程与上述步骤相似，这里不再赘述。

将上述得到的两种特征级联，提取出图像的尺度不变特征：

传统方法中，多为提取局部或全局尺度的不变特征。从实施的角度来看，本发明提出的属于中间途径。本发明首先提取局部尺度变化特征，然后应用全局变换来实现尺度不变性。另一方面，从尺度空间的角度来看，本发明提出了一种新的方法。

步骤s3、使用方向梯度直方图提取特征

hog(histogramoforientedgradient)是一种解决人体目标检测的图像描述子，本实施中使用梯度方向直方图(histogramoforientedgradients，简称hog)特征来表达人体，提取人体的外形信息和运动信息，形成丰富的特征集。如图2所示，具体包括以下步骤：

步骤s301、对输入图像进行归一化处理。归一化图像的主要目的是提高检测器对光照的鲁棒性，颜色空间归一化就是对整幅图像的颜色信息作归一化处理从而减少不同光照及背景的影响，也为了提高检测的鲁棒性，引入图像gamma和颜色空间归一化作为特征提取的预处理手段。

步骤s302、利用一阶微分计算图像梯度。图像边缘是由图像局部特征包括灰度、颜色和纹理的突变导致的。一幅图像中相邻的像素点之间变化比较少，区域变化比较平坦，则梯度幅值就会比较小，反之，则梯度幅值就会比较大。梯度在图像中对应的就是其一阶导数。图像f(x，y)中任意像素点(x，y)的梯度为：

式中，gx是沿x方向上的梯度，gy是沿y方向上的梯度，x，y为像素点的横纵坐标值，梯度的幅值和方向角分别表示为：

式中，gx是沿x方向上的梯度，gy是沿y方向上的梯度，x，y为像素点的横纵坐标值。

因为模值的计算量较大，一般用如下公式近似求解：

式中，gx是沿x方向上的梯度，gy是沿y方向上的梯度。

本实施例中采用模板[-1，0，1]计算图像梯度以及方向，通过梯度模板计算水平和垂直方向的梯度分别如下：

式中，gx，gy和分别表示的是像素点(x，y)在水平方向上及垂直方向上的梯度，h(x，y)表示像素点(x，y)的灰度值，其梯度的幅值及方向计算公式如下：

对于梯度方向的范围限定，采用无符号的范围，故梯度方向可表示为：

步骤s303、基于像素本身梯度幅值的方向权重投影。

将整个目标窗口分成互不重叠大小相同的细胞单元(cell)，然后分别计算出每个cell的梯度信息，包括梯度大小和梯度方向。将像素的梯度方向在0-180°区间内平均划分为9个bins，超过9个时不仅检测性能没有明显的提高反而增加了检测运算量，每个cell内的像素为其所在的梯度方向直方图进行加权投票，加权的权值为像素本身的梯度幅值。

步骤s304、对特征向量进行归一化处理。

具体地，对局部细胞单元进行归一化处理，减少梯度幅值绝对值的大小容易受到前景与背景对比度及局部光照的影响，以得到较准确的检测效果。

将几个细胞单元(cell)组合成更大的块(block)，这时整幅图像就可看成是待检测窗口，将更大的块看成是滑动窗口，依次从左到右从上到下进行滑动，得到一些有重复细胞单元的块及一些相同细胞单元(cell)在不同块(block)中的梯度信息。

对上述块(block)信息分别作归一化处理，不同的细胞单元尺寸大小及不同块的尺寸大小会影响最终的检测效果。在本实施例中，块的大小取为3×3个单元格，单元格的大小取为6×6个像素，此时检测效果是最好的。块的尺寸太大时标准化的作用被削弱了从而导致错误率上升，而如果块的尺寸太小时，有用的信息反而会被过滤掉。

本实施例使用(ε是个很小的常数，避免分母为0)的归一化函数，对block块内的hog特征向量进行归一化，使特征向量空间对光照，阴影和边缘变化具有鲁棒性。

得到一个由β×ζ×η个数据组成的高维度向量，即为hog对于图像的描述向量，其中β表示每个cell中方向单元(bin)的个数，ζ和η分别表示block的个数以及一个block中cell的数目。

步骤s4、将上述得到的sslbp特征和hog特征进行融合。

设上述得到图像的sslbp特征向量表示为：x1＝[x11，x12，...，x1n]，该图像的hog特征向量表示为：x2＝[x21，x22，...，x2m]，则串行融合后的特征向量为：x＝[x11，x12，...，x1n，x21，x22，...，x2m]。

在获得原始图像的sslbp特征和原始图像的hog按串行融合的方式融合特征之后，即可得到最终的图像融合特征向量。

步骤s5、利用pca对上述得到融合特征向量进行降维处理。

在得到最终的图像融合特征向量后，使用主成分分析法(pca)对进行降维，以便减少计算量，提高检测的实时性。具体地，

给定m个d维空间样本x1，x2，...，xm，计算协方差矩阵：

式中，m为空间样本的个数

对上述协方差矩阵s进行分解，求出前k个最大的特征值对应的特征向量构成的矩阵uk＝[u1，u2，...，uk]，得到降维后的特征：

步骤s6、对上述降维后的特征使用训练好的hiksvm分类器进行分类，得到行人检测结果。

所述hiksvm分类器的训练过程为：输入训练样本集；提取训练样本的sslbp特征和hog特征并进行融合，得到融合特征；利用上述融合特征对hiksvm分类器进行训练。所述提取训练样本的sslbp特征和hog特征并进行融合，与上述所述内容中对测试图像提取sslbp特征和hog特征并进行融合相关步骤类似，这里对具体的内容不再赘述。将训练好的hiksvm分类器用于上述降维后得到的特征分类，得到图像的行人检测结果。

综上所述，本发明实施例提供了一种基于改进hog-sslbp的行人检测方法，使用融合hog和sslbp的图像描述子，增强了尺度不变性和旋转不变性，对光照、旋转、噪声和尺度具有很好的鲁棒性，提高了检测精度；同时使用了pca降维，在保留原始图像纹理信息和边缘信息的同时，能大幅降低特征维度，提升运算效率，提高了行人检测的实时性。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。