专利名称：基于多特征和深度信息的人体检测方法
技术领域：
本发明属于计算机视觉与模式识别技术领域，涉及人体检测方法，可用于对图像中的人体及其它复杂目标的检测。
背景技术：
人体检测在计算机视觉中有许多重要的应用，如视频监控、智能汽车及智能交通、机器人和高级人机交互等。然而，由于人体自身姿态的变化、衣服的多样性和光照等因素的影响，人体的外观变化非常大，导致人体检测成为一个非常困难的问题。目前，图像中人体检测的方法主要有基于人体模型的方法、基于模板匹配的方法和基于统计分类的方法。基于人体模型的方法，有明确的模型，可以处理遮挡问题，并且可以推断出人体的姿态。缺点是模型的构建比较难，求解也比较复杂。基于模板匹配的方法计算简单，缺点是由于人体姿态的复杂性，很难构造出足够的模板以处理不同的姿态。基于统计分类的方法，首先从训练样本中提取特征，该特征包括Haar小波特征、形状描述符特征、Gabor特征、有向梯度直方图HOG特征，SIFT特征和LBP特征；然后将这些特征输入到分类器中训练，得到一个分类器，常见的分类器包括:贝叶斯分类器、支持向量机SVM和Adaboost。检测时，将每个滑动窗口的特征送到训练好的分类器中，得到一个输出值，根据输出结果判断是否包含人体。这种基于统计分类方法的优点是比较鲁棒，缺点是提取的单个特征只能描述物体的某一种特性，表征能力有限，影响分类器的性能，存在漏检或者虚景的问题。
发明内容
本发明目的是针对上述已有技术的不足，提出一种基于多特征和深度信息的人体检测方法，以进一步提高人体检测的正确率，减少虚景。本发明的技术方案通过如下步骤实现:(I)提取CVC-02数据库中所有训练样本图像的有向梯度直方图特征H，并计算该有向梯度直方图特征H的核矩阵Kh ；(2)提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵Ku ；(3)利用多核学习MKL算法对步骤⑴得到的有向梯度直方图特征H的核矩阵Kh和步骤(2)得到的均匀局部二值模式特征U的核矩阵Ku进行分类训练，得到用于检测的多核分类器；(4)从CVC-02数据库中提取出待检测的图像，输入到步骤(3)得到的多核分类器中，将分类器分数大于O的所有扫描窗口标记为初步人体窗口 ；(5)利用景深信息从步骤⑷得到的初步人体窗口中去除分类器分数大于O的背景窗口，得到最终的人体窗口 ；
(6)对最终的人体窗口进行组合，形成最终的人体检测结果。本发明与现有的技术相比具有以下优点:1、由于本发明提取了基于梯度的有向梯度直方图特征和表征纹理的均匀局部二值模式特征来描述人体，使得融合后的特征更具有表征能力。2、由于本发明是在多核学习的框架下融合两种不同的特征，使得分类器具有更高的正确率。3、由于本发明中利用景深信息去除背景窗口，使得人体检测的虚景率降低。
图1是本发明的流程示意图；图2是本发明仿真使用的部分正样本图像；图3是本发明仿真使用的部分负样本图像；图4是用本发明与现有方法得到的人体检测结果比较图。
具体实施例方式参照图1，本发明的具体实施如下:步骤一，提取CVC-02数据库中所有训练样本图像的有向梯度直方图特征H，并计算该有向梯度直方图特征H的核矩阵KH。(Ia)提取所有训练样本图像的有向梯度直方图特征H ；(Ial)对第i幅训练样本图像进行边缘检测，得到图像中每个像素的边缘强度和边缘方向，其中，ie [1，η]，η为训练样本数；(la2)将图像分成大小为8 X 8互不重叠的格子，将O 180度分成九个方向通道，将每个格子内的像素对其所属的通道投票，投票的权值为该像素的边缘强度；(la3)将相邻的四个格子组成一个块，且每个块之间有-的重叠，对每个块进行归一化；(la4)将归一化后的所有块串接起来，构成第i幅训练样本的有向梯度直方图特征Hi ；(la5)重复步骤(Ial) -(la4)，提取所有训练样本图像的有向梯度直方图特征H:H = IH1...，H1-，HJ，i e [I, η]，η 为训练样本数；(Ib)使用核函数计算所有训练样本图像的有向梯度直方图特征H的核矩阵Kh ；常用的核函数有:线性核函数，多项式核函数，径向基核函数，Sigmoid核函数和
高斯核函数。本发明中使用多项式核函数:计算所有训练样本图像
的有向梯度直方图特征H的核矩阵Kh，其中Hp和Hq分别为均匀局部二值模式特征H的第P列向量和第q列向量，P e [l，n]，qe [1，η]，符号T表示向量的转置，指数d = 3，第一个系数Y = 1，第二个系数c = O。步骤二，提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵Ku。(2a)提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U ；
(2al)将CVC-02数据库中第j幅训练样本分割为8 X 8像素大小的块，j e [I, η]，η为训练样本数；(2a2)将每个块的左上角的一个大小为3 X 3像素的区域作为一个窗口，向右平移I个像素或向下平移I个像素作为一个新的窗口，由此得到一组窗口 ；(2a3)对于其中的任意一个窗口 W，以位于窗口 W中心的像素值g。为阈值，用中心像素值g。与窗口 W中其余的8个像素值依次作比较，若位于中心的像素值g。大于与它相邻的像素值，则标记为1，否则标记为0，这样得到一组8位的二进制码作为窗口 W的编码；(2a4)将块中满足条件:0与I之间转换次数小于等于2的二进制码转换成十进制数，作为块的编码值；(2a5)将每个块中的编码值进行直方图统计，并归一化，得到每个块的均匀局部二值模式特征；(2a6)将所有块的均匀局部二值模式特征级联后，作为第j幅图像的均匀局部二值模式特征Uj, j e [I, η]，η为训练样本数；(2a7)重复步骤(2al)-(2a6)，提取所有训练样本图像的均匀局部二值模式特征U，其中 U= (U1-, Uj-, UJ, j e [1，η]，η 为训练样本数；(2b)按照公式:
权利要求
1.一种基于多特征和深度信息的人体检测方法，包括如下步骤: (1)提取CVC-02数据库中所有训练样本图像的有向梯度直方图特征H，并计算该有向梯度直方图特征H的核矩阵Kh ； (2)提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵Ku ； (3)利用多核学习MKL算法对步骤(I)得到的有向梯度直方图特征H的核矩阵Kh和步骤(2)得到的均匀局部二值模式特征U的核矩阵Ku进行分类训练，得到用于检测的多核分类器； (4)从CVC-02数据库中提取出待检测的图像，输入到步骤(3)得到的多核分类器中，将分类器分数大于O的所有扫描窗口标记为初步人体窗口 ； (5)利用景深信息从步骤(4)得到的初步人体窗口中去除分类器分数大于O的背景窗口，得到最终的人体窗口 ； (6)对最终的人体窗口进行组合，形成最终的人体检测结果。
2.根据权利要求1所述方法，其中步骤(2)中所述的提取CVC-02数据库中所有训练样本图像的均匀局部二值模式特征U，并计算该均匀局部二值模式特征U的核矩阵Ku,按如下步骤进行: (2a)将第j幅训练样本分割为8X8像素大小的块，提取每个块的均匀局部二值模式特征作为第j幅图像的均勻局部二值模式特征Uj,其中，Uj = [u!---,ut---,um]T, t e [I, m], m为从第j幅图像中提取的均匀局部二值模式特征维数，符号T表示向量的转置； (2b)按照步骤(2a)提取所有训练样本图像的均匀局部二值模式特征U，其中，U ={^…，U,..，UJ，j e [I, η], η为训练样本数； (2c)按照公式=Ku =(产计算得到所有训练样本图像的均匀局部二值模式特征U的核矩阵Ku，其中Up和Uq分别为均匀局部二值模式特征U的第P列向量和第q列向量，P e [l，n]，qe [1，η]，符号T表示向量的转置，指数d为设定的正整数，第一个系数Y和第二个系数c均为设定的任意值。
3.根据权利要求1所述方法，其中步骤(5)中所述的利用景深信息从步骤(4)得到的初步人体窗口中去除分类器分数大于O的背景窗口，得到最终的人体窗口，按如下步骤进行: (5a)将步骤(4)得到的人体窗口对应到相应的深度图像上，深度图像由CVC-02数据库提供； (5b)对每个窗口的深度图像进行直方图统计，找出最大百分比Pm的深度值dm，在深度图像中找出比深度值Cl111小的所有深度值的最大深度值Clnil,在深度图像中找出比深度值Clni大的所有深度值的最小深度值Clni2 ； (5c)计算最大百分比的深度值dm，最大深度值dml及最小深度值dm2所占的百分比和si: Si = Pm+Pml+Pm2， 其中Pnil为最大深度值Clnil在深度图像中占的百分比，Pm2为最小深度值Clnl2在深度图像中所占的百分比；(5d)将步骤(5c)得到的百分比和si小于阈值th = 45%的初步人体窗口删除，保留剩余的初步人体窗口，作为最终的人体窗口。
4.根据权利要求1所述方法，其中步骤(6)中所述的对最终的人体窗口进行组合，形成最终的人体检测结果，按如下步骤进行: (6a)从最终的人体窗口中，找出分类器分数最高的窗口作为主窗口 ； (6b)将与主窗口重叠大于y的人体窗口和主窗口的边界进行加权组合，得到加权组合后的组合窗口； (6c)保留步骤(6b)得到的加权组合后的组合窗口，将步骤(6b)中参与组合的人体窗口从步骤(6a)中的最终的人体窗口中删除； (6d)若将步骤(6b)中参与组合的人体窗口从步骤(5d)得到的最终的人体窗口中删除后，还有人体窗口剩余，则再从剩余的人体窗口中找出分类器分数最高的人体窗口作为主窗口，并重复步骤(6b)-(6c)； (6e)在被检测人体图像上标出所有加权组合后的组合窗口，作为被测图像最终的人体检测结果，采用矩形框表 示检测结果，被检测出的人体处于矩形框内。
全文摘要
本发明提出了一种基于多特征和深度信息的人体检测方法，主要解决现有方法检测虚景率高的问题。其实现过程是计算CVC-02数据库中训练样本图像的有向梯度直方图特征的核函数和均匀局部二值模式特征的核函数；利用多核学习MKL算法对有向梯度直方图特征的核函数和均匀局部二值模式特征的核函数进行分类训练，得到用于检测的多核分类器；将待检测图像的有向梯度直方图特征的核函数和均匀局部二值模式特征的核函数输入到多核分类器中，得到各个扫描窗口的分类器分数；利用景深信息去除分类器分数大于0的背景窗口；对最终的人体窗口进行组合，得到最终的人体检测结果。本发明具有检测正确率高，虚景率低的优点，可用于视频中的行人检测。
文档编号G06K9/46GK103186776SQ201310116469
公开日2013年7月3日 申请日期2013年4月3日 优先权日2013年4月3日
发明者韩红, 焦李成, 顾建银, 李阳阳, 马文萍, 马晶晶, 尚荣华 申请人:西安电子科技大学