专利名称：一种实时鲁棒的针对特定场景的行人检测方法
技术领域：
本发明涉及一种实时鲁棒的针对特定场景的行人检测方法，属于计算机视觉识别 技术领域。
背景技术：
视频中的目标检测技术是数字视频处理和计算机视觉的重要研究领域之一，同时 也是智能视频监控等关键应用中的核心技术，因为目标检测是后续目标跟踪和目标识别等 重要技术的基础。而行人检测在目标检测中属于典型并且较难的部分，因为行人是非刚体， 行人运动有很大的灵活性，所以行人检测技术在整个目标检测中有很重要的研究意义和应 用价值。
现有的行人检测技术主要分为两个方面基于运动目标信息和基于模板匹配。
基于运动目标信息的行人检测技术主要应用背景差分方法，从视频中找出运动的 行人。因为背景差分算法的在运动检测方面表现出的较好的鲁棒性和较低算法复杂度，即 用当前图像帧减去背景模型，得到的就是前景目标区域。但是背景差分方法并不能判断出 找到的运动目标是人或是别的目标。
基于模板匹配的方法在行人检测中用的很多，主要分为两类基于滑动窗和基于 部分行人模板匹配。这两类方法的共同点式都要进行行人的特征提取，训练出一个行人特 征模型，然后去视频中匹配行人目标。区别在于基于滑动窗的方法是以整个行人为目标在 视频中搜索匹配；而基于部分行人模板匹配的方法是把行人分解为各个肢体部分分别训练 得到匹配模型，然后各个肢体部分都需要在视频中搜索匹配。基于滑动窗的方法的优点是 速度较快，适合在实际中应用，缺点是容易受到行人目标互相遮挡的影响；基于部分行人模 板匹配的方法的优点是对遮挡表现出鲁棒性，但是速度上不如基于滑动窗的方法。发明内容
本发明要解决的技术问题是克服现有的缺陷，提供一种实时鲁棒的针对特定场景 的行人检测方法。
为了解决上述技术问题，本发明提供了如下的技术方案一种实时鲁棒的针对特 定场景的行人检测方法，在特定场景中使用位置固定的摄像机对实时环境进行视频采集， 将实时采集到的视频信息采用背景差分的方法进行预处理，来获得实施视频中可移动物体 的视频信息，以预处理过的视频信息中的各个可移动物体为中心来标定滑动窗，用支持向 量机行人分类器来对滑动窗内的图像信息进行检测匹配出行人；其中，所述的支持向量机 行人分类器的特征建模训练包括下列步骤1)特征提取，在特定场景的不同环境中采集不同角度、不同姿态和形态特征的头肩图 像；对获得的头肩图像进行特征处理来获得头肩的梯度方向直方图特征及局部二值化模型 特征，以头肩的梯度方向直方图特征及局部二值化模型特征来共同组成头肩训练样本库； 其中，不同环境是指强光、弱光、下雨、有雾或有风吹动的环境；不同角度、不同姿态和形3态特征是指正面、侧面、反面、晃动、摇摆或静止的状态；2)样本训练，将由梯度方向直方图特征及局部二值化模型特征，组成的头肩训练样本 库放入支持向量机进行训练，来获得支持向量机行人分类器。
背景差分中采用下面的方法获得背景帧，对当前视频帧整个的用特征训练和匹配 的方法先进行检测，若当前帧检测不出行人，则认为是背景帧；若检测出了行人，则继续对 下一视频帧检测，直到当前的视频帧检测不出行人为止，则认为其是背景帧。
所述头肩训练样本库由正样本库和负样本库组成，其中，正样本库中2/3的图形 信息为当前特定场景的图像信息、1/3的图形信息为公众行人库INRIA内的图像信息；负样 本库中3/4的图形信息为公众行人库INRIA内的图像信息、1/4的图形信息为公众行人库 INRIA内的图像信息。
所述正样本库和负样本库内的正样本及负样本的大小均为32X32像素。
本发明的实时鲁棒的针对特定场景的行人检测方法，采用背景差分的方法来获得 运动的目标，这里是利用了背景差分算法在运动检测方面表现出的较好的鲁棒性和较低算 法复杂度。另外，在背景差分后以运动物体为中心来标定滑动窗，在进行检测时仅仅对滑动 窗内的图形进行匹配计算，这样大大降低了计算量，显著提高了检测的实时性。同时，在支 持向量机行人分类器训练是，采用了头肩的梯度方向直方图特征及局部二值化模型特征， 来获得头肩训练样本库，此为基于部分行人模板匹配的方法，此方法对遮挡具有较好的鲁 棒性。由此可见，采用上述行人检测方法具有高效准确的特点。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中图1是本发明中可用的某一特定场景的照片图；图2是图1特定场景中摄像机监控的实时场景照片；图3是背景差分原图；图4是背景差分后的结果图；图5是一个头肩的图像照片；图6是图5的局部二值化模型特征示意图；图7是图5的梯度方向直方图特征示意图；图8是摘录有不同头肩图像合集的图片；图9是摘录有不同背景图像合集的图片；图10是在进行测试时的检测效果图；图11是头肩特征训练模型构建的流程图；图12是本发明实时鲁棒的针对特定场景的行人检测方法的算法的整体流程图。
具体实施方式
以下对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用 于说明和解释本发明，并不用于限定本发明。
本发明的一种实时鲁棒的针对特定场景的行人检测方法的实施例，在本实施例中取用图1所示的北京邮电大学无锡物联网产业研究院门口广场作为特定场景，图2所示就 是在该特定场景中采集到的一个图像。当然，这个特定的场景也可以是如图9所示的场景 中的任一个。在上述的特定场景中具有一个固定的摄像机1来对实时图像进行采集。在进 行行人检测时，首先要对原始采集的视频信息进行预处理，预处理采用背景差分的方法来 获得可移动物体的视频信息，如图3所示，是在特定环境中采集到的一个原始图像，经过背 景差分后得到图4所示的背景差分图像，在差分图像中确定出运动物体，以各个运动物体 为中心来分别标定出矩形的滑动窗2，在后期的匹配计算中以滑动窗内的图像进行计算，减 低了计算的数据量，显著提高了计算的速度，对实时图像处理带来了很好的效果。目前，背 景差分的方法是比较多的，在此实施例的行人检测方法中是不强调具体的算法的，采用现 有的一般的背景差分算法就可以保证算法的速度。在行人校验匹配时，采用支持向量机行 人分类器对滑动窗内的可移动物体的视频信息进行检测匹配，最终获得行人信息；其中，所 述的支持向量机行人分类器的特征建模训练包括下列步骤1)特征提取，在特定场景的不 同环境中采集不同角度、不同姿态和形态特征的头肩图像，如图8所示，为多种不同形态、 姿势及角度的头肩图像的摘录；对获得的头肩图像进行特征处理来获得头肩的梯度方向 直方图特征及局部二值化模型特征，以头肩的梯度方向直方图特征及局部二值化模型特征 来共同组成头肩训练样本库；其中，不同环境是指强光、弱光、下雨、有雾或有风吹动的环 境；不同角度、不同姿态和形态特征是指正面、侧面、反面、晃动、摇摆或静止的状态；2)样 本训练，将原始头肩图像如图5所示，分别进行梯度方向直方图(HOG)特征及局部二值化模 型(LBP)特征处理，获得如图6所示的局部二值化模型(LBP)特征，和如图7所示的梯度方 向直方图(HOG)特征图像，并将由梯度方向直方图(HOG)特征及局部二值化模型(LBP)特 征，组成的头肩训练样本库放入支持向量机进行训练，来获得支持向量机行人分类器。采用 梯度方向直方图(HOG)特征来检测行人的头肩，同时又用二值化模型(LBP)特征来获得头 肩的边缘特征，这是因为人在纹理特征上具有较好的区别度。采用LBP纹理特征与HOG特征 结合的方式，提高了行人识别的准确度。在头肩特征训练时采用图11所示的流程来进行， 首先来分别获得行人头肩的正训练样本和负训练样本，然后分别提取正训练样本和负训练 样本的梯度方向直方图(HOG)特征及局部二值化模型(LBP)特征，并将获得的梯度方向直 方图(HOG)特征及局部二值化模型(LBP)特征放入支持向量机进行样本分类，并最终获得 行人头肩特征的训练模型。
其中，在背景差分中采用下面的方法获得背景帧，对当前视频帧整个的用特征训 练和匹配的方法先进行检测，若当前帧检测不出行人，则认为是背景帧；若检测出了行人， 则继续对下一视频帧检测，直到当前的视频帧检测不出行人为止，则认为其是背景帧。
此方法中所用到的头肩训练样本库由正样本库和负样本库组成，在此检测方法中 所监控的是行人头肩，那么行人的头肩图像是正样本，而其余部分的部位就是负样本了，在 此检测方法中先从摄像机拍摄到的320XM0的图片上先抹去行人的头肩，然后随意的取 32X32的样本就是负样本了。其中，正样本库中2/3的图形信息为当前特定场景的图像信 息、1/3的图形信息为公众行人库INRIA内的图像信息；负样本库中3/4的图形信息为公众 行人库INRIA内的图像信息、1/4的图形信息为公众行人库INRIA内的图像信息。其中，当 前特定场景的图像信息是在特定的场景中的不同时刻、不同光照强度和不同天气情况下人 为提取的。
如图12所示，是本发明实时鲁棒的针对特定场景的行人检测方法的算法的整体 流程图，将特定场景中实时采集到的视频信息输入到支持向量机行人分类器，对当前帧进 行行人匹配，若检测到行人则回到上一步对下一帧图片进行检测匹配，若为检测到行人，则 对当前帧进行背景差分，在背景差分后找出运动物体，并以运动物体为中心标定矩形滑动 窗，将矩形滑动窗内的图像在此输入到支持向量机行人分类器内进行匹配，按照上述过程 进行顺次的检测匹配，当检测到是视频的最后一帧时，则结束检测，若不是最后一帧则回到 第一步对紧接着的一帧进行检测。
为了检验该行人检测方法的准确性，下面给出了三组检测实验，图10所示为检测 实验中的一个视频截图，其准确的检测匹配出了行人在此三组检测实验的测试样本包括1812个正测试样本(类似于图8所示的样本)和 7700个负测试样本(类似于从图9所示的320X240或96 X 160的原始背景样本中截取出)， 为了验证此方法的准确性，因此在检测实验时采用的测试样本和训练阶段采用的训练样本 都是完全不同的样本。
在三组实验中，分别统计了行人检测的准确率和速度。其中，第一组，是在没有负 样本中加入hard example(注hard example指的是初次训练好的分类器模型在待测试的 原始背景样本中进行匹配，若错误的匹配出行人则把其加入到负样本中)；第二组，是在负 样本中加入了一次hard example，再重新训练得到新的分类器模型；第三组，是在负样本中 加入了两次hard example，再重新训练得到新的分类器模型。
第一组(未力口 hard example) 检测准确率正样本 Accuracy = 98.4547% (1784/1812) 负样本 Accuracy = 93. 7013% (7215/7700) 测速度50ms/帧(320 X 240像素) 第二组(未力口 hard example) 检测准确率正样本 Accuracy = 98. 6755% (1788/1812)负样本 Accuracy = 90. 5455% (6972/7700)检测速度53ms/帧(320 X 240像素)第三组(加入两次hard example)检测准确率正样本 Accuracy = 98.4547% (1784/1812)负样本 Accuracy = 88.5455% (6818/7700)检测速度:60ms/中贞(320 X 240像素)由上述三组检测实验结果可见，本发明的实时鲁棒的针对特定场景的行人检测方法可 以满足现实使用时的准确性(可达到98%)及实时性(平均15帧/秒)的要求。
最后应说明的是以上所述仅为本发明的优选实施例而已，并不用于限制本发明， 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。权利要求
1.一种实时鲁棒的针对特定场景的行人检测方法，其特征在于在特定场景中使用位 置固定的摄像机对实时环境进行视频采集，将实时采集到的视频信息采用背景差分的方法 进行预处理，来获得实施视频中可移动物体的视频信息，以预处理过的视频信息中的各个 可移动物体为中心来标定滑动窗，用支持向量机行人分类器来对滑动窗内的图像信息进行 检测匹配出行人；其中，所述的支持向量机行人分类器的特征建模训练包括下列步骤1)特征提取，在特定场景的不同环境中采集不同角度、不同姿态和形态特征的头肩图 像；对获得的头肩图像进行特征处理来获得头肩的梯度方向直方图特征及局部二值化模型 特征，以头肩的梯度方向直方图特征及局部二值化模型特征来共同组成头肩训练样本库； 其中，不同环境是指强光、弱光、下雨、有雾或有风吹动的环境；不同角度、不同姿态和形 态特征是指正面、侧面、反面、晃动、摇摆或静止的状态；2)样本训练，将由梯度方向直方图特征及局部二值化模型特征，组成的头肩训练样本 库放入支持向量机进行训练，来获得支持向量机行人分类器。
2.根据权利要求1所述的实时鲁棒的针对特定场景的行人检测方法，其特征在于背 景差分中采用下面的方法获得背景帧，对当前视频帧整个的用特征训练和匹配的方法先进 行检测，若当前帧检测不出行人，则认为是背景帧；若检测出了行人，则继续对下一视频帧 检测，直到当前的视频帧检测不出行人为止，则认为其是背景帧。
3.根据权利要求1或2所述的实时鲁棒的针对特定场景的行人检测方法，其特征在 于所述头肩训练样本库由正样本库和负样本库组成，其中，正样本库中2/3的图形信息为 当前特定场景的图像信息、1/3的图形信息为公众行人库INRIA内的图像信息；负样本库中 3/4的图形信息为公众行人库INRIA内的图像信息、1/4的图形信息为公众行人库INRIA内 的图像信息。
4.根据权利要求3所述的实时鲁棒的针对特定场景的行人检测方法，其特征在于所 述正样本库和负样本库内的正样本及负样本的大小均为32X32像素。
全文摘要
本发明实时鲁棒的针对特定场景的行人检测方法，在特定场景中使用摄像机进行视频采集，将实时采集到的视频信息采用背景差分的方法进行预处理，获得实施视频中可移动物体的视频信息，以预处理过的视频信息中的各个可移动物体为中心来标定滑动窗，用支持向量机行人分类器来对滑动窗内的图像信息进行检测匹配出行人；支持向量机行人分类器的特征建模训练包括下列步骤1)特征提取，以头肩的梯度方向直方图特征及局部二值化模型特征来共同组成头肩训练样本库；2)样本训练，将由梯度方向直方图特征及局部二值化模型特征，组成的头肩训练样本库放入支持向量机进行训练，来获得支持向量机行人分类器。上述行人检测方法具有高准确率及实时性的特点。
文档编号H04N7/18GK102043953SQ201110029568
公开日2011年5月4日 申请日期2011年1月27日 优先权日2011年1月27日
发明者傅慧源, 明安龙, 马华东 申请人:北京邮电大学