基于codebook背景建模的行人检测方法
【专利摘要】本发明公开了一种能够有效快速的检测出视频中的行人、对光照突变具有很好的鲁棒性的基于codebook背景建模的行人检测方法。该基于codebook背景建模的行人检测方法是在codebook背景建模算法的基础上，引入行人分类器，使其具有检测视频图像中行人的能力，加速了传统行人分类器通过遍历全图检测行人的过程，针对codebook背景建模算法不能处理光照突然改变的情况，结合行人检测的特征，构建临时块模型，将行人分类器融入到背景更新环节中，能够有效快速的检测出视频中的行人，对光照突变具有很好的鲁棒性，在实际场景中能取得较好的检测的效果，同时该方法不需要额外的传感器，对于人少且背景较稳定的监控场景加速明显，实时性较好。适合在输电线路巡检技术领域推广应用。
【专利说明】
基于codebook背景建模的行人检测方法
技术领域
[0001 ]本发明涉及输电线路巡检技术领域，尤其是一种基于codebook背景建模的行人检 测方法。
【背景技术】
[0002] 行人检测在视频监控领域有着广阔的应用前景，通过对监控视频中检测出的行人 进行分析，能满足许多应用场合的需求，如家庭安防、智能辅助驾驶、智能机器人等。可将当 前行人检测的方法大概可分为两类:基于背景建模的方法和基于统计学习的方法。
[0003] 目前基于统计学习进行行人检测的方法基本上是基于Navneet Dalai，Bill Triggs等提出的H0G + SVM的方法，通过计算图像的H0G(Histograms of Oriented Gradient)特征，并送入线性SVM训练分类器，依靠滑动窗口的方式检测图像中的行人，在原 始的MIT行人数据库取得了很好的效果，但由于需要在大量的滑动窗口中计算局部特征，因 此基于滑动窗进行分类检测的算法实时性大都不好，很难达到实用的要求；Subhransu Maji，Alexander C.Berg等人针对线性SVM分类准确率不高的问题，在保证不提高算法的计 算复杂度的前提下，提出使用交叉核等非线性核来训练分类器，大大提高了检测性能； Ming-Ming Cheng等通过训练传统的显著性检测方法为待检测目标提供候选区域，减小滑 动窗口的数量，大大加速了传统上依靠滑动窗进行检测的算法，达到300fps。
[0004] 背景建模方法能通过提取场景中运动目标，减少分类器搜索的范围，提高基于滑 动窗进行检测的统计学习方法的速度。常见的背景建模方法有混和高斯模型，核密度估计 和码本模型等。
[0005] Kyungnam Kim等在〈〈Real-time foreground-background segmentation using codebook model》中提出使用码本模型，通过将背景信息压缩成码本来对背景建模，提取运 动前景目标，但该算法不能很好的应对光照突变的影响，比如，在开门关门的时候由于光线 的变化，背景建模方法很容易将光线变化的区域检测为行人，很容易造成误检。2005年 Navneet Dalai,Bill Triggs 等在《Hi stograms of Oriented Gradients for Human Detection》中提出使用方向梯度直方图（HOG)特征，送入支撑向量机（SVM)训练行人分类 器，并构建检测器检测图像中的行人，但实时性差，不能满足应用的需求，该算法主要的计 算瓶颈之一在于全图遍历寻找存在行人的候选区域。
【发明内容】
[0006] 本发明所要解决的技术问题是提供一种能够有效快速的检测出视频中的行人，对 光照突变具有很好的鲁棒性的基于codebook背景建模的行人检测方法。
[0007] 本发明解决其技术问题所采用的技术方案为:该基于codebook背景建模的行人检 测方法，包括以下步骤：
[0008] A、利用视频图像中的第1至n帧的先验知识构建码本背景模型，同时从视频图像中 获取能反映监控场景的行人正负样本，并将获取的能反映监控场景的行人正负样本送入 SVM分类器训练行人分类器，构建出行人检测器；
[0009] B、利用码本背景模型对视频图像中的第n+1帧进行处理，分割出背景区域al和前 景区域bl，将分割出的前景区域bl利用行人检测器是否存在行人，若检测结果为存在行人， 输出检测结果;若检测结果为不存在行人，则前景区域bl为非行人前景区域cl，将所有的非 行人前景区域cl构建成临时块模型；
[0010] C、利用码本背景模型对视频图像中的第n+2帧进行处理，分割出背景区域a2和前 景区域b2,将分割出的前景区域b2利用行人检测器是否存在行人，若检测结果为存在行人， 输出检测结果，若检测结果为不存在行人，则前景区域b2为非行人前景区域c2,接着分别确 定每一个非行人前景区域 c2与临时块模型中的非行人前景区域cl的位置关系;若非行人前 景区域c2与临时块模型中的其中一个非行人前景区域cl存在包含关系，舍弃该非行人前景 区域c2,同时将临时块模型中与该非行人前景区域c2存在包含关系的非行人前景区域cl定 义为重复访问；若该非行人前景区域c2与临时块模型中的任何一个非行人前景区域cl都存 在相离或相交的关系，则将该非行人前景区域c2更新到临时块模型中成为一个新的非行人 前景区域cl;
[0011] D、利用码本背景模型依次对视频图像中的第n+i至n+m帧进行处理，所述 分割出背景区域ai和前景区域bi，将分割出的前景区域bi利用行人检测器是否存在行人， 若检测结果为存在行人，输出检测结果，若检测结果为不存在行人，则前景区域bi为非行人 前景区域ci，接着分别确定每一个非行人前景区域ci与上一次更新的临时块模型中的非行 人前景区域cl的位置关系;若该非行人前景区域ci与上一次更新的临时块模型中的其中一 个非行人前景区域cl存在包含关系，舍弃该非行人前景区域ci，同时将临时块模型中与该 非行人前景区域ci存在包含关系的非行人前景区域cl定义为重复访问；若该非行人前景区 域ci与上一次更新的临时块模型中的任何一个非行人前景区域cl都存在相离或相交的关 系，则将该非行人前景区域ci更新到临时块模型中成为一个新的非行人前景区域cl;
[0012] E、当利用码本背景模型对视频图像中的第m帧处理后，对临时块模型进行归零处 理，即将临时块模型中被定义为重复访问的非行人前景区域cl更新到码本背景模型中，同 时将其它非行人前景区域cl舍弃；
[0013] F、重复步骤B至步骤E，利用更新后的码本背景模型对视频图像中的第n+m+1帧至 第n+km帧进行处理，所述k为大于2的任意整数。
[0014]进一步的是，所述步骤C中，采用如下方法判断非行人前景区域c2与非行人前景区 域cl的位置关系：首先，所述临时块模型中的每一个非行人前景区域cl用一个矩形框rl = (xl，yl，wl，hl)表示，矩形框rl的重心〇1 = (xl+wl/2，yl+hl/2)，非行人前景区域c2用一个 矩形框"=&2,72，￥2，112)表示，矩形框"的重心〇2=(12+￥2/2,72+112/2)，〇1和〇2间的水 平距离dx和垂直距离dy:dx= | x2_xl+(w2_wl)/2 |，dy= | y2-yl+(h2_hl)/2 |，通过如下关系 式判断非行人前景区域c2与非行人前景区域cl的位置关系，所述关系式为，
[0016]本发明的有益效果:该基于codebook背景建模的行人检测方法是在codebook背景 建模算法的基础上，引入行人分类器，使其具有检测视频图像中行人的能力，加速了传统行 人分类器通过遍历全图检测行人的过程，针对codebook背景建模算法不能处理光照突然改 变的情况，结合行人检测的特征，构建临时块模型，将行人分类器融入到背景更新环节中， 能够有效快速的检测出视频中的行人，对光照突变具有很好的鲁棒性，在实际场景中能取 得较好的检测的效果，同时该方法不需要额外的传感器，对于人少且背景较稳定的监控场 景加速明显，实时性较好。
【附图说明】
[0017]图1表示非行人前景区域c2与非行人前景区域cl相交；
[0018] 图2表示非行人前景区域c2与非行人前景区域cl相离；
[0019] 图3表示非行人前景区域c2与非行人前景区域cl包含
[0020] 图4表示测试视频图像序列中的其中四帧图像；
[0021 ]图5为通过codebook背景建模算法分割的前景区域；
[0022] 图6为利用行人检测器对分割出的前景区域检测的结果；
[0023] 图7为对未检测到行人的前景区域的自我更新过程。
【具体实施方式】
[0024]本发明所述的基于codebook背景建模的行人检测方法，包括以下步骤：
[0025]该基于codebook背景建模的行人检测方法，包括以下步骤：
[0026] A、利用视频图像中的第1至n帧的先验知识构建码本背景模型，同时从视频图像中 获取能反映监控场景的行人正负样本，并将获取的能反映监控场景的行人正负样本送入 SVM分类器训练行人分类器，构建出行人检测器；
[0027] B、利用码本背景模型对视频图像中的第n+1帧进行处理，分割出背景区域al和前 景区域bl，将分割出的前景区域bl利用行人检测器是否存在行人，若检测结果为存在行人， 输出检测结果;若检测结果为不存在行人，则前景区域bl为非行人前景区域cl，将所有的非 行人前景区域cl构建成临时块模型；
[0028] C、利用码本背景模型对视频图像中的第n+2帧进行处理，分割出背景区域a2和前 景区域b2,将分割出的前景区域b2利用行人检测器是否存在行人，若检测结果为存在行人， 输出检测结果，若检测结果为不存在行人，则前景区域b2为非行人前景区域c2,接着分别确 定每一个非行人前景区域 c2与临时块模型中的非行人前景区域cl的位置关系;若非行人前 景区域c2与临时块模型中的其中一个非行人前景区域cl存在包含关系，舍弃该非行人前景 区域c2,同时将临时块模型中与该非行人前景区域c2存在包含关系的非行人前景区域cl定 义为重复访问；若该非行人前景区域c2与临时块模型中的任何一个非行人前景区域cl都存 在相离或相交的关系，则将该非行人前景区域c2更新到临时块模型中成为一个新的非行人 前景区域cl;
[0029] D、利用码本背景模型依次对视频图像中的第n+i至n+m帧进行处理，所述3彡i彡m， 分割出背景区域ai和前景区域bi，将分割出的前景区域bi利用行人检测器是否存在行人， 若检测结果为存在行人，输出检测结果，若检测结果为不存在行人，则前景区域bi为非行人 前景区域Ci，接着分别确定每一个非行人前景区域Ci与上一次更新的临时块模型中的非行 人前景区域Cl的位置关系;若该非行人前景区域Ci与上一次更新的临时块模型中的其中一 个非行人前景区域cl存在包含关系，舍弃该非行人前景区域ci，同时将临时块模型中与该 非行人前景区域Ci存在包含关系的非行人前景区域Cl定义为重复访问；若该非行人前景区 域ci与上一次更新的临时块模型中的任何一个非行人前景区域cl都存在相离或相交的关 系，则将该非行人前景区域Ci更新到临时块模型中成为一个新的非行人前景区域Cl;
[0030] E、当利用码本背景模型对视频图像中的第m帧处理后，对临时块模型进行归零处 理，即将临时块模型中被定义为重复访问的非行人前景区域Cl更新到码本背景模型中，同 时将其它非行人前景区域Cl舍弃；
[0031] F、重复步骤B至步骤E，利用更新后的码本背景模型对视频图像中的第n+m+1帧至 第n+km帧进行处理，所述k为大于2的任意整数。
[0032]该基于codebook背景建模的行人检测方法是在codebook背景建模算法的基础上， 引入行人分类器，使其具有检测视频图像中行人的能力，加速了传统行人分类器通过遍历 全图检测行人的过程，针对codebook背景建模算法不能处理光照突然改变的情况，结合行 人检测的特征，构建临时块模型，将行人分类器融入到背景更新环节中，能够有效快速的检 测出视频中的行人，对光照突变具有很好的鲁棒性，在实际场景中能取得较好的检测的效 果，同时该方法不需要额外的传感器，对于人少且背景较稳定的监控场景加速明显，实时性 较好。
[0033] 进一步的是，所述步骤C中，采用如下方法判断非行人前景区域c2与非行人前景区 域cl的位置关系：首先，所述临时块模型中的每一个非行人前景区域cl用一个矩形框rl = (xl，yl，wl，hl)表示，矩形框rl的重心〇1 = (xl+wl/2，yl+hl/2)，非行人前景区域c2用一个 矩形框"=&2,72，￥2，112)表示，矩形框"的重心〇2=(12+￥2/2,72+112/2)，〇1和〇2间的水 平距离dx和垂直距离dy:dx= | x2_xl+(w2_wl)/2 |，dy= | y2-yl+(h2_hl)/2 |，通过如下关系 式判断非行人前景区域c2与非行人前景区域cl的位置关系，
[0034] 所述关系式为
[0035] 非行人前景区域c2与非行人前景区域cl的位置关系如图1至图3所示，图1表示非 行人前景区域c2与非行人前景区域cl相交；图2表示非行人前景区域c2与非行人前景区域 cl相离;图3表示非行人前景区域c2与非行人前景区域cl包含。
[0036] 在步骤A中，利用视频图像中的第1至n帧的先验知识构建码本背景模型的方法如 下所述:首先，每一个像素建立码本巾...，cl}，每个码本由L个码字组成，在RGB空 间，每一个码字(^，1 = 1...1，由一个1^8向量^:.=(見5:,5)和一组六元参数 构成。/,，i,表示每个码字中最小和最大亮度值;^表示这个 码字被访问的频率;最大负运行时间&表示在训练阶段码字未被重新访问的最大时间间 隔;Pi，qi分别表示码字首次和末次被访问的时间;接着，设置原始码本巾为空集，包含码字L 为0,对于时间从t=l到N，Xt=(R，G，B)，在每一个像素建立的码本巾={ci | Ki<L}中寻找 是否有cm与Xt满足条件
[0037] Colordist(Xt,Vm)^；ei
[0038] Brightness(l"< / ", /H, >) = true
[0039] 如果巾为空或者未找到匹配，码字个数加一，并按下面的规则初始化一个新的码 字CL
[0040] Vl=(R,G,B)
[0041] auXL= <1,1,1, t~l, t, t>
[0042] 否则，更新当前匹配的码字~
[0044] c,uXm =<: mi n ,7, / }, max + 1 - maxAitl, t - </!i:!, pv:, t >
[0045] 对每一个码字Ci，i = l ? ?丄，循环设置人i=max{M，（N-qi+pi-1)}
[0046] 在训练阶段构建码本模型结束后，通过设置时间阈值Tu为训练时间的一半N/2,根 据公式U={cmG (}> AAm<Tu}得到滤除冗余码本后的码本背景模型U。
[0047]图4表示测试视频图像序列中的其中四帧图像，图5为通过codebook背景建模算法 分割的前景区域，从图5中可看出光照突然的改变对codebook背景建模算法检测性能带来 的影响，；图6为利用行人检测器对分割出的前景区域检测的结果；图7为对未检测到行人的 前景区域的自我更新过程，由图可以看出，当行人打开门后，带来局部光照的突然改变，该 算法能应对光照突然的改变。
【主权项】
1. 基于codebook背景建模的行人检测方法，其特征在于包括W下步骤： A、 利用视频图像中的第1至n帖的先验知识构建码本背景模型，同时从视频图像中获取 能反映监控场景的行人正负样本，并将获取的能反映监控场景的行人正负样本送入SVM分 类器训练行人分类器，构建出行人检测器； B、 利用码本背景模型对视频图像中的第n+1帖进行处理，分割出背景区域al和前景区 域bl，将分割出的前景区域bl利用行人检测器是否存在行人，若检测结果为存在行人，输出 检测结果;若检测结果为不存在行人，则前景区域bl为非行人前景区域Cl,将所有的非行人 前景区域Cl构建成临时块模型； C、 利用码本背景模型对视频图像中的第n+2帖进行处理，分割出背景区域a2和前景区 域b2,将分割出的前景区域b2利用行人检测器是否存在行人，若检测结果为存在行人，输出 检测结果，若检测结果为不存在行人，则前景区域b2为非行人前景区域c2,接着分别确定每 一个非行人前景区域c2与临时块模型中的非行人前景区域Cl的位置关系;若非行人前景区 域c2与临时块模型中的其中一个非行人前景区域Cl存在包含关系，舍弃该非行人前景区域 c2,同时将临时块模型中与该非行人前景区域c2存在包含关系的非行人前景区域Cl定义为 重复访问；若该非行人前景区域c2与临时块模型中的任何一个非行人前景区域Cl都存在相 离或相交的关系，则将该非行人前景区域c2更新到临时块模型中成为一个新的非行人前景 区域cl; D、 利用码本背景模型依次对视频图像中的第n+i至n+m帖进行处理，所述分割 出背景区域ai和前景区域bi，将分割出的前景区域M利用行人检测器是否存在行人，若检 测结果为存在行人，输出检测结果，若检测结果为不存在行人，则前景区域bi为非行人前景 区域Ci,接着分别确定每一个非行人前景区域Ci与上一次更新的临时块模型中的非行人前 景区域Cl的位置关系;若该非行人前景区域Ci与上一次更新的临时块模型中的其中一个非 行人前景区域Cl存在包含关系，舍弃该非行人前景区域Ci,同时将临时块模型中与该非行 人前景区域Ci存在包含关系的非行人前景区域Cl定义为重复访问；若该非行人前景区域Ci 与上一次更新的临时块模型中的任何一个非行人前景区域Cl都存在相离或相交的关系，贝U 将该非行人前景区域Ci更新到临时块模型中成为一个新的非行人前景区域Cl; E、 当利用码本背景模型对视频图像中的第m帖处理后，对临时块模型进行归零处理，即 将临时块模型中被定义为重复访问的非行人前景区域Cl更新到码本背景模型中，同时将其 它非行人前景区域Cl舍弃； F、 重复步骤B至步骤E，利用更新后的码本背景模型对视频图像中的第n+m+1帖至第n+ km帖进行处理，所述k为大于2的任意整数。2. 如权利要求1所述的基于codebook背景建模的行人检测方法，其特征在于:所述步骤 C中，采用如下方法判断非行人前景区域c2与非行人前景区域Cl的位置关系：首先，所述临 时块模型中的每一个非行人前景区域Cl用一个矩形框^ = ^1，71，*1，111)表示，矩形框^ 的重屯、〇1 = ^1+巧1/2,71+]11/2)，非行人前景区域。2用一个矩形框'2=^2,72，巧2，112)表 示，矩形框r2的重屯、〇2=^2+*2/2,72+112/2)，〇1和〇2间的水平距离扯和垂直距离(17:(1又= x2-xl + (w2-wl)/2 I，dy= I y2-yl+化2-hl)/2 I，通过如下关系式判断非行人前景区域c2与非 行人前景区域Cl的位置关系，所述关系式为
【文档编号】G06K9/00GK105913020SQ201610222003
【公开日】2016年8月31日
【申请日】2016年4月12日
【发明人】张瑜, 李诗扬
【申请人】成都翼比特自动化设备有限公司