一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
【专利摘要】本发明公开了一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，包括步骤：对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；对检测到的人脸做初始化处理；通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板更新模块进行人脸模板更新；若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸进行模板匹配检测。本发明能更实时地检测人脸，并且在跟踪和学习模块，速度也具有明显优势，对跟踪丢失的目标同样可以重新定位，达到长时间跟踪人脸的目的，使多目标跟踪具有了实时性。
【专利说明】
一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
技术领域
[0001] 本发明涉及一种人脸跟踪方法，特别是基于巡逻机器人智能云平台的长时间人脸 跟踪方法。
【背景技术】
[0002] 人类所感知的外部环境信息中，视觉信息占了相当大的比重，而动态视觉信息是 其中的重要组成部分。因为视觉信息在人类感知中非常重要的地位，视频图像处理技术一 直都是科学研究中的热点。机器视觉可以代替人类从事目标检测、目标跟踪、目标识别等方 面的工作，具有更加敏锐的洞察力，具有持续工作的能力，在迅速地从视频图像中获取精确 信息的场合下，机器视觉与人类视觉相比具有重大优势。
[0003]目标跟踪是机器视觉的关键技术，是目标识别和行为理解的基础，具有广泛的研 究价值。目前学术界在目标跟踪方面做了大量研究，提出了不少有价值的算法。较为常用的 目标跟踪方法主要有基于特征匹配的跟踪、基于模板的跟踪、基于运动特性的跟踪、基于区 域的跟踪和基于轮廓的跟。具体方案如下：
[0004] 1.基于特征匹配的跟踪:这种方法需提取一个或多个运动中具有不变性质的特征 点，比如边界线条或角点，并依据这些特征建立目标模型。
[0005] 2.基于模板匹配的跟踪:此方法是在对目标进行跟踪前，得到一个描述目标的模 板，就是在序列图像中寻找可以与模板实现特征匹配的区域。模板可以分为固定和可变形 两种。
[0006] 3.基于运动特性的跟踪:此方法主要有两种：依据目标运动的连续性进行关联的 算法和运动预测跟踪算法。前者的着眼点在于融合多种跟踪算法，提高跟踪的准确性;后者 的着眼点在于估计目标在后续图像中的位置，并以其为中心进行目标搜索，通过缩小目标 的搜索范围提高目标的跟踪速度。
[0007] 4.基于区域的跟踪：这种方法通过运动估计或分割技术得到整个目标区域的信 息，如基于运动的特征和纹理等。在这种情况下，对目标速度的估计是基于在不同时刻相关 目标区域之间的对应性。
[0008] 5.基于轮廓的跟踪:基于轮廓的跟踪，用目标的边界轮廓作为模板，在后继帧的二 值图像中跟踪目标物的边缘轮廓，并且自动连续地更新该目标轮廓。近年比较流行的两种 基于轮廓的跟踪算法是，基于Hausdoff距离的轮廓跟踪算法和主动轮廓线跟踪算法 (Snake)〇
[0009] 6. TLD的跟踪方法:Tld跟踪方法将传统的跟踪方法和检测方法相结合，同时引入 在线学习的机制不断更新跟踪模块的"显著特征点"和检测模块的目标模型，来解决跟踪过 程中跟踪目标发生形变或者被遮挡后跟踪失败等问题。
[0010] 但上述方法中，基于特征匹配的跟踪方法，选取特征点应该对目标当前的位置、运 动方向、在视野中所占面积的大小以及环境亮度的变化不敏感，因此它的主要困难就是选 取出具有代表性的特征点。基于模板匹配的跟踪，视野中的目标物有时会发生形状变化，模 板匹配就会存在精度问题。基于运动特性的跟踪，可以解决小部分的遮挡问题，并且减小搜 索范围，提高算法的实时性。但是对其单独使用时，跟踪效果并不十分理想。基于区域的跟 踪，由于在整个目标区域中，各个点都要对应，因此算法比较耗时。TLd跟踪算法，对单个目 标的检测和学习耗时巨大，不满足于多存在多个目标的环境中使用。
【发明内容】
[0011] 为了克服现有技术的不足，本发明提供了一种基于巡逻机器人智能云平台的长时 间人脸跟踪方法，它集检测、跟踪、学习一体，当目标重新出现在视野中时，能够重新检测到 它，并继续跟踪。
[0012] 本发明采用的技术方案如下：
[0013] 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，包括步骤如下：
[0014] S1.对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；
[0015] S2.对检测到的人脸做初始化处理；
[0016] S3.通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板 更新模块进行人脸模板更新;若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸 进行模板匹配检测。
[0017] 上述方法主要包括Adaboost人脸检测、人脸跟踪、人脸模板更新、模板匹配人脸检 测等过程。
[0018] 本发明中，所述初始化处理过程包括将检测到的人脸图像作为待跟踪人脸，并且 将人脸图像加入正样本集，将人脸图像附近背景图像块作为负样本集。
[0019] 其中对于Adaboost人脸检测使用haar+AdaBoost进行人脸检测。Adaboost是一种 迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器），然后把这些弱 分类器集合起来，构成一个更强的最终分类器(强分类器）。
[0020] 弱分类器的构造如下：定义一个矩形特征j对应一个弱分类器h和对应一个候选 输入窗口 X，则所述矩形特征在x上的值为fKx)，故弱分类器分类函数构造如下： 「 n , r、f1 0021] /z;(x)=^ . J l〇 其它
[0022]其中，0j是一个阈值，Pj= ± 1，用来控制不等式的方向。
[0023] 训练过程：
[0024] S41 ?输入N个训练样本：{xi，yi}，......，{xn，yn}，其中yi= {0，1}分别对应非人脸 样本和人脸样本，其中定义m个非人脸样本，r个人脸样本；
[0025] S42.初始化权重，对yi = 0的非人脸样本，wi,i = l/2m;对yi = l的人脸样本，wi,i=l/ 2r；
[0026] S43.对第t次训练（t = l，......，T)处理步骤包括：（1)采用归一化权重 n ^ ；⑵对每个特征j，训练出其弱分类器h，即确定心和仍，使当前权重下的目 J.=i n 标函数力=I；叫,，I MA)-艽I达到最小；（3)从上一步中确定的弱分类器中找出一个具有最 /二 1 小错误et的弱分类器ht，并加到强分类器中；（4)更新每个样本所对应的权重 %_丨.,=>^/?广'';若第;[个样本被正确分类，贝1^ = 0;反之61=1，^=￡1；/(1-￡1；);
[0027] S44.最终构成的强分类器为： 「n一"、1 土 a,
[0028] h(x) = < 7^ it 0 其它
[0029] 其中，(^二化^/仏）。
[0030] 进一步地，adaboost人脸检测模块具体的检测过程包括:通过一个级联分类器对 输入图像帧进行检测处理，所述一个级联分类器由多个弱分类器组成，每一级都是经 Adaboost方法训练得到的弱分类器，调整参数使得每一级弱分类器都让人脸样本通过，而 拒绝非人脸样本，从而输出检测人脸。
[0031 ]进一步地，对于人脸跟踪，人脸跟踪模块采用矩形框跟踪方法，定义同一人脸在相 邻帧图像中的位置为ri和rj，贝ljr = ri flrj，其中r为两人脸重叠位置;然后计算r占 ri和rj的 比值，其中当入=MIN(r/ri，r/rj)，人〉T(T为预设值)时，跟踪有效。
[0032]进一步地，人脸模板更新过程包括:将检测人脸作为候选正样本，将与检测人脸距 离近的背景图像块作为候选负样本，候选正样本和候选负样本构成候选样本集;对于候选 样本集中某个样本，分别计算其与正负样本集所有正样本的ncc匹配值，取最大值为P，同时 分别计算其与正负样本集所有负样本的ncc匹配值，取最大值为N，其置信度conf?计算公式： 'dN = \-N dP=\-P ;对于候选正样本，置信度conf小于一个阈值thr_nnl，则随机替换正 conf - dN !(dN + dP) 负样本集中的一个正样本;对于候选负样本，置信度conf大于一个阈值thr_nn2,则随机替 换正负样本集中的一个负样本。
[0033]进一步地，若人脸跟踪失效后，将adaboost人脸检测模块检测的人脸图像输入模 板匹配人脸检测模块，计算该人脸与训练样本集中的置信度conf，若置信度大，则是若干时 间前，因遮挡或形变丢失的目标，则将该人脸作为待跟踪人脸，进入人脸跟踪模块。
[0034] 本发明中，重新定位因为遮挡或者形变原因丢失的目标，达到长时间跟踪人脸的 目的
[0035] 本发明与现有技术相比，具有的有益效果:能更实时地检测人脸，并且在跟踪和学 习模块，速度也具有明显优势，对跟踪丢失的目标同样可以重新定位，达到长时间跟踪人脸 的目的，使多目标跟踪具有了实时性。
【附图说明】
[0036] 图1:本发明的流程不意图一；
[0037]图2:本发明的流程示意图二；
[0038]图3:本发明adaboost人脸检测|旲块检测人脸不意图；
[0039]图4:本发明脸模板更新模块框架图。
【具体实施方式】
[0040]下面结合附图和实施例对本发明作进一步详细描述。
[0041 ] 实施例：
[0042] 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，包括步骤如下：
[0043] S1.对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；
[0044] S2.对检测到的人脸做初始化处理；
[0045] S3.通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板 更新模块进行人脸模板更新;若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸 进行模板匹配检测。
[0046] 所述初始化处理过程包括将检测到的人脸图像作为待跟踪人脸，并且将人脸图像 加入正样本集，将人脸图像附近背景图像块作为负样本集。
[0047] 上述方法主要包括Adaboost人脸检测、人脸跟踪、人脸模板更新、模板匹配人脸检 测等过程。
[0048] 其中对于Adaboost人脸检测使用haar+AdaBoost进行人脸检测。Adaboost是一种 迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器），然后把这些弱 分类器集合起来，构成一个更强的最终分类器(强分类器）。
[0049] 弱分类器的构造如下：定义一个矩形特征j对应一个弱分类器h和对应一个候选 输入窗口 X，则所述矩形特征在x上的值为fKx)，故弱分类器分类函数构造如下： fl p j .{x) <p.〇.
[0050] J.' … J jo 其它
[0051 ]其中，0j是一个阈值，Pj= ± 1，用来控制不等式的方向。
[0052] 训练过程：
[0053] S41 ?输入N个训练样本：{xi，yi}，......，{xn，yn}，其中yi= {0,1}分别对应非人脸 样本和人脸样本，其中定义m个非人脸样本，r个人脸样本；
[OOM] S42.初始化权重，对yi = 0的非人脸样本，wi,i = l/2m;对yi = l的人脸样本，wi,i=l/ 2r；
[0055] S43.对第t次训练（t = l，......，T)处理步骤包括：（1)采用归一化权重 n % / 1>心；(2)对每个特征j，训练出其弱分类器h，即确定心和仍，使当前权重下的目 M' 标函数士 =文1^/ I /2/(士)-力I达到最小；（3)从上一步中确定的弱分类器中找出一个具有最 /-I 小错误et的弱分类器ht，并加到强分类器中；（4)更新每个样本所对应的权重 丨=广1 ;若第丨个样本被正确分类，贝1Jei= 0;反之ei= 1，仏=et/();
[0056] S44.最终构成的强分类器为： ^ t r 1 V a}hr(x) >().5V a.
[0057] h(x) = s 7^ ' 〇 其它
[0058] 其中，(^二化^/仏）。
[0059] adaboost人脸检测模块具体的检测过程包括:通过一个级联分类器对输入图像帧 进行检测处理，所述一个级联分类器由多个弱分类器组成，每一级都是经Adaboost方法训 练得到的弱分类器，调整参数使得每一级弱分类器都让人脸样本通过，而拒绝非人脸样本， 从而输出检测人脸。
[0060]对于人脸跟踪，人脸跟踪模块采用矩形框跟踪方法，定义同一人脸在相邻帧图像 中的位置为ri和rj，贝1> = 1^门；1^，其中1'为两人脸重叠位置;然后计算1'占；1^和；1^的比值，其中 当入=MIN(r/ri，r/rj) A>T(T为预设值)时，跟踪有效。
[0061]人脸模板更新过程包括:将检测人脸作为候选正样本，将与检测人脸距离近的背 景图像块作为候选负样本，候选正样本和候选负样本构成候选样本集;对于候选样本集中 某个样本，分别计算其与正负样本集所有正样本的ncc匹配值，取最大值为P，同时分别计算 其与正负样本集所有负样本的ncc匹配值，取最大值为N，其置信度conf?计算公式： rdN^l-N -dP = l-P ;对于候选正样本，置信度conf小于一个阈值thr_nnl，则随机替换正 conf = dN iidN 十 dP) 负样本集中的一个正样本;对于候选负样本，置信度conf大于一个阈值thr_nn2,则随机替 换正负样本集中的一个负样本。
[0062] 若人脸跟踪失效后，将adaboost人脸检测模块检测的人脸图像输入模板匹配人脸 检测模块，计算该人脸与训练样本集中的置信度conf，若置信度大，则是若干时间前，因遮 挡或形变丢失的目标，则将该人脸作为待跟踪人脸，进入人脸跟踪模块。
[0063] 本实施例所采用的样本情况如下:选取若干段视频检测跟踪人脸，相对于传统方 法，人脸重新定位，实现了人脸长时间跟踪;其中完成一个目标的跟踪耗时3ms，而tld跟踪 方法耗时15ms以上，相对于tld跟踪方法，速度提高了 400%，其它传统方法则更长。因此，本 实施例提出的人脸跟踪方法实时地达到了长时间人脸跟踪的要求。
【主权项】
1. 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，包括步骤如 下：51. 对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；52. 对检测到的人脸做初始化处理；53. 通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板更新 模块进行人脸模板更新;若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸进行 模板匹配检测。2. 根据权利要求所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在 于，所述初始化处理过程包括将检测到的人脸图像作为待跟踪人脸，并且将人脸图像加入 正样本集，将人脸图像附近背景图像块作为负样本集。3. 根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征 在于，所述adaboost人脸检测模块具体的检测过程包括:通过一个级联分类器对输入图像 帧进行检测处理，所述一个级联分类器由多个弱分类器组成，每一级都是经Adaboost方法 训练得到的弱分类器，调整参数使得每一级弱分类器都让人脸样本通过，而拒绝非人脸样 本，从而输出检测人脸。4. 根据权利要求3所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征 在于，将所述多个弱分类器训练成强分类器的方法具体包括： S41 ·输入N个训练样本：{xi，yi}，......，{xn，yn}，其中yi = {〇, 1}分别对应非人脸样本 和人脸样本，其中定义m个非人脸样本，r个人脸样本；342.初始化权重，对71 = 0的非人脸样本，'\￥14 = 1/2111;对71=1的人脸样本，'\￥14=1/21·;543. 对第t次训练(t = l，......，T)采用归一化；然后对每个特征 j，训练出其弱分类器匕，即确定心和仍，使当前权重下的达 到最小;接着从上一步中确定的弱分类器中找出一个具有最小错误的弱分类器ht，并加到 强分类器中；更新每个样本所对应的权重=W,,若第i个样本被正确分类，则ei = 〇;S2ei=l，0t = et/(l-et);544. 最终构成的强分类器为：5. 根据权利要求4所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征 在于，对于所述弱分类器，定义一个矩形特征j对应一个弱分类器h和对应一个候选输入窗 口X，则所述矩形特征在X上的值为AU)，故弱分类器分类函数构造如下：其中，Qj是一个阈值，ρ」=±1，用来控制不等式的方向。6. 根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征 在于，所述人脸跟踪模块采用矩形框跟踪方法，定义同一人脸在相邻帧图像中的位置为^ 和:Π ，贝ljr = ri flrj，其中r为两人脸重叠位置;然后计算r占 ri和rj的比值，其中当λ = ΜΙΝ(ι·/ ri，r/r j)，λ > T (T为预设值)时，跟踪有效。7. 根据权利要求6所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征 在于，人脸模板更新过程包括： 将检测人脸作为候选正样本，将与检测人脸距离近的背景图像块作为候选负样本，候 选正样本和候选负样本构成候选样本集;对于候选样本集中某个样本，分别计算其与正负 样本集所有正样本的ncc匹配值，取最大值为Ρ，同时分别计算其与正负样本集所有负样本 的ncc匹配值，取最大值为N，其置信度conf计算公式：！对于候选正样 本，置信度conf小于一个阈值thr_nnl，则随机替换正负样本集中的一个正样本;对于候选 负样本，置信度conf大于一个阈值thr_nn2,则随机替换正负样本集中的一个负样本。8. 根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征 在于，若人脸跟踪失效后，将adaboost人脸检测模块检测的人脸图像输入模板匹配人脸检 测模块，计算该人脸与训练样本集中的置信度conf，若置信度大，则是若干时间前，因遮挡 或形变丢失的目标，则将该人脸作为待跟踪人脸，进入人脸跟踪模块。
【文档编号】G06T7/20GK105931276SQ201610421920
【公开日】2016年9月7日
【申请日】2016年6月15日
【发明人】杨焰, 毛亮, 朱婷婷, 黄仝宇, 宋兵, 宋一兵, 汪刚, 柏林, 刘双广
【申请人】广州尚云在线科技有限公司