专利名称：一种基于视频的关注广告人数统计的人脸区域跟踪方法
技术领域：
本发明属于图像处理方法技术领域，涉及一种基于视频的关注广告人数统计的人脸区域跟踪方法。
背景技术：
多媒体广告形式随着计算机技术，网络技术的发展，其表现形式，以及播放地点越来越多样化，为了统计广告的关注度情况，及时调整广告内容以及安放广告的地点，需要对关注广告的人群密度进行统计。而基于视频内容分析的广告关注度分析系统因其不会对关注人群干扰的特点具有较强的优势。在基于视频内容分析的广告关注度分析系统中，对视频帧序列中的人脸目标的正确跟踪，是实现其正确统计的关键。
发明内容
本发明的目的是提供一种基于视频的关注广告人数统计的人脸区域跟踪方法，能在目标间相互遮挡情况下，通过对目标的跟踪，准确识别关注广告的人数。本发明所采用的技术方案是，一种基于视频的关注广告人数统计的人脸区域跟踪方法，其特征在于，具体步骤如下步骤1、人脸区域的检测与定位步骤1. 1、采用肤色检测方法获取视频画面中肤色区域，将获得的肤色区域定义为人脸连通域；步骤1. 2、正面人脸检测对步骤1. 1得到的人脸连通域进行形状检测，当检测到人脸连通域中包含三个空洞，并满足两个空洞平行排列在上另一个位于下方时，判断该人脸连通域包含一个正面人脸区域；当检测到人脸连通域包含3N-1或3N个空洞时，N为正整数，且N彡2，判断该人脸连通域包含N个人脸区域；步骤1.3、正面人脸区域标识对步骤1.2得到的正面人脸区域分别使用最小外接矩形进行标识，具体使用各外接矩形的左上角坐标为[X(l(k)，y0(k)]和右下角坐标为[Xl(k)，y,)]，标识为{[&ω，y0(k)], [χΛΥ,)]』=1,2,... ,N}；计算步骤1. 2得到的正面人脸区域的面积，当计算得到的人脸面积不满足预设的范围时，将该人脸区域目标排出，不作为继续跟踪对象；步骤2、对步骤1. 2得到的正面人脸检测结果进行人脸区域相互关系状态标识将人脸连通域为一个正面人脸区域时，判断该人脸区域与其他人脸区域相互无粘连；当人脸连通域包含N个人脸区域时，判断该N个人脸区域之间存在粘连，N为正整数，且 N彡2 ；步骤3、人脸跟踪步骤3. 1、人脸区域相互无粘连的人脸跟踪
通过步骤1至2判断人脸区域在当前帧和前一帧中均为无粘连时，将该人脸区域在当前帧位置{[Χ。ω，y。(t)]，[Χιω，y/t)]}，以及在前一帧位置{[ (Η)，y:—1)]， [χΛ1)，又严1)]}进行比较，当满足Χιω》κ。—1)，且y，》时；或满足》χ/"1)， 且yi(t)彡γ,1)时；或满足彡κ。—1)，且y，彡y/"1'时；或满足 ⑴彡χΛ1)，且 y0(t)彡Y1 (η)时，判断对该人脸区域跟踪成功；步骤3. 2、多个人脸区域存在粘连的状态不发生变化的人脸跟踪通过步骤1至2判断人脸区域在当前帧和前一帧中均存在粘连时，且该人脸区域所在的人脸连通域在当前帧和前一帧中空洞个数以及空洞位置不变时，判断对该人脸跟踪成功；步骤3. 3、人脸区域变成粘连时的人脸跟踪通过步骤1至2判断人脸区域在前一帧为无粘连，且在当前帧存在粘连时，对当前帧人脸区域所在人脸连通域包含的各角点坐标分析，得到该连通域包含的N个人脸区域，N 为正整数，且N > 2，以运动速度最接近和重叠面积最大为判定标准，在该N个人脸区域中指定某一人脸区域为跟踪的人脸区域，并判断对该人脸区域的跟踪成功，将该N个人脸区域中其它人脸区域定义为新出现的待跟踪人脸区域；步骤3. 4、人脸区域变成无粘连时的人脸跟踪通过步骤1至2判断人脸区域在前一帧存在粘连，且在当前帧为无粘连时，对当前帧得到的多个人脸区域定义为新出现的待跟踪人脸区域；步骤4、统计跟踪成功的人脸区域驻留时间，将驻留时间短于一定阈值的人脸区域目标排除，不作为继续跟踪对象。步骤1. 1中，肤色检测方法为输入的彩色图像为{RmXn，Gmxn，BmxJ，表示其红、绿、蓝三颜色通道的大小均为 mXn，按照以下公式获得肤色检测结果Y(i, j) = 0. 299 · R(i, j)+0. 587 · G(i，j)+0. 114 · B(i，j)，i = 1，2，· · ·，m，j = 1，2，. . .，η ;
权利要求
1. 一种基于视频的关注广告人数统计的人脸区域跟踪方法，其特征在于，具体步骤如下步骤1、人脸区域的检测与定位步骤1.1、采用肤色检测方法获取视频画面中肤色区域，将获得的肤色区域定义为人脸连通域；步骤1.2、正面人脸检测对步骤1. 1得到的人脸连通域进行形状检测，当检测到人脸连通域中包含三个空洞， 并满足两个空洞平行排列在上另一个位于下方时，判断该人脸连通域包含一个正面人脸区域；当检测到人脸连通域包含3N-1或3N个空洞时，N为正整数，且N彡2，判断该人脸连通域包含N个人脸区域；步骤1. 3、正面人脸区域标识对步骤1. 2得到的正面人脸区域分别使用最小外接矩形进行标识，具体使用各外接矩形的左上角坐标为[x。(k)，y0(k)]和右下角坐标为[Xl(k)，y/15)],标识为{[ ω，y，]，[Xl(k)， yi(k)]，k = 1,2, ... ,N}；计算步骤1. 2得到的正面人脸区域的面积，当计算得到的人脸面积不满足预设的范围时，将该人脸区域目标排出，不作为继续跟踪对象；步骤2、对步骤1. 2得到的正面人脸检测结果进行人脸区域相互关系状态标识 将人脸连通域为一个正面人脸区域时，判断该人脸区域与其他人脸区域相互无粘连； 当人脸连通域包含N个人脸区域时，判断该N个人脸区域之间存在粘连，N为正整数，且 N彡2 ；步骤3、人脸跟踪步骤3. 1、人脸区域相互无粘连的人脸跟踪通过步骤1至2判断人脸区域在当前帧和前一帧中均为无粘连时，将该人脸区域在当前帧位置{[ ⑴，y0⑴]，[X1(Wt)B,以及在前一帧位置{[ (Η)，γ0(Η)]，[X1(H)O1 (H)]} 进行比较，当满足 ⑴彡 “—“，且又广彡^⑷时；或满足&⑴彡^—夂且又产彡又产1) 时；或满足Χιω彡 (")，且y/t)彡y/"1)时；或满足 ⑴彡X1(H)，且y。⑴彡y^—1)时，判断对该人脸区域跟踪成功；步骤3. 2、多个人脸区域存在粘连的状态不发生变化的人脸跟踪通过步骤1至2判断人脸区域在当前帧和前一帧中均存在粘连时，且该人脸区域所在的人脸连通域在当前帧和前一帧中空洞个数以及空洞位置不变时，判断对该人脸跟踪成功；步骤3. 3、人脸区域变成粘连时的人脸跟踪通过步骤1至2判断人脸区域在前一帧为无粘连，且在当前帧存在粘连时，对当前帧人脸区域所在人脸连通域包含的各角点坐标分析，得到该连通域包含的N个人脸区域，N为正整数，且2，以运动速度最接近和重叠面积最大为判定标准，在该N个人脸区域中指定某一人脸区域为跟踪的人脸区域，并判断对该人脸区域的跟踪成功，将该N个人脸区域中其它人脸区域定义为新出现的待跟踪人脸区域； 步骤3. 4、人脸区域变成无粘连时的人脸跟踪通过步骤1至2判断人脸区域在前一帧存在粘连，且在当前帧为无粘连时，对当前帧得到的多个人脸区域定义为新出现的待跟踪人脸区域；步骤4、统计跟踪成功的人脸区域驻留时间，将驻留时间短于一定阈值的人脸区域目标排除，不作为继续跟踪对象。
2.按照权利要求1所述的基于视频的关注广告人数统计的人脸区域跟踪方法，其特征在于，步骤1. 1中肤色检测方法为输入的彩色图像为{RmXn，Gmxn，BmxJ，表示其红、绿、蓝三颜色通道的大小均为mXn，按照以下公式获得肤色检测结果Y(i, j) = 0. 299 · R(i, j)+0. 587 · G(i, j)+0. 114 · B(i, j)，i = 1，2，· · ·，m，j = 1， 2 . . . j π ；L(i, j) = R(i，j)+G(i, j)+B(i, j), 广 R(i, j)G(i,j)B(i,j)r(h j) = 777^7- J) = TTT^f Kh j) = 777^7- ‘ i = l，2，...，m，j = 1，2，···，η， L(i,j)L(ij)L(i,j) Thm < r{i,j) < ThR2,ThGl < g{i,j) < ThG2Lab(iJ) =g(i,j) < r(i,j) <k-g(i,j)J(i,j) >ThY ，i = 1，2，· · ·，m，j = 1，2，· · ·，η0other其中，Lab(i，j) = 1的各连通域为肤色区域，ThE1, ThE2, ThG1, The2，Thy为肤色的判断阈值，k为调整因子，R(i，j)、G(i，j)以及B(i，j)为视频图像红、绿、蓝三色值。
3.按照权利要求2所述的基于视频的关注广告人数统计的人脸区域跟踪方法，其特征在于，所述各肤色的判断阈值的取值范围为0. 35 ( ThE1 ( 0. 37，0. 68 ( ThE2 ( 0. 69， 0. 24 彡 Thci 彡 0. 25，0. 39 彡 ThE2 彡 0. 40，0. 2 彡 ThY 彡 0. 3，1. 3 彡 k 彡 1. 4。
全文摘要
本发明一种基于视频的关注广告人数统计的人脸区域跟踪方法，包括以下步骤人脸区域的检测与定位，进行人脸区域相互关系状态标识，不同状态下的人脸跟踪，以及对跟踪成功的人脸区域驻留时间进行统计，并根据统计结果排出目标。本发明解决了目标间相互遮挡情况下，通过目标的正确跟踪，识别关注广告人数的问题。
文档编号G06T7/20GK102509070SQ20111030851
公开日2012年6月20日 申请日期2011年10月12日 优先权日2011年10月12日
发明者周相如, 张晓蕾, 张晨, 朱虹, 程松 申请人:西安理工大学