一种基于深度图像的人头分割方法
【专利摘要】本发明提出一种基于深度图像的人头分割方法。该方法对采用双目摄像机以俯视角度采集到的图像使用运动目标检测的方法提取出图像中的运动区域；然后对图像中的运动区域进行快速立体匹配获得运动区域的视差图，在快速立体匹配过程中使用视差验证；将运动区域的视差图转换为深度图并运用深度分割的方法得到包含有人头信息的深度层，使用数学形态学操作获取到人头轮廓。本发明方法精度高、计算速度快，有很好的鲁棒性和实时性。
【专利说明】一种基于深度图像的人头分割方法
【技术领域】
[0001] 本发明属于数字图像处理与模式识别领域，具体涉及一种基于深度图像的人头分 割方法。
【背景技术】
[0002] 在许多商业和公共场所，如车站、公共汽车、商场、影院等场所需要采集人员流动 信息。这些信息能够用来决定商场的租赁价格、了解商品的销售情况；决定广告的投放效 益；帮助车站安全高效地安排附属设施；帮助交通运营部门恰当地分配人力、物力、财力， 合理地调整路线。出于上述实际应用需求，自动人员计数系统一直是研究人员关注和学习 的热点。早年的自动人员计数系统都是一些机械装置、传感器，如红外光束检测、机械传动 式自动检测、光幕传感器自动人员计数等。这些系统能够完成一定的计数任务，但在实际使 用中机械装置存在严重的性能退化、漏检等问题，特别是多人同时通过传感器时，上述问题 会频繁出现。
[0003] 随着计算机视觉的兴起，其可视化、自动化、对复杂场景的高适应性等优点将自动 人员检测系统引入了新的领域，发展出了许多高效新颖的检测方法。这些方法都有一个共 通点，那就是通过检测人头来实现监测人员流动的情况，因为人头特征明显、易于检测，并 且在人员密集的场所中也只有头部信息是可以分辨的。在实际应用中，只要拍摄到的图像 包含完整的人头，就能采用人头检测技术实现人流量的统计，同时根据人头的移动方向还 可以判断人流进出的方向。
[0004] 常用的人头检测方法分为：一是基于轮廓的检测技术，头部轮廓特征主要由头部 边缘点的梯度参数构成，常用的轮廓模型有椭圆模型、高斯模型、曲线模型(参见文献一：张 海洋，陈国龙，李现伟.基于曲率尺度空间的人头检测方法研究[J].计算机工程与应用， 2012,48(14) :195-197)，基于轮廓的检测方法在图像分辨率低、人物角度多样、遮挡较多的 情况下，其鲁棒性较差，降低了检测的准确率；二是基于颜色的检测技术，主要有发色模 型和肤色模型，基于颜色的检测方法容易受光照影响，且分离颜色时需要经常调整阈值，实 用性不佳。三是基于模板的检测技术，利用特征模板或面部模板检测人头，基于模板的检测 技术需要模板库、训练器，而模板库、训练器主要采用支持向量机SVM、AdaB 〇〇st、神经网络 等分类器进行训练，基于模板的检测方法，其分类器的训练比较耗时，对于特征量较多的情 况下，其空间复杂度会增加，运算量增加，难以满足实时监控的需求。同时，上述的方法都是 基于单目摄像机的，主要的不足之处在于：检测结果容易受到遮挡物干扰、人员外形复杂多 变、光照变化等情况的影响，同时分类器训练复杂、耗费时间。
【发明内容】
[0005] 本发明提出一种基于深度图像的人头分割方法，避免了场景中其他物体对检测的 干扰，避免了拍摄时可能会出现的遮挡、阴影的问题，可以适应不同光照条件下的检测需 求，计算量减少，满足实时检测人头的目的。
[0006] 为了解决上述技术问题，本发明提供一种基于深度图像的人头分割方法，其特征 在于，包括以下步骤：
[0007] 步骤一：使用双目摄像机以俯视角度预先采集监视区域的无人场景作为背景图像 B，然后采集有人的场景作为原始图像I，对背景图像B和原始图像I做帧间差分求取原始图 像I的运动区域；
[0008] 步骤二：对原始图像I的运动区域进行快速立体匹配计算出运动区域内每一个像 素点的视差值，获得运动区域的视差图，所述快速立体匹配的过程为：
[0009] 2. 1采用边缘检测提取原始图像I的强纹理点，对原始图像I中属于运动区域的强 纹理点进行SAD匹配求取视差值；
[0010] 2. 2对属于运动区域的非强纹理点进行视差验证并计算其视差值，具体过程为：
[0011] 假设当前非强纹理点的视差值和前一强纹理点的视差值相同，计算出当前非强纹 理点在前一强纹理点视差值下的SAD值，
[0012] 若该SAD值小于预先设定的视差验证阈值Ty，则赋予当前非强纹理点与前一强纹 理点相同的视差值，
[0013] 若该SAD值大于预先设定的视差验证阈值Ty，则通过SAD匹配计算出当前非强纹 理点的视差值，并将当前非强纹理点标记为对下一个非强纹理点进行视差验证时所使用的 强纹理点；
[0014] 步骤三：将原始图像I运动区域的视差图转换为深度图，并将深度图灰度值归一 化到0?255的范围内，然后对归一化后的深度图使用深度分割的方法提取深度图中仅含 有人头信息的深度层，所述深度分割方法中使用的深度分割阈值T s由深度图中人员头部所 在范围和整个深度图的范围决定，最后对仅含有人头信息的深度层进行数学形态学操作获 取人头轮廓。
[0015] 本发明方法与现有技术相比，其显著优点在于：
[0016] 本发明方法采用双目摄像机以俯视角度获得整个场景的深度信息，利用深度分层 的方法提取人头，避免了场景中其他物体对检测的干扰；同时，使双目摄像机以俯视角度获 得整个场景的深度信息时，对光线的改变不敏感，可以适应不同光照条件下的检测需求，而 且可以避免拍摄时可能会出现的遮挡、阴影的问题；本发明方法快速立体匹配时使用了视 差验证，使得算法的计算量减少，可以满足实时检测人头的目的。
【专利附图】
【附图说明】
[0017] 图1是本发明方法流程图。
[0018] 图2是本发明方法步骤二中快速立体匹配的流程图。
[0019] 图3是灰度相似性约束中使用的5*5的权重窗口。
[0020] 图4是斜坡约束中出现的四种梯度形态。
[0021] 图5是本发明方法实验效果图，其中图5 (a)是双目摄像机采集的原始图像中的 左图，图5 (b)是双目摄像机采集的原始图像中的右图，图5 (c)是对图5 (b)进行运动目 标提取后得到的运动目标区域，图5 (d)是对图5 (b)进行Canny边缘检测后获取的强纹 理图，图5 (e)是对图5 (d)进行快速立体匹配后得到的深度图，图5 (f)是对图5 (e)深 度分割后提取到的人头，图5 (g)是根据人头提取结果在图5 (b)中标记出人头的位置。
【具体实施方式】
[0022] 结合图1，本发明方法的步骤如下：
[0023] 步骤一：使用双目摄像机以俯视角度预先采集监视区域的无人场景作为背景图像 B，然后采集有人的场景作为原始图像I，对背景图像B和原始图像I做帧间差分求取原始图 像I的运动区域；
[0024] 步骤一中对背景图像B和原始图像I做帧间差分后，可以进一步以预先设定的运 动分离阈值T m对帧差图像进行二值化处理后，获取原始图像I的运动区域。
[0025] 步骤二：对原始图像I的运动区域进行快速立体匹配计算出运动区域内每一个像 素点的视差值，获得运动区域的视差图，所述快速立体匹配的过程为：
[0026] 2. 1采用边缘检测提取原始图像I的强纹理点，对原始图像I中属于运动区域的强 纹理点进行SAD匹配求取视差值；
[0027] 2. 2对属于运动区域的非强纹理点进行视差验证并计算其视差值，具体过程为： 假设当前非强纹理点的视差值和前一强纹理点的视差值相同，计算出当前非强纹理点在前 一强纹理点视差值下的SAD值；若该SAD值小于预先设定的视差验证阈值T y，则说明当前非 强纹理点的视差值未发生跳变，赋予当前非强纹理点与前一强纹理点相同的视差值；若该 SAD值大于预先设定的视差验证阈值Ty，则通过SAD匹配计算出当前非强纹理点的视差值， 并将当前非强纹理点标记为对下一个非强纹理点进行视差验证时所使用的强纹理点。
[0028] 本发明方法使用Canny边缘检测提取出原始图像I的强纹理点，然后对原始图像I 中属于运动区域的强纹理点进行SAD匹配求取视差值，对属于运动区域的非强纹理点进行 视差验证。
[0029] SAD匹配，即绝对误差累计，属于立体匹配中的区域匹配，本发明中使用的SAD匹 配方法是以右侧图像为基准图，对基准图中的每一个像素点，即基准点，计算其与左侧非基 准图像对应搜索范围内所有像素点的SAD值，SAD值最小时对应的视差值就是最后得到的 基准点的视差值。
[0030] SAD匹配经归一化后的公式如式（1)所示，
[0031]
【权利要求】
1. 一种基于深度图像的人头分割方法，其特征在于，包括以下步骤： 步骤一：使用双目摄像机以俯视角度预先采集监视区域的无人场景作为背景图像B， 然后采集有人的场景作为原始图像I，对背景图像B和原始图像I做帧间差分求取原始图像 I的运动区域； 步骤二：对原始图像I的运动区域进行快速立体匹配计算出运动区域内每一个像素点 的视差值，获得运动区域的视差图，所述快速立体匹配的过程为： 2. 1采用边缘检测提取原始图像I的强纹理点，对原始图像I中属于运动区域的强纹理 点进行SAD匹配求取视差值； 2. 2对属于运动区域的非强纹理点进行视差验证并计算其视差值，具体过程为： 假设当前非强纹理点的视差值和前一强纹理点的视差值相同，计算出当前非强纹理点 在前一强纹理点视差值下的SAD值， 若该SAD值小于预先设定的视差验证阈值Ty，则赋予当前非强纹理点与前一强纹理点 相同的视差值， 若该SAD值大于预先设定的视差验证阈值Ty，则通过SAD匹配计算出当前非强纹理点 的视差值，并将当前非强纹理点标记为对下一个非强纹理点进行视差验证时所使用的强纹 理点； 步骤三：将原始图像I运动区域的视差图转换为深度图，并将深度图灰度值归一化到 0?255的范围内，然后对归一化后的深度图使用深度分割的方法提取深度图中仅含有人 头信息的深度层，所述深度分割方法中使用的深度分割阈值!；由深度图中人员头部所在范 围和整个深度图的范围决定，最后对仅含有人头信息的深度层进行数学形态学操作获取人 头轮廓。
2. 根据权利要求1所述的基于深度图像的人头分割方法，其特征在于，所述步骤一中 对背景图像B和原始图像I做帧间差分后，以预先设定的运动分离阈值T M对帧差图像进行 二值化处理后，获取原始图像I的运动区域。
3. 根据权利要求1所述的基于深度图像的人头分割方法，其特征在于，所述步骤二中 对SAD匹配施以匹配约束条件，实施匹配约束条件的方法如下： 3. 1将人员在原始图像I中可能出现的区域限定为匹配的搜索范围，所述人员在原始 图像I中可能出现的区域由人员的高度和摄像机距离地面的高度决定； 3. 2使用灰度相似性约束删除搜索范围内灰度值与基准点灰度值相差较大的像素点； 3. 3使用斜坡约束，对满足灰度相似性约束的全部像素点计算其梯度形态，选取满足相 同梯度形态的像素点作为SAD匹配的候选像素点。
【文档编号】G06T7/20GK104517095SQ201310463756
【公开日】2015年4月15日 申请日期:2013年10月8日 优先权日:2013年10月8日
【发明者】钱惟贤, 顾骋, 顾国华, 尹章芹, 周霞, 陈钱, 路东明, 任侃, 任建乐 申请人:南京理工大学