专利名称：实时身体分割系统的制作方法
技术领域：
本发明涉及三维数据分析，更具体地，涉及用于应用计算机视觉的图案识别的对 象分割。
背景技术：
对象分割是语义对象提取的关键技术，并且在数字视频处理、图案识别和计算机 视觉方面是有用的。分割/追踪视频对象形式的三维图像的工作出现在很多应用中，例如 视频监控和监视、视频摘要和索引以及数字娱乐。应用的采样包括-视频监视，其中分割结果用于允许识别入侵者或者异常情况，并且有助于预测和 揭示环境中的动作和相互作用的图案，以确定何时应当把“警报”通知给安全单位。-基于内容的视频摘要，例如体育赛事摘要，视频预览，视频图案挖掘，S卩，需要已 分割的语义对象以执行内容分类、表现或理解的工作。-基于内容的编码应用，其中视频序列的每一帧被分割为具有任意形状的语义上 有意义的对象。-计算机视觉，例如视频抠图、视频“艺术风格化”和渲染，其中来自输入图像或者 视频序列的已分割的二维对象能够用于3D场景重建。-视频会议和视频电话应用，其中分割能够通过以较高质量对最相关对象进行编 码而实现更好的质量。-数字娱乐，其中通过分割能够取代一些具体对象，如视频游戏。其他可能的应用包括工业检查、环境监控或者元数据与已分割对象的关联等。人体图像对象分割通常被认为是人体识别、行为分析或者人机通信的关键步骤。 从图像等取得的、作为所谓人体对象的数据集和特征能够应用于很多领域，例如视频监视、 计算机视觉和视频娱乐。例如，所提取的人体对象能够用于允许可疑行为的识别，并且它可 以帮助发现有问题的行为并且向安全中心警告可能发生的危险。通常，对象分割能够分为两个阶段，即与图案识别相关的期望对象检测和与聚类 (clustering)技术相关的对象提取。在检测模式中，对象分割能够以两种方式执行，有监督 的和无监督的。然而，由于不同的对象特征，例如颜色、强度、外形和轮廓，通常难以自动地 发现(无监督的)期望对象。为了避免对感兴趣对象的分割的错误检测，已经开发了很多 交互式方法，这些交互式方法需要用户事先限定所期望的对象。由于以用户方面的交互式 努力为代价而避免了对象检测的复杂步骤，所以这些方法通常能够向用户提供比自动方法 更好的分割性能。为了满足未来的基于内容的多媒体服务，在真实世界的场景中迫切地需要以无监督的方式分割有意义的对象。在文献中能够找到很多视频分割方法，并且通常使用空间和时间信息。空间分割 方法关于颜色或强度将每一帧划分成同种区域。典型的划分方法通常被分成基于区域的方 法、基于边界的方法和基于分类的方法。包含区域增长、分裂和合并的空间分割方法依赖于局部特征(例如，颜色、纹理、 运动和其他像素统计)的同质性。时间分割方法使用主梯度信息来对对象边界进行定位。 在基于分类的方法中，首先创建特征空间的划分，然后将其转换为视频信号。这种方法可以 是记号(cue)的组合，例如纹理、颜色、运动和深度。空间分割方法能够产生相对准确的对 象边界。然而，由于必须对于每一帧在整个图像上进行分割，所以计算复杂度充分高并且限 制了用于非实时应用。此外，基于空间方法的主要问题是对于下面的“被破坏的”情况缺少 鲁棒性(robustness)，例如有噪声的或者模糊的视频图像，在视频图像中区域的边界经常 缺失或者与其他区域混合。另一方面，时间分割利用运动而不是空间信息来获得对象的初始位置和边界。所 谓的变化检测掩模(mask)是被并入分割处理中的动作信息的最常见的形式。因为感兴趣 的对象通常是运动的，所以能够根据帧间或者背景帧基础进行变化检测。由于图像噪声的 原因，对象的边界常常是不规则的，必须使用图像的空间信息进行提炼。由于边界微调程序 只包含已分割的运动区域而不是整个帧，所以获得了更高的效率。然而，阴影效应、反射和 噪声可能被错误地分配给前景对象。而且，通常难以辨别由真实对象运动引起的改变和由 噪声、阴影效应等引起的改变。由于感兴趣的对象通常对应于可能具有很多空间_时间变化的多个区域，所以大 多数现有的视频图像分割技术不能自动地提取图像中的对象。不使用任何主分割准则难以 自动地分割这些对象。“盲分割，，算法没有关于被分割对象的环境知识的假设，其内在问题 是，相对于低级特性，感兴趣的对象之间可能没有同质性，或者对象可能随着环境因素(例 如光照条件等)改变。由于这些和其他原因，需要适用于动态人体形状的改进的对象分割。
发明内容
在旨在提供基本上实时识别人体部分的人特征识别系统中，提供了多种方法和结 构，以通过减少的计算需求便于实时识别，包括面部检测模块、人体检测模块以及边界抠图 模块。在具体的实施方式中，面部检测模块使用了主动提升程序。在另一实施方式中，面部 检测模块在混合级联结构上使用了懒惰提升程序来加速对象检测。混合级联结构是树形结 构，在树形结构中一类节点表示从主动提升学习到的强分类器，另一类分类器是通过低计 算量的懒惰提升得到的，弱分类器从前面的层得到。本发明有用的贡献是能够在检测有效面部时拒绝非面部样本的、基于特征的拒绝 器。该拒绝器使用了非归一化的Haar变换来帮助拒绝处理。其他机制包括主动提升和被 动提升，被动提升利用了之前帧的前景特征。在具体的实施方式中提供的是精细和粗略的 分割以及利用能量最小化技术自动产生的三分图。其他特征包括根据为实时分割专门开发 的算法的方法。在很多的优势之中，本发明能够独立地对对象进行操作，从而使适合的编码算法能够用于每个对象，致使主观质量的提升。本发明应用于由提供多媒体服务的电信公司以及诸如银行、旅馆和安全机构的服 务行业提供的、预期的基于内容的实时多媒体服务。例如，电信公司能够将该技术并入产品 中，以对用户提供更好的多媒体服务，其具有建立在基于内容的编码基础之上的更好的视 觉质量、视频内容浏览(例如电视或电影节目)和检索以及视频游戏等。本发明还向视频 监视应用提供关键技术，该视频监视应用能够为一些特定用户(例如银行、超市和旅馆)提 供待识别和追踪的分割的对象(人)。此外，作为图案识别领域的重要技术，本方案的结果 还可以用于护照、身份证/信用卡或者其他带有相片的证书中的面部识别。基于本发明的产品能够直接增强实时多媒体服务的竞争力，并且提升当地电信业 的技术水平。通过参照以下详细描述及附图，将更好地理解本发明。
图IA是根据本发明的对象分割系统的实施方式的结构框图；图IB是示出了根据本发明的实施方式的系统工作的流程图；图2是人脸检测程序的简化流程图；图3是示出了基于特征集的非归一化Haar变换(NHT)系数的实例的图；图4示出了用作学习特征的基本单元的矩形块的形式；图5是示出了给定的归一化权重的采样结果的概率图；图6是示出了两块的特征结构的一对相关的三维图；图7A是现有技术中已知的级联分类器的图示；图7B是根据本发明的混合级联结构的图示；图8是权重系数w的计算的图解说明，其中F和B分别表示前景和背景；图9是示出了如何将矩形使用在用于粗略分割的初始区域选择中的二维图解说 明；图10是示出了根据跟踪方案的分割的图；图11A-11C是蒙板问题的图示；图12A-12B示出了面部检测处理的详细流程图；图13A-13F示出了身体分割处理的详细流程图；并且图14A-14D示出了对处理进行说明的一组图。下面列出了图12A-12B中变量的定义SIZE_H 帧图像的宽度SI ZE_V 帧图像的高度IGR(I)计算I图像的积分图像IGR(Ia)计算I2图像的积分图像W:样本窗口Ws:样本窗口的尺寸分类器的数目层Lnum = 12每个层中的节点NodeNum
训练数据窗口Wt ；变量 Vt ；变量 Vn2 ；特征模式M[]；变量 alpha 口 ；阈值 Thrshold ；阈值 taoT[]V2num = 40 变量分类器的层B2num = 50 块分类器的层p[]学习变量的符号mv[]学习变量下面列出了图13A-13F中变量的定义Y, Cb, Cr 表示YCbCr颜色空间的分量start_Px 初始窗口的左上点的坐标宽度start_Py :初始窗口的左上点的坐标高度W:初始窗口的尺寸Sequare 存储前景像素的结构Ri 前景中第i个对象区域CenterNumF 前景的聚类数目CenterNumB 背景的聚类数目Vpim:图像的像素值Beta— (0，1)学习参数的权重Struct sequare{self ；// 当前像素right;//右邻的像below;//相邻的像素}；μ κ:区域R的均值Σ κ:区域R的协方差(I(VijV2) :V1和V2之间的欧几里德距离
权利要求
一种用于在识别人的系统中识别所选的人体部分的特性和特征的方法，包括捕获具有已知人体部分的人体的至少一部分的图像作为数据集；通过使所述数据集经过多次基于特征的拒绝测试，从代表所述图像的所述数据集中识别对应于所述已知人体部分的子数据集；根据适合于特性分析的、识别的子数据集片段，分割用于所述已知人体部分的所述子数据集；使所述子数据集片段与已知特性匹配；以及将所述已知特性作为输出报告给输出装置。
2.如权利要求1所述的方法，其中所述已知人体部分是人脸，所述基于特征的拒绝测 试使用区域方差特征集作为第一分类器。
3.如权利要求2所述的方法，其中所述区域方差特征集是从在输入扫描期间用于光照 修正的积分图像中构造的。
4.如权利要求2所述的方法，其中所述基于特征的拒绝测试进一步使用由仅低-低非 归一化Haar变换系数之间的差构成的特征集作为第二分类器。
5.如权利要求4所述的方法，其中所述特征集由通过算术运算组合的多个类积木特征 形成。
6.如权利要求1所述的方法，其中所述分割步骤使用了主动提升，所述主动提升的特 征在于重要性权重采样、Kullback-Leibler置信图、基于均值漂移的区域分割以及主动特 征选择。
7.如权利要求6所述的方法，其中所述特征集包括两个和四个矩形块之间的多个线性 组合，所述矩形块用于产生表示Haar变换系数的特征。
8.如权利要求7所述的方法，其中特征集分类包括 对每个两块特征执行主动提升程序；对于每个提升程序记录分类误差；然后 通过下面的方式选择具有最低误差的两块特征 根据误差按次序整理所述两块特征，以及 选择多个高位的两块特征；然后 由所述高位的两块特征组成四块特征；然后 对每个所述四块特征执行所述提升程序； 对于所述提升程序记录分类误差；然后将所述四块特征的所述分类误差与所述高位的两块特征的所述分类误差相比较；以及 选择具有最低总误差的特征。
9.如权利要求6所述的方法，其中所述主动特征选择包括利用粗略标准搜索特征，然 后利用精细标准搜索特征。
10.如权利要求1所述的方法，其中所述子数据集包括混合级联结构，所述混合级联结 构是树形结构，其中第一节点类型表示从主动提升学习到的强分类器，第二节点类型是通 过低计算量的懒惰提升得到的，并且弱分类器是从前面的层得到的。
11.如权利要求10所述的方法，其中所述分割步骤包括执行懒惰提升程序，以加速匹配。
12.如权利要求1所述的方法，其中所述分割步骤包括将之前的图像帧的前景信息用 于当前计算，并且更新前景信息为之后的帧作准备，以促进快速多层分割。
13.如权利要求12所述的方法，其中根据下面的函数更新前景信息Mf ⑷=去 Σ ‘ ⑷ expi- ^ k ( ) _ Μ ⑴Γ Σ:1 k ⑷-Mf ⑴ |σ, =⑷ exP〔-1 k - σ[ (l)f Σ:1 [σ[ (η) - σ[⑴])其中『=Σ εχρ - ^ k ( ) - ( )Γ Σ:1 k ⑷-⑴]]k V^J其中，W是归一化因数，和<( )表示帧η的前景的第i个分量的均值和方差。
14.如权利要求1所述的方法，其中所述分割步骤包括利用能量最小化自动产生三分图。
15.一种通过识别所选人体部分的特性和特征来识别人的系统，包括用于捕获的代码，其捕获具有已知人体部分的人体的至少一部分的图像作为数据集； 用于识别的代码，其通过使所述数据集经过多次基于特征的拒绝测试，从代表所述图 像的所述数据集中识别对应于所述已知人体部分的子数据集；用于分割的代码，其根据适合于特性分析的、识别的子数据集片段分割用于所述已知 人体部分的所述子数据集；用于匹配的代码，其使所述子数据集片段与已知特性匹配；以及 用于报告的代码，其将所述已知特性作为输出报告给输出装置。
16.如权利要求15所述的系统，其中所述已知人体部分是人脸，所述基于特征的拒绝 测试使用区域方差特征集作为第一分类器，所述特征集是从在输入扫描期间用于光照修正 的积分图像中构造的，并且所述特征集包括用于构建的代码，所述用于构建的代码用于将 仅低_低非归一化Haar变换系数之间的差的特征集构建为第二分类器。
17.如权利要求16所述的系统，包括用于特征集分类的代码，所述用于特征集分类的 代码包括用于对每个两块特征执行主动提升程序的代码； 用于对于每个提升程序记录分类误差的代码； 用于通过下面的方式选择具有最低误差的两块特征的代码 根据误差按次序整理所述两块特征，以及 选择多个高位的两块特征；用于由所述高位的两块特征组成四块特征的代码；然后 用于对每个所述四块特征执行所述提升程序的代码； 用于对于所述提升程序记录分类误差的代码；用于将所述四块特征的所述分类误差与所述高位的两块特征的所述分类误差相比较 的代码；以及用于选择具有最低总误差的特征的代码。
18.如权利要求15所述的系统，其中所述子数据集包括混合级联结构，所述混合级联结构是树形结构，其中第一节点类型表示从主动提升学习到的强分类器，并且第二节点类 型是通过低计算量的懒惰提升得到的，且弱分类器是从前面的层得到的，其中所述用于分 割的代码包括用于执行懒惰提升程序以加速匹配的代码。
19.如权利要求18所述的系统，其中根据下面的函数更新前景信息
20.如权利要求15所述的系统，其中所述分割代码包括利用能量最小化自动产生三分 图的代码。
全文摘要
公开了人特征识别系统，该系统旨在提供基本上实时的人体部分识别，其中提供了多种方法和结构，以通过减少的计算需求便于实时识别。人特征识别系统包括在混合级联结构上使用了主动提升程序和懒惰提升程序的面部检测模块，人体分割模块和边界抠图模块。混合级联结构是树形结构，其中一类分类器是通过低计算量的懒惰提升得到的，弱分类器是从前面的层得到的。
文档编号G06K9/00GK101971190SQ200980108017
公开日2011年2月9日 申请日期2009年3月2日 优先权日2008年3月7日
发明者李宏亮, 颜庆义 申请人:香港中文大学