专利名称：用于特定前景物体的检测验证的方法和系统的制作方法
技术领域：
本发明涉及一种用于图像前景物体的检测验证方法和系统，更具体地涉及一种使用所拍摄的深度图像对特定对象进行检测验证的方法和系统。
背景技术：
在各种人机交互、游戏以及智能系统等应用中，通常要对参与的人员进行视频监控，而视频监控一个比较重要的环节就是需要检测视频图像中的参与人员，而这种检测过程必须要对包含参与人的视频图像进行图像处理。而这些图像处理通常采用普通摄像机拍摄进行视频处理。实际应用过程中，这种采用普通摄像机拍摄的视频来检测参与人的图像
处理技术面临许多问题比如检测率低，误检率高，无法实时等等，导致这些问题的原因在于包含参与人员的场景中的参与人员的行为复杂性、场景的光线比较暗、以及场景的亮度通常存在突变的情况。人们为了解决采用普通摄像机拍摄的视频进行检测参与人员的方法存在的上述问题，提出了许多解决的方法，例如，在场景中的参与人员身上增加传感器，但是这种方法只能适用在某些特定的场景，而且参与人员(用户)的体验效果不好。另外，随着深度照相机的出现，由于深度照相机采集的是场景内的距离信息，因此人们试图利用距离信息来对参与人员进行检测，但是基于深度摄像机的算法目前仍不成熟。目前，人们已经提出了一些用于人的检测技术。美国专利申请US20090210193A1提出了一个检测并定位人的方法。该方法使用基于TOF的距离图像传感器输出空间内对象的距离，并给予这种距离变化，检测出包含这种距离变化的区域；然后采用分割模块从所检测到的距离变化区域中分割出参与人员的人的特定形状，从而定位人的方向。很显然，该美国专利申请使用了一种具体人的特征，例如躯干，腿等特征来分割距离变化区域中人的图像。该专利根据距离变化检测物体使用躯干，腿等特征验证人。另外，鉴于通常对象的三维特征，欧洲专利申请EP1983484A1提出一种采用采集装置采集三维物体并且计算出视差图(disparity component data)来检测三维对象的方法。该方法预先建立三维对象的模型，计算出从不同的视角观察到此三维模型所得到的二维投影的一组灰度图，并将这组灰度图定义为对象模板，然后比较对象模板与所采集到的图像区域，在所采集到的图像的某个区域与所述对象模板之间具有最高的关联度值时，则认为该区域具有一个三维对象。很显然，三维对象模型采用灰度图，无法进行归一化处理。鉴于参与人的人脸特征，美国专利申请US20100158387A1提出一种人脸检测方法。该方法采用一种图像处理模块使用多幅图像计算出距离信息并且根据距离信息分割出前景区域和背景区域，然后采用人脸检测模块根据距离对前景区域进行缩放，然后在缩放后的图像中检测人脸。然而，该专利申请只能对人脸进行检测，因此对场景中出现的人的其他部分或其他物体无法进行检测
发明内容
为了解决上面所提到的现有技术中的这些问题，本发明提出了一种特定前景对象的检测验证方法和系统。具体而言，本发明提供了一种特定前景对象的检测验证方法，包括采用深度照相机获取当前环境的深度信息，并基于所述获得的深度信息创建当前环境的深度图；比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度，更新背景深度图模型；从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模型，从而得到当前环境的背景的前景区域的深度图；将所得到的前景区域的深度图中一个或多个连通域进行编号，并在具有多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对象；以及采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象。根据本发明的特定前景对象的检测验证方法，其中所述比较所创建的当前环境的 深度图与初始化背景深度图各像素点的深度以便更新背景深度图模型包括通过对连续几帧图像采用中值滤波进行降噪滤波处理。根据本发明的特定前景对象的检测验证方法，其中所述比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度以便更新背景深度图模型包括反复执行的如下步骤比较所创建的当前环境的深度图与在创建的当前环境的深度图之前所存在的背景深度图各像素点的深度，并在发现在当前环境深度图的一个像素点的当前深度大于所述背景深度图中的对应像素点的深度时，将所述背景深度图中的对应像素点的深度更新为当前环境深度图的一个像素点的当前深度值；反复执行上述步骤，直到在一预定时间阈值内发生上述更新的像素点的数量少于一预定的数量阈值为止。根据本发明的特定前景对象的检测验证方法，所述方法还包括在验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象之前，建立特定对象模板。根据本发明的特定前景对象的检测验证方法，其中所述特定对象模板是一种特定对象的深度图，具有固定的大小并且深度值为该类特定对象到指定摄像机的固定距离。根据本发明的特定前景对象的检测验证方法，所述方法还包括在所述采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象的步骤之前，对待验证的前景对象根据其深度图所包含的距离信息改变前景对象深度图的尺寸。根据本发明的特定前景对象的检测验证方法，所述对待验证的前景对象根据其深度图所包含的距离信息改变前景对象深度图的尺寸的步骤包括计算所述前景对象深度图的各个像素的深度值的平均深度；基于所述特定对象模板中指定的固定深度值和所计算的前景对象深度图的平均深度来计算所述前景对象深度图的缩放比例；以及根据所计算的缩放比例改变所述前景对象深度图的尺寸。根据本发明的特定前景对象的检测验证方法，其中所述采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象的步骤通过采用归一化相关系数(NCC)的算法对所述特定对象模板和所述改变尺寸后的前景对象深度图进行模板匹配来进行。根据本发明的另一个方面，还提供了一种特定前景对象的检测验证系统，包括深度图采集设备，获取当前环境的深度信息，并基于所述获得的深度信息创建当前环境的深度图；背景建模单元，比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度，更新背景深度图模型；背景减除单元，从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模型，从而得到当前环境的背景的前景区域的深度图；前景对象分割单元，将所得到的前景区域的深度图中一个或多个连通域进行编号，并在具有多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对象；以及前景对象验证单元，采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象。本发明只是用深度图，采用的检测特征为特定对象的轮廓，更具备鲁棒性。
图I所示的是采用本发明的前景对象的检测验证方法和系统的场景示意图。图2所示的是根据本发明的前景对象的检测验证方法的流程图。 图3所示的是根据本发明的背景建模步骤的流程图。图4所示的是根据本发明的背景减除步骤和前景对象分割步骤的流程图。图5阐所示的是根据本发明的背景减除步骤和前景对象分割步骤的示意图。图6所示的是根据本发明的前景对象验证步骤的流程图。图7-1所示的是根据本发明的改变深度图尺寸步骤的流程图。图7-2所示的是根据本发明的改变深度图尺寸步骤的示意图。图8-1所示的是根据本发明的头肩模板的示意图。图8-2所示的是与根据本发明的头肩模板不同的灰度图模板的示意图。图9所示的是根据本发明的将对象形状和模板匹配步骤的流程图。图10所示的是根据本发明的将NCC匹配结果可视化的示意图。图11所示的是根据本发明的系统方框图。
具体实施例方式以下，将参照附图来详细说明本发明的具体实施例。图I所示的是采用本发明的前景对象的检测验证方法和系统的场景示意图。由一个三维摄像机进行拍摄，同时本发明对拍摄的数据进行处理。输出可以展示在显示设备上。图2所示的是根据本发明的前景对象的检测验证方法的流程图。首先，在步骤11处，由深度图采集单元U10，获取当前环境的深度信息，并基于所述获得的深度信息创建当前环境的深度图。随后，在步骤12处，由背景建模单元U13比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度，更新背景深度图模型。接着，在步骤13处，由背景减除单元U14从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模型，从而得到当前环境的背景的前景区域的深度图。然后，在步骤14处，由前景对象分割单元U15将所得到的前景区域的深度图中一个或多个连通域进行编号，并在具有多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对象。最后，在步骤14处，由前景对象验证单元U16采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象。并在步骤15处，输出经过验证的对象。深度图可以通过三维摄像机获取，比如PrimeSense。所谓深度图就是，深度照相机通过拍摄位于照相机镜头前的环境，并计算所拍摄的环境中每个像素点距离深度照相机的距离，并采用例如16位的数值来记录每个像素点所代表的物体与深度照相机之间的距离，从而有这些每个像素点所附带的表示距离的16位数值形成一幅表示各个像素点与照相机之间距离的图。一个深度图10是一个图像，其每一个像素值的含义是该位置离摄像机的距离信息。距离的绝对数值是无法可视化的，所以需要对数据进行一些处理使得其满足数字图像数值的约束，故被称作深度图。在后续的说明中提到的深度图10是指其原始的距离值而不是处理过可视化的像素值。图3所示的是根据本发明的背景建模步骤的流程图。首先，在步骤SllO处，输入初始化模型。初始化背景模型首先可以用第一帧(或者前几帧的平均值)的深度图作为初始背景模型，之后会动态的不断更新背景模型。为了能够在任何场景中使用本发明，因此，背景模型需要实时更新。为此，需要在步骤Slll处采用深度照相机连续获取本发明所应用场景的N帧深度图。鉴于每帧图的深度可能存在不稳定，因此，在步骤S112处对所获取的N帧深度图执行降噪处理。举例来说，降噪方法为取得N帧深度图，对这N帧深度图中的同一位置的像素对应N个深度值,使用降噪函数进行。降噪函数可以使用中值滤波函数，其表达式为 如，少)=^edianidi(x, y))⑴其中d(x，y)表示在位置(x，y)上的深度值，N表示图像帧数。通过对所获得深度图中每个位置的深度值执行上述处理后，在步骤S113处输出包含降噪处理后深度值的深度图。之后，在步骤S115处，采用经过降噪处理后的深度图来更新初始背景模型。更新处理过程具体如下在步骤S114处输入进行更新之前已经存在的背景模型，之后比较所述更新之前已经存在的背景模型深度图和经过降噪处理之后获得的深度图之间的深度值，如果两幅深度图对应位置的某个像素在深度值之间存在经过降噪处理之后获得的深度图的深度值比较所述更新之前已经存在的背景模型深度图的深度值大的情况，就表明经过降噪处理之后获得的深度图的该位置像素点距离深度照相机更远，并且表明该像素点在形成被更新之前的背景模型的时候是被某个前景物体遮挡的，而该前景物体在形成上述N帧深度图的时候被移开。因此，该降噪处理之后获得的深度图的该位置像素点更应该成为背景的一部分，从而将该像素点的深度值更形为背景模型深度图中对应像素点的深度值。具体的更新表达式为
,,\d(x,y),d(x,y)>dB(x,y)dB(x^y) = S 』，...
L B 1^*5 OttlCTWiSC(2)其中J表示降噪后的深度图中的深度值，而dB表示背景模型中的深度值。鉴于在使用本发明的场景过程中不可能一直处于变化过程中，相反，在经过初期的变化后，通常会处于一定的稳定状态。例如在一个会议场合，在人们坐定之后，场景的变化一般很少。为了降低更新的计算量，本发明进一步可以规定更新中止。为此，本发明建立背景模型的过程还包括步骤S116。在步骤S116处，利用中止条件中止背景模型更新过程，中止条件定义为在规定时间T内，更新背景模型的步骤SI 15中发生更新的像素数量小于一个给定的阈值CountTh。通过上述方式，可以进行背景模型深度图处于动态状态，因此能够实时使用本发明而不受环境变化的影响。图4所示的是根据本发明的背景减除步骤和前景对象分割步骤的流程图。在背景模型更新之后或同时，通过从新获取的深度图中减去当前背景模型的深度图，由此获得新获取的深度图中可能前景对象的深度图。该流程的具体过程如下首先，在步骤S120处，从深度照相机的摄像头中获取一帧深度图。然后在步骤S121处，接收所输入的背景模型(该背景模型可以是初始的，也可以是刚刚更新过的)，并从所获取的深度图中减去所输入的背景模型的深度图，并输出前景深度图122。具体的减除策略由下列表达式(3)给出
权利要求
1.ー种特定前景对象的检测验证方法，包括 采用深度照相机获取当前环境的深度信息，并基于所述获得的深度信息创建当前环境的深度图； 比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度，更新背景深度图模型； 从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模型，从而得到当前环境的背景的前景区域的深度图； 将所得到的前景区域的深度图中ー个或多个连通域进行编号，并在具有多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对象；以及 采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象。
2.如权利要求I所述的方法，其中所述比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度以便更新背景深度图模型包括 通过对连续几帧图像采用中值滤波进行降噪滤波处理。
3.如权利要求I所述的方法，其中所述比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度以便更新背景深度图模型包括反复执行的如下步骤 比较所创建的当前环境的深度图与在创建的当前环境的深度图之前所存在的背景深度图各像素点的深度，并在发现在当前环境深度图的ー个像素点的当前深度大于所述背景深度图中的对应像素点的深度时，将所述背景深度图中的对应像素点的深度更新为当前环境深度图的ー个像素点的当前深度值； 反复执行上述步骤，直到在一预定时间阈值内发生上述更新的像素点的数量少于ー预定的数量阈值为止。
4.如权利要求I所述的方法，所述方法还包括 在验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象之前，建立特定对象模板。
5.如权利要求4所述的方法，其中所述特定对象模板是ー种特定对象的深度图，具有固定的大小并且深度值为该类特定对象到指定摄像机的固定距离。
6.如权利要求5所述的方法，所述方法还包括在所述采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象的步骤之前，对待验证的前景对象根据其深度图所包含的距离信息改变前景对象深度图的尺寸。
7.如权利要求6所述的方法，所述对待验证的前景对象根据其深度图所包含的距离信息改变前景对象深度图的尺寸的步骤包括 计算所述前景对象深度图的各个像素的深度值的平均深度； 基于所述特定对象模板中指定的固定深度值和所计算的前景对象深度图的平均深度来计算所述前景对象深度图的缩放比例；以及 根据所计算的缩放比例改变所述前景对象深度图的尺寸。
8.如权利要求7所述的方法，其中所述采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象的步骤通过采用归ー化相关系数(NCC)的算法对所述特定对象模板和所述改变尺寸后的前景对象深度图进行模板匹配来进行。
9.一种特定前景对象的检测验证系统，包括 深度图采集设备，获取当前环境的深度信息，并基于所述获得的深度信息创建当前环境的深度图； 背景建模单元，比较所创建的当前环境的深度图与初始化背景深度图各像素点的深度，更新背景深度图模型； 背景减除单元，从深度照相机再次拍摄的当前环境的深度图中减去所更新的背景深度图模型，从而得到当前环境的背景的前景区域的深度图； 前景对象分割单元，将所得到的前景区域的深度图中一个或多个连通域进行编号，并在具有多个连通域的情况下，将这些连通域分割开来，作为多个候选的特定前景对象；以及前景对象验证单元，采用模板匹配机制来验证所分割获得的特定前景对象是否属于被匹配的模板类型的特定前景对象。
全文摘要
本发明提供了检测并验证图像中的多个特定前景对象的方法和装置，该方法可以包括根据图像中各像素点距离的变化动态的建立背景模型；从当前图像中减除背景模型得到前景区域；对前景区域进行分割；以及对每一个前景验证其是否是某类特定对象。特定对象可以是人或椅子等某一类对象。本发明实现了检测的快速算法，并且提高了检测的准确度，降低误检率。
文档编号G06K9/00GK102855459SQ20111018150
公开日2013年1月2日 申请日期2011年6月30日 优先权日2011年6月30日
发明者王鑫, 范圣印 申请人:株式会社理光