专利名称：一种具有密集人流中的抗干扰功能的三维人体数据识别方法
技术领域：
本发明涉及三维图像处理领域，尤其涉及一种具有密集人流中的抗干扰功能的三维人体数据跟踪识别方法。
背景技术：
人机凌空互动是指用户不用实际接触任何显示设备，就可对该显示设备进行操作和控制，给用户带来神奇和科幻的体验感。随着硬件和软件技术的成熟，凌空互动技术日渐成熟。凌空互动系统具有新颖、容易实现和维护、方便灵活等特点。凌空互动技术可以应用在很多领域。从广告宣传的角度来说，商家可以跟消费者互动的方式来展现他们的商品，互动的过程可以增强消费者的兴趣以及购买欲，同时商家 也可以省去描述的痛苦。撇去传统的鼠标和键盘，这种技术可以创造一种新型的控制手段，手术医生可以在手术期间凌空翻动手术所需要的资料，这样省却了额外的细菌感染。在很多不适合人类工作的场合，机器人具有很高的应用价值，这种技术可以提供方式控制机器人。对爱好网络购物的人来说，能在家试一下网店的衣服将是非常诱人的想法，这种技术也提供了这个想法实现的可能性。采用三维摄像机对人体三维数据进行识别和跟踪，可以使用人体的三维数据来非接触式的控制数字屏幕。但是这种技术往往只能用于简单背景的家庭环境，在密集人流的场景下，很难将控制人和背景围观人群进行区分，因此很难用于公共商业场合。景深摄像头利用红外原理形成三维成像，因为其简单且有效的技术，近几年引起了很多人的关注。跟普通摄像头不同的是，景深摄像头考虑了物体与摄像头的距离，因此，比起多个普通摄像头的信息融合，它省去了算法上的麻烦。普通的RGB摄像头则具有价格便宜，且数字图像技术发展迅速。将两者结合有效地结合，能很好地实现运动物体检测、识别和跟踪。各种基于景深摄像头的研究层出不穷，景深摄像头与普通RGB摄像头的校准匹配，基于景深摄像头的三维重建、手势识别一直是科学家们在致力研究的课题。基于三维的手势识别比传统的二维处理增加了手势的类型，对三维空间的应用更灵活。随着微软的Kinect的面世，更加深了对体感应用的开发。然而要确保各种研究的精度，一般都应用在简单的背景下，具有干扰的复杂背景下，这些系统方法往往会不尽人意。因此在密集人流的复杂背景下的抗干扰方法以及多目标的检测、跟踪，是比较难却有意义的课题。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种在多目标的密集人流的背景下能够稳定地锁定主目标人，将背景和围观的人群有效地区分开的具有密集人流中抗干扰功能的三维人体数据跟踪识别方法。
为实现上述目的，本发明提供了一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其特征在于，采用三维人体数据跟踪识别和人脸数据跟踪识别相结合，具体包括如下步骤I)确定作为跟踪和识别对象的主目标人；2)对步骤I)中所确定的主目标人的动作进行跟踪识别；其中，所述步骤I)包括寻找主目标人，当有新的目标出现时判断所述新目标是否为新的主目标人，若是则更新主目标人，否则保持原有主目标人以及当前主目标人丢失时重新找回主目标人，所述寻找主目标人是根据三维摄像头捕捉的三维人体数据来进行的，所述判断新的目标是否为新的主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的，所述重新找回主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的。
进一步地，所述三维人体数据是由三维摄像头捕捉的图像得到的，人脸数据是由RGB摄像头捕捉的图像得到的。进一步地，所述步骤I)中的所述寻找主目标人是根据所述三维摄像头捕捉到的多个目标人体的三维数据集合中所对应的景深最小的三维数据所对应的目标人体作为主目标人的。进一步地，所述步骤I)中的所述判断新目标是否为新的主目标人的步骤是通过两个目标人的人脸是否遮挡为原则来判断的。进一步地，所述重新找回主目标人的步骤是重新找回主目标人的算法来实现的。进一步地，人脸数据跟踪识别中的主目标人的确定是由所述步骤I)中根据三维摄像头捕捉的三维人体数据所确定的主目标人在三维成像中的位置信息再根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系得到主目标人的RGB成像位置坐标，再经过人脸检测得到人脸位置信息和人脸大小信息而实现的。进一步地，所述人脸是否遮挡是以新目标人与摄像头的距离是否小于主目标人与摄像头的距离并且两个目标人的脸部在水平面上是否重叠为原则来判断的。进一步地，所述重新找回主目标人的算法是根据目标人的RGB成像在跟踪识别中的大小的变化估算出目标人与RGB摄像头之间的距离，从而进一步得到目标人的三维成像的位置坐标来实现的。进一步地，当出现新目标并且经过人脸是否遮挡判断所述新目标为主目标人时，更新所述三维人体数据中的主目标人信息和人脸数据中的主目标人信息。本发明的有益效果在于本发明的具有密集人流中抗干扰功能的三维人体数据识别方法通过三维人体数据跟踪识别和人脸数据跟踪识别相结合，使得三维人体数据跟踪识别在密集人流的公共场合，能够稳定的锁定主目标人，将背景和围观的人群有效地区分开，从而保证三维人体数据跟踪识别在密集人流的多目标背景下具有抗干扰功能。以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
图I为本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法的处理流程图；图2为本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法中的新目标与主目标人是否人脸遮挡的处理流程图；图3是本发明的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法中的找回主目标人的处理流程图。
具体实施例方式下面结合附图来具体说明本发明的实施例。如图I所示，一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，采用三维人体数据跟踪识别和人脸数据跟踪识别相结合，具体包括如下步骤I)确定作为跟踪和识别对象的主目标人； 包括寻找当前主目标人，当有新的目标出现时判断所述新目标是否为新的主目标人，若是则更新当前主目标人，以及当前主目标人丢失时重新找回当前主目标人。三维摄像头捕捉到多个目标人的三维人体数据集D及其对应的景深集Z后，根据以下准则来从多目标中寻找当前主目标人c = aigmin(Z)
. _ m—λ .—则主目标人在三维成像中的坐标位置确定为D。= {U。，Vj ,将上述坐标位置信息作为当前主目标人的位置信息保存，其它目标人则看作干扰，同时，利用确定的三维成像中的主目标人信息确定人脸数据中的主目标人信息。当有新的目标出现并且新目标的景深集与当前主目标人的景深集满足ZnOT <Z。时，判断新目标与当前主目标人是否产生人脸遮挡以确定其是新的主目标人还是干扰源，若判断为是新的主目标人，则更新三维成像中的主目标人信息和人脸数据中的主目标人信息，否则保持原有主目标人。当前主目标人突然丢失时，利用人脸数据和三维人体数据来重新找回当前主目标人。2)对步骤I)中所确定的主目标人的动作进行跟踪识别；在上一步中确定了当前主目标人后，根据当前主目标人的三维人体数据D。，可以得到当前主目标人的骨骼结构，根据骨骼结构的变化可以进行当前主目标人的动作识别。譬如根据骨骼变化可以识别是抬左手还是前推，还是抬右手等等，从而进行动作识别。对当前主目标人的跟踪则根据主目标人的景深Z。，设定一个允许的偏差值范围，只要在当前主目标人的景深在其上下允许的偏差范围之内，则锁定跟踪当前主目标人。其中，三维人体数据是由三维摄像头捕捉的图像得到的，人脸数据是由RGB摄像头捕捉的图像得到的。上述步骤I)中的利用确定的三维成像中的主目标人信息确定人脸数据中的主目标人信息具体为假设主目标人在三维成像中的位置坐标为D。= {u。，V。}，根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系，可以得到主目标人的RGB成像的位置坐标为 D’ c = {u’。，V’ J。其中，上述三维成像的位置坐标与RGB成像的位置坐标的一一对应关系具体为用f表示摄像头的焦距，O表示摄像头的主点，Z3d表示某个坐标点的三维成像的景深，Z2d表示某个坐标点的RGB成像的景深,需要说明的是,理论上来讲，RGB成像是不存在景深的，但是，此处用Z2d表示某个目标点距离RGB摄像头的距离。假设某个目标点在三维摄像头中的位置坐标为{X，Y，Z}，在RGB摄像头中的位置坐标为{X’，Y’，Z’ }，根据针孔相机模型，该目标点在三维成像中的位置坐标和在RGB成像中的位置坐标分别为{U3D，V31J和{U2D, V2J，于是有
权利要求
1.一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其特征在于，采用三维人体数据跟踪识别和人脸数据跟踪识别相结合，具体包括如下步骤 1)确定作为跟踪和识别对象的主目标人； 2)对步骤I)中所确定的主目标人的动作进行跟踪识别； 其中，所述步骤I)包括寻找主目标人，当有新的目标出现时判断所述新目标是否为新的主目标人，若是则更新主目标人，否则保持原有主目标人以及当前主目标人丢失时重新找回主目标人，所述寻找主目标人是根据三维摄像头捕捉的三维人体数据来进行的，所述判断新目标是否为新的主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的，所述重新找回主目标人是采用三维摄像头捕捉的三维人体数据和RGB摄像头捕捉的人脸数据相结合进行的。
2.如权利要求I所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其 中，所述三维人体数据是由三维摄像头捕捉的图像得到的，人脸数据是由RGB摄像头捕捉的图像得到的。
3.如权利要求2所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述步骤I)中的所述寻找主目标人是以所述三维摄像头捕捉到的多个目标人体的三维数据集合中所对应的景深最小的三维数据所对应的目标人体作为主目标人的。
4.如权利要求3所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述步骤I)中的所述判断新目标是否为新的主目标人的步骤是通过两个目标人的人脸是否遮挡为原则来判断的。
5.如权利要求4所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述重新找回主目标人的步骤是通过重新找回主目标人的算法来实现的。
6.如权利要求5所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，人脸数据跟踪识别中的主目标人的确定是由所述步骤I)中由三维摄像头捕捉的三维人体数据所确定的主目标人在三维成像中的位置信息再根据三维成像的位置坐标与RGB成像的位置坐标的一一对应关系得到主目标人的RGB成像的位置坐标，再经过人脸检测得到人脸位置信息和人脸大小信息而实现的。
7.如权利要求6所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述人脸是否遮挡是以新目标人与摄像头的距离是否小于主目标人与摄像头的距离并且两个目标人的脸部在水平面上是否重叠为原则来判断的。
8.如权利要求7所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，所述重新找回主目标人的算法是根据主目标人的RGB成像在跟踪识别中的大小的变化估算出主目标人与RGB摄像头之间的距离，从而进一步得到目标人的三维成像的位置坐标来实现的。
9.如权利要求8所述的具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，其中，当出现新的目标并且经过人脸是否遮挡判断所述新的目标为主目标人时，更新所述三维人体数据中的主目标人信息和人脸数据中的主目标人信息。
全文摘要
本发明公开了一种具有密集人流中抗干扰功能的人体三维数据跟踪识别方法，该方法通过三维人体数据跟踪识别和二维人脸位置信息跟踪识别相结合，确定主目标人后，对主目标人体的动作进行跟踪识别。其中对主目标人的确定包括寻找当前主目标人、当有新目标出现时判断新目标是否为主目标人，若是则更新当前主目标人以及若当前主目标人丢失时重新找回当前主目标人。本发明的方法使得三维人体数据跟踪识别在密集人流的公共场合，能够稳定的锁定主目标人，将背景和围观的人群有效地区分开，从而保证跟踪识别在密集人流的多目标背景下具有抗干扰功能。
文档编号G06K9/00GK102968615SQ201210413380
公开日2013年3月13日 申请日期2012年10月25日 优先权日2012年10月25日
发明者冯伟, 冯镜洋 申请人:上海威镜信息科技有限公司