目标特征提取方法及装置与流程

本发明涉及电子信息技术领域，特别是涉及一种目标特征提取方法及装置。

背景技术：

出于工业和医疗等领域大量现实应用的需要，三维物体特征提取技术已成为一个很活跃的研究领域。一般来说，现有的三维物体体征提取系统可以通过两个阶段的处理来完成三维物体的提取和定位，首先用传感器获取的场景输入数据来得到三维图像，然后将它与数据库中存储的物体表达相匹配。

但，现有的处理方法需要将三维图像与数据库中存储的物体进行匹配，具有运算量较大，运算速度不佳的缺点。

技术实现要素：

本发明实施例提供一种目标特征提取方法及装置，可在确保目标特征提取成功率的前提下有效提高提取速度，并简化了运算。

本发明公开了一种目标特征提取方法，包括：

利用RGBD相机实时拍摄目标以获取RGBD图像序列，其中RGBD图像序列包括多个RGBD图像，每一个RGBD图像均包括对应的深度信息和色彩信息；

根据深度信息在色彩信息中进行背景去除处理以获取目标对应的目标特征区位；

在色彩信息中对目标特征区位对应的像素点进行特征提取，以获得目标的属性。

其中，根据深度信息获取目标的目标特征区位的步骤还包括：

判断在每一RGBD图像中目标特征区位对应的像素点的深度信息是否发生变化，如果是，则确认目标发生了主动运动，目标为非刚体，如果否，则确认目标没有发生主动运动，目标为刚体。

其中，在色彩信息中对目标特征区位对应的像素点进行特征提取，以提取出目标的属性的步骤具体包括：

在确认目标为非刚体时，进一步判断色彩信息中目标特征区位对应的像素点是否符合人体肤色特征，如果是，则确认目标为人体，如果否则确认目标为非人体。

其中，在色彩信息中对目标特征区位对应的像素点进行特征提取，以提取出目标的属性的步骤还包括：

在确认目标为人体时，则进一步从目标特征区位提取出目标特征区块，目标特征区块包括躯干、四肢、手部、脸部，根据目标特征区块对应的深度信息和像素点提取出身高、臂长、肩宽、手掌大小、脸部大小以及脸部表情特征。

其中，在色彩信息中对目标特征区位对应的像素点进行特征提取，以提取出目标的属性的步骤还包括：

在确认目标为人体时，则进一步根据RGBD图像序列跟踪目标特征区位及目标特征区块的运动轨迹，以形成连续运动的骨架网格，根据骨架网格分析人体姿态动作和行为模式，并根据姿态动作和行为模式确定目标为小孩、老人或青年人。

其中，在确认目标为非刚体时，该方法还包括：

进一步利用生物特征传感器检测目标的生物特征的生物特征信息，以根据生物特征信息提取出目标的属性是人、动物、或非刚体物体。

其中，生物特征传感器包括拾音器、红外传感器、温度传感器、超声波传感器中的一者或任意组合。

其中，在确认目标为刚体时，该方法还包括：

进一步根据深度信息获取目标特征区位的尺寸，并根据色彩信息对目标特征区位对应的像素点进行检测，以提取出目标特征区位的特征图像。

本发明还公开一种目标特征提取提取装置，包括：

RGBD相机，用于实时拍摄目标以获取RGBD图像序列，其中RGBD图像序列包括多个RGBD图像，每一个RGBD图像均包括对应的深度信息和色彩信息；

提取模块，用于根据深度信息在色彩信息中进行背景去除处理以获取目标对应的目标特征区位，并在色彩信息中对目标特征区位对应的像素点进行特征提取，以提取出目标的属性。

其中，提取模块用于判断色彩信息中目标特征区位对应的像素点对应的每一深度信息是否发生变化以确认目标特征区位是否发生主动运动，如果是，则确认目标为非刚体，如果否，则确认目标为刚体。

区别于现有技术的情况，本发明实施例通过深度信息来确定目标的目标特征区位，并仅对色彩信息中目标特征区位对应的像素点进行特征提取，可避免对整个三维图形进行各种复杂的特征提取运算，可在确保提取成功率的前提下有效提高提取速度，并简化了运算。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明优选实施例的RGBD图像的示意图；

图2是本发明的目标特征提取方法第一实施例的流程图；

图3是本发明的目标特征提取方法第二实施例的流程图；

图4是根据本发明实施例的RGBD图像序列的数据结构示意图；

图5是本发明实施例中关于如果通过深度信息来判断目标是否发生主动运动的示意图；以及

图6是根据本发明实施例的目标特征提取装置的装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所采用的RGBD相机举例而言可包括红外线发射器、红外线CMOS摄影机和位于以上二者之间的RGB彩色摄影机。

其中，红外线发射器和红外线CMOS摄影机构成深度感应器，通过深度感应器和RGB彩色摄影机的配合，RGBD相机可以将实物的3D影像投放到屏幕当中，同时拍摄彩色图像和红外图像，捕捉到用户的手势动作。

具体而言，红外线发射器发出激光散斑(laser speckle，激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点)覆盖整可视范围，红外线CMOS摄影机接收反射光线来提取拍摄目标。

红外线发射器发出的激光散斑可给需要测量的空间编码，这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记。当把一个拍摄目标放进这个空间，只要看到拍摄目标上面的散斑图案，就可以知道其在空间上什么位置了，从而可以获取到拍摄目标表面上每一个点到红外线CMOS摄影机的距离。

因此，通过以上方式，深度感应器可获取深度图像，该深度图像包括深度信息，深度信息具体为拍摄范围内正对红外线CMOS摄影机的每一个点到红外线CMOS摄影机的距离。

并且，RGB彩色摄影机可同时拍摄目标所在位置的平面图像，该平面图像包括色彩信息，色彩信息由多个像素点组成，每一像素点包括R、G、B子像素点，通过R、G、B子像素点所占的百分比来确定每一像素点的颜色，从而获得彩色的平面图像。

本发明所述的RGBD图像具体包括色彩信息和色彩信息对应的深度信息。

为了便于理解，请参见图1，其绘示出根据本发明优选实施例的RGBD图像的示意图。如图1所示，RGBD图像包括多个像素点，每一像素点均对应有一深度信息，通过将像素点与其对应的深度信息结合，可以准确还原出被拍摄的V字型手势，其中该V字型手势为三维图像。

以下请参见图2，图2是本发明的目标提取方法第一实施例的流程图，如图2所示，本发明的目标特征提取方法包括以下步骤：

步骤101：利用RGBD相机实时拍摄目标以获取RGBD图像序列，其中RGBD图像序列包括多个RGBD图像，每一个RGBD图像均包括对应的深度信息和色彩信息；

步骤102：根据深度信息在所述色彩信息中进行背景去除处理以获取目标对应的目标特征区位，其中目标特征区域可例如为目标的边缘、轮廓；

步骤103：在色彩信息中对目标特征区位对应的像素点进行特征提取，以提取出目标的属性。

在本实施例中，通过深度信息来确定目标的目标特征区位，并仅对色彩信息中目标特征区位对应的像素点进行特征提取，可避免对整个三维图形进行各种复杂的特征提取运算，可在确保提取成功率的前提下有效提高提取速度，并简化了运算。

为了便于理解，以下将在上述第一实施例的基础上进一步作出改进，对上述的步骤和步骤的具体过程进行说明，形成更为详细的第二实施例。

以下请参见图3，图3是本发明的目标特征提取方法第二实施例的流程图，如图3所示，本发明的目标特征提取方法包括以下步骤：

步骤201：利用RGBD相机实时拍摄目标以获取RGBD图像序列，其中RGBD图像序列包括多个RGBD图像，每一个RGBD图像均包括对应的深度信息和色彩信息。

为了对RGBD图像序列进行理解，具体可参见图5，图5是根据本发明实施例的RGBD图像序列的数据结构示意图，如图5所示，RGBD图像序列包括RGBD图像301、302、303、304(为了便于说明，本图 仅画出4个RGBD图像，而在具体应用中，其数量不限，可根据实际需要选取)，每一个RGBD图像为在连续时间段内不同的时间点拍摄获得，每一个RGBD图像包括在对应时间点的深度信息和色彩信息，色彩信息包括多个像素点，每一像素点包括R、G、B子像素点，R、G、B子像素点所占的百分比来确定每一像素点的颜色。而深度信息为与像素点对应的目标的表面与RGBD相机之间的距离。

具体地，图4示出像素点3041，该像素点3041除包括R、G、B子像素点之外，还包括一深度信息，例如为1米。

步骤202：判断在每一RGBD图像中目标特征区位对应的像素点的深度信息是否发生变化，如果是，执行步骤203，如果否，执行步骤204。

步骤203：确认目标发生了主动运动，目标为非刚体，此时可执行步骤205和步骤206，值得注意的是，步骤205和步骤206可择一执行或依序执行，其次序不限。

步骤204：确认目标没有发生主动运动，目标为刚体。

可结合图5对上述步骤202至204进行理解，图5为本发明实施例中关于如果通过深度信息来判断目标是否发生主动运动的示意图。

如图5所示，假设RGBD相机80在时刻1拍摄到目标的RGBD图像301，此时目标位于位置1，在时刻2拍摄到目标的RGBD图像302，此时目标位于位置2，其中位置1相对于位置2沿Y轴向外移动了距离S，假设S为0.5米。

在RGBD图像301中可通过深度信息提取出目标特征区位3010，并在目标特征区位3010中选取至少一像素点3011，假设该像素点3011的深度信息为1米。

在RGBD图像302中可通过深度信息提取出目标特征区位3020，并在目标特征区位3020中选取位置对应于像素点3011的像素点3021，该像素点3021的深度信息为1.5米。

对深度信息进行比较可知，在RGBD图像中对应位置的像素点3011和3021的深度信息发生了变化(向外位移S)，故该目标肯定在时刻1和时刻2之间发生了移动，因此该目标必然为非刚体。

步骤205：利用生物特征传感器检测目标的生物特征的生物特征信息，以根据生物特征信息提取出所述目标的属性是人、动物、或非刚体物体。可选地，生物特征传感器为拾音器、红外传感器、温度传感器、超声波传感器中的一者或任意组合。通过生物特征传感器辅助提取目标的属性，可有效提高提取的准确率。

步骤206：判断色彩信息中目标特征区位对应的像素点是否符合人体肤色特征，如果是，则执行步骤208，如果否，执行步骤209。

步骤208：确认目标为人体，此时可继续执行步骤210和步骤211，值得注意的是，步骤210和步骤211可择一执行或依序执行，其次序不限。

步骤210：从目标特征区位提取出目标特征区块，目标特征区块包括躯干、四肢、手部、脸部等人体部位，并根据目标特征区块对应的深度信息和像素点提取出身高、臂长、肩宽、手掌大小、脸部大小以及脸部表情特征，其中，根据深度信息可获知目标特征区块的尺寸，根据像素点可以进行各种现有的图像信息提取处理，从而提取出上述特征。

步骤211：根据RGBD图像序列跟踪目标特征区位及目标特征区位的运动轨迹，以形成连续运动的骨架网格，根据骨架网格分析人体姿态动作和行为模式，并根据姿态动作和行为模式确定目标为小孩、老人或青年人。

步骤209：确认目标为非刚体。此时可进一步根据RGBD图像序列跟踪目标特征区位及目标特征区位的运动轨迹，以形成连续运动的骨架网格，根据骨架网格分析非人体的姿态动作和行为模式，从而确定该目标的种类，例如为汽车，晾晒的被子等。

步骤207：根据深度信息获取目标特征区位的尺寸，并根据色彩信息对目标特征区位对应的像素点进行检测，以提取出目标特征区位的特征图像，其中该特征图像具体可为二维码或标识点，通过锁定跟踪该特征图像，可以直接捕捉到该目标的动作。

在本实施例中，通过深度信息来确定目标的目标特征区位，并仅对色彩信息中目标特征区位对应的像素点进行特征提取，可避免对整个三 维图形进行各种复杂的特征提取运算，可在确保提取成功率的前提下有效提高提取速度，并简化了运算。

并且，本实施例进一步生物特征传感器对目标的生物特征进行检测，可有效提高目标特征提取的准确性。

在本实施例中，单帧的RGBD图像包括深度信息和色彩信息，已经可以用于目标特征识别，而通过采用实时采集的多帧RGBD图像，可以检测目标的动作姿态，增加特征识别的属性项目。举例而言，若目标为被子、汽车等刚体物品，则在连续动态RGBD图像中，目标继续表现为刚体，以此辨别目标为刚体。若目标为猫、狗等动物或人体，则根据连续动态RGBD跟踪目标，检测为非刚体，更进一步的根据人体特征、人脸识别等技术，可以进行精准的3D人脸识别和身份认证。从而提高目标特征提取的准确性。

本发明进一步公开了一种目标特征提取装置，以下请参见图6，图6是根据本发明实施例的目标提取装置的装置结构示意图，如图6所示，目标提取装置包括：

RGBD相机80，用于实时拍摄目标以获取RGBD图像序列，其中RGBD图像序列包括多帧RGBD图像，每一帧RGBD图像均包括对应的深度信息和色彩信息；

提取模块90，用于根据深度信息在色彩信息中进行背景去除处理以获取目标的对应的目标特征区位，在色彩信息中对目标特征区位对应的像素点进行特征提取，以提取出目标的属性。

可选地，提取模块90还用于判断在每一RGBD图像中目标特征区位对应的像素点的深度信息是否发生变化，如果是，则确认目标发生了主动运动，目标为非刚体，如果否，则确认目标没有发生主动运动，目标为刚体。

可选地，提取模块90还用于在确认目标为非刚体时，进一步判断色彩信息中目标特征区位对应的像素点是否符合人体肤色特征，如果是，则确认目标为人体，如果否则确认目标为非人体。。

可选地，提取模块90还用于在确认目标为人体时，则进一步从色 彩信息标识出躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小以及脸部表情特征。

可选地，提取模块90还用于在确认目标为人体时，则进一步从目标特征区位提取出目标特征区块，目标特征区块包括躯干、四肢、手部、脸部，根据目标特征区块对应的深度信息和像素点提取出身高、臂长、肩宽、手掌大小、脸部大小以及脸部表情特征。可选地，目标提取装置还包括生物特征传感器70，用于感测目标的生物特征信息并并发送至提取模块进行提取，从而提取出目标的属性是人、动物、或非刚体物体。其中生物特征传感器包括拾音器、红外传感器、温度传感器、超声波传感器中的一者或任意组合。

可选地，提取模块90还用于在确认目标为刚体时，进一步根据深度信息获取目标特征区位的尺寸，并根据色彩信息对目标特征区位对应的像素点进行检测，以提取出目标特征区位的特征图像。

在本实施例所揭示的目标特征提取装置，通过深度信息来确定目标的目标特征区位，并仅对色彩信息中目标特征区位对应的像素点进行特征提取，可避免对整个三维图形进行各种复杂的特征提取运算，可在确保提取成功率的前提下有效提高提取速度，并简化了运算。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。