唯一匹配的注册人员则将当前人员识别为该注册人员，结束识别并输出结果;如果不存 在唯一匹配的注册人员则进步W下第四步；
[0088] (四）发出语音指令，要求当前人员将正面人脸朝向Kinect传感器，并获取当前人 员的人脸图像信息；
[0089] (五)根据当前人员的人脸图像信息，查询数据库中的注册人员信息并判断是否存 在匹配的注册人员，如果存在则将当前人员识别为对应的注册人员，结束识别并输出结果， 如果不存在匹配的注册人员则将当前人员识别为陌生人员或要求当前人员重新注册；
[0090] 需要说明的是，利用Kinect传感器获取当前人员的人体身高信息、肤色/发色信息 和人脸图像信息的实现方式，与注册时利用Kinect传感器获取注册人员的体身高信息、肤 色/发色信息和人脸图像信息的实现方式相同。
[0091] W上实施例仅是对本发明的优选实施方式进行的描述，并非对本发明请求保护范 围进行的限定，在不脱离本发明设计原理和精神的前提下，本领域工程技术人员依据本发 明的技术方案做出的各种形式的变形，均应落入本发明权利要求书所确定的保护范围内。
【主权项】
1. 一种基于Kinect传感器的身份综合识别方法，其特征在于，包括注册过程和识别过 程，并具体包括以下步骤： 一、 让注册人员在Kinect传感器前多角度转动人脸，并在不同位置做不同的肢体动作， 以获取该注册人员的多组人体特征，每组人体特征均包括人脸图像信息、肤色/发色信息和 人体身高信息； 二、 基于该注册人员的多组人脸图像信息，提取Haar-Like特征并通过SVM算法单独训 练人脸识别分类器，以获取该注册人员的人脸识别分类器结果； 三、 基于该注册人员的多组肤色/发色信息，通过累计获取该注册人员的肤色/发色混 合高斯模型； 四、 基于该注册人员的多组人体身高信息，通过计算获取该注册人员的身高平均值和 标准差； 五、 将步骤二、步骤三和步骤四得到的结果存入数据库以完成该注册人员的信息注册， 并依照该注册人员的注册方式完成所有注册人员的信息注册； 六、 注册完成后，利用Kinect传感器捕获当前人员的人体特征，将当前人员的人体特征 与数据库中注册人员的注册信息作比较，并依据比较结果确定当前人员的身份。2. 根据权利要求1所述的一种基于Kinect传感器的身份综合识别方法，其特征在于:在 步骤一中，所述获取注册人员的人脸图像信息按以下具体方式实现： (一) 利用Kinect传感器采集包含注册人员的深度图像和彩色图像，并根据深度图像中 的深度点云提取注册人员的人体骨架关节点信息，其中， 躯干部分包括头顶、下颚、胸部、腹部、髋部，依次用Cl、C2、C3、C4、C5表示； 左手部分包括左手指尖、左手腕、左財关节、左肩关节，依次用L1、1^2、1^3、1^4表不； 右手部分包括右手指尖、右手腕、右財关节、右肩关节，依次用R1、1?2、1?3、1?4表不； 左腿部分包括左脚尖、左脚腕、左膝关节、左髋关节，依次用El、E2、E3、E4表示； 右腿部分包括右脚尖、右脚腕、右膝关节、右髋关节，依次用FI、F2、F3、F4表示； (二） 以注册人员的人体骨架中Cl和C2两个关节点的连线为中轴，采用人体分割方法提 取彩色图像中的人体头部区域，作为人体头部图像； (三) 采用人脸识别算法判断人体头部图像是否包括人脸，如果包括人脸则抓取人脸图 像，作为注册人员的人脸图像信息，否则认为不包括人脸。3. 根据权利要求2所述的一种基于Kinect传感器的身份综合识别方法，其特征在于:在 步骤一中，所述获取注册人员的肤色/发色信息按以下具体方式实现： (一) 将注册人员的人体头部图像从RGB色域转换为YCbCr色域，并针对人体头部图像中 的每个像素点判断其CbCr彩色分量是否属于基本肤色分布U(Cb，Cr)，如果属于则标记为1， 如果不属于则标记为〇; (二) 根据步骤(一）的判断和标记结果，将所有标记为1的像素点作为一个集合，并计算 CbCr彩色分量的均值和CbCr对应的协方差矩阵，作为肤色单高斯模型，其中，CbCr彩色分量 均值用表示，协方差矩阵用。^表示，肤色单高斯模型用ΝΚμυΟ表示； (三) 根据步骤(一）的判断和标记结果，将所有标记为0的像素点作为一个集合，并计算 CbCr彩色分量的均值和CbCr对应的协方差矩阵，作为发色单高斯模型，其中，CbCr彩色分量 均值用表示，协方差矩阵用σ22表示，发色单高斯模型用Ν 2(μ2,〇22)表示。4. 根据权利要求3所述的一种基于Kinect传感器的身份综合识别方法，其特征在于:在 步骤三中，所述肤色/发色混合高斯模型为Ν= (μ!，〇12，μ2，〇22)。5. 根据权利要求4所述的一种基于Kinect传感器的身份综合识别方法，其特征在于:在 步骤一中，所述获取注册人员的人体身高信息按以下具体方式实现： (一) 将人体骨架中的关节点分为五组，第1组为((：1，02,03,04,05)，第2组为(1^1，1^2， L3，L4)，第3组为(R1，R2，R3，R4)，第4组为(El，E2，E3，E4)，第5组为(FI，F2，F3，F4); (二) 对各组关节点集合分别采用最小二乘法拟合三维空间直线，并计算各自的直线拟 合误差，分别记为Δ1、Δ2、Δ3、Δ4、Δ5; (三） 当所有误差Δ 1、Δ 2、Δ 3、Δ 4、Δ 5均小于设定阈值Τ1时，则认为人体处于各关节 的伸直状态，并按如下方法计算以Η表示的人体身高；在上述公式（1)至(5)中，表示两关节点C1和C2之间的三维空间距离；表示两 关节点C2和C3之间的三维空间距离；表示两关节点C3和C4之间的三维空间距离； 表示两关节点C4和C5之间的三维空间距离；表示两关节点Ε1和Ε2之间的三维空 间距1? ; EgEg;表不两关节点Ε2和Ε3之间的二维空间距尚；Ε_3Ε4表不两关节点Ε3和Ε4之间的 二维空间距尚；.F.iF.2.表不两关节点F1和F2之间的二维空间距尚；F2.F3壤:不两关节点F2和F3 之间的三维空间距离；表示两关节点F3和F4之间的三维空间距离；表示两关节 点L1和L2之间的三维空间距离；1^15表示两关节点L2和L3之间的三维空间距离；表示 两关节点L3和L4之间的三维空间距离；表示两关节点L4和C3之间的三维空间距离； Ι?7互?:表示两关节点R1和R2之间的三维空间距离；表示两关节点R2和R3之间的三维 空间距1? ; R:：{R4_表不两关节点R3和R4之间的二维空间距尚；R4C3表不两关节点R4和C3之 间的三维空间距离。6. 根据权利要求5所述的一种基于Kinect传感器的身份综合识别方法，其特征在于:在 步骤六中，所述利用Kinect传感器捕获当前人员的人体特征，将该人体特征与数据库中注 册人员的注册信息作比较以确定当前人员的身份，具体包括以下步骤： (一) 利用Kinect传感器获取当前人员的人体身高信息和肤色/发色信息； (二) 根据当前人员的人体身高信息通过计算并获得当前人员的身高，查询数据库中注 册人员的注册信息并遍历每一个注册人员对应的[h-3 △ h，h+3 △ h]范围，判断是否存在与 当前人员身高相匹配的注册人员，如果存在且具有唯一性则直接将当前人员识别为对应的 注册人员，结束识别并输出结果;如果存在但不具有唯一性则进行以下第三步;如果不存在 匹配的注册人员则进行以下第四步;其中h表示注册人员的身高平均值，Ah表示标准差； (三) 根据当前人员的肤色/发色信息，获取当前人员的肤色/发色混合高斯模型，在步 骤(二）的基础上依据存在与当前人员身高相匹配的注册人员但不唯一的条件，确定候选注 册人员范围并判断是否存在与当前人员的肤色/发色模型唯一匹配的注册人员，如果存在 唯一匹配的注册人员则将当前人员识别为该注册人员，结束识别并输出结果;如果不存在 唯一匹配的注册人员则进步以下第四步； (四） 发出语音指令，要求当前人员将正面人脸朝向Kinect传感器，并获取当前人员的 人脸图像信息； (五) 根据当前人员的人脸图像信息，查询数据库中的注册人员信息并判断是否存在匹 配的注册人员，如果存在则将当前人员识别为对应的注册人员，结束识别并输出结果，如果 不存在匹配的注册人员则将当前人员识别为陌生人员或要求当前人员重新注册； 其中，利用Kinect传感器获取当前人员的人体身高信息、肤色/发色信息和人脸图像信 息的实现方式与注册时的实现方式相同。
【专利摘要】本发明公开了一种基于Kinect传感器的身份综合识别方法，包括以下步骤：一、利用Kinect传感器获取注册人员的多组人体特征，每组人体特征均包括人脸图像信息、肤色/发色信息和人体身高信息；二、基于人脸图像信息提取Haar-Like特征并通过SVM算法获取注册人员的人脸识别分类器结果；三、基于肤色/发色信息，获取注册人员的肤色/发色混合高斯模型；四、基于人体身高信息，获取注册人员的身高平均值和标准差；五、将步骤二、步骤三和步骤四的结果存入数据库以完成注册人员的信息注册；六、利用Kinect传感器捕获当前人员的人体特征，将当前人员的人体特征与数据库中注册人员的注册信息作比较确定当前人员的身份。
【IPC分类】G06K9/00
【公开号】CN105447466
【申请号】CN201510862672
【发明人】夏鹏, 张倩, 丘宇彬, 朱易华, 黄佳洋
【申请人】深圳市图灵机器人有限公司
【公开日】2016年3月30日
【申请日】2015年12月1日