专利名称：像素归类方法、关节体姿态识别方法及鼠标指令生成方法
技术领域：
本发明涉及人机交互领域，更具体地说，涉及一种像素归类方法。同时，本发明还涉及一种关节体姿态识别方法。同时，本发明还涉及一种鼠标指令生成的方法。
背景技术：
随着社会的发展，如人体等的关节体姿态估计越来越受到重视。关节体姿态估计一般通过立体视觉系统、结构光系统以及ToF(飞行时间time offlight)摄像机等数据获取设备获取场景3D点云(即深度图像)，对场景进行分析，提取关节体表面的点云，再将关节体表面点云中的每个像素点归类为关节体的某个部位，进而估计关节体的姿态。关节体姿态估计过程，一种常见的方法是定义关节体模型和观测到的关节体点云之间的误差，该误差是关节体模型姿态的函数，这样把姿态估计问题转化为误差最小化的问题；在误差最小化过程中，考虑到算法的实时性，一般先给定近似姿态最为初值，在初值附近进行搜索。得到关节体姿态后，可将姿态向量转换成关节体的各个关节位置，得到各个部位的位置，将点云中的点设定到相应的部位中。上述的基于关节体模型的关节体姿态估计方法，虽然运行速度较快，也能达到较高的精度。但由于主要依赖历史姿态信息，缺少对当前帧对点云数据的分析，当运动剧烈时，该方法容易失败，或者容易陷入局部最优。同时该方法还需要提供初始值。因此现有技术中的像素点归类方法不稳定，关节体姿态识别方法不稳定。同时，现有技术中依赖像素归类和关节体姿态识别的空中鼠标或者手势鼠标等控制方法也会不够稳定。故，有必要根据当前帧点云，提供一种深度图像中的像素(点云中的点)归类方法、关节体姿态识别方法及鼠标指令生成方法，以改善前述现有技术所存在的问题。
发明内容
鉴于现有技术中像素归类方法不够稳定的问题，有必要提供一种相对稳定的像素归类方法。同时，还有必要提供一种相对稳定的关节体姿态识别方法。同时，还有必要提供一种鼠标指令生成方法。本发明的像素归类方法包括提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量；将所述特征向量输入到预先训练好的分类器，计算所述像素的所属部位。在本发明的像素归类方法中，所述步骤“提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量”中的提取处理后的像素位置信息包括步骤计算关节体表面的全部像素的重心(X。，y。，Zc)；计算所述像素的三维坐标(X，y, ζ)与所述重心(χ。，yc, zc)的偏差(x-x。，y-y。，z-zc)；使用关节体的估算高度对所述偏差进行处理
权利要求
1.一种像素归类方法，其特征在于，包括提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量； 将所述特征向量输入到预先训练好的分类器，计算所述像素的所属部位。
2.根据权利要求1所述的像素归类方法，其特征在于，所述步骤“提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量”中的提取处理后的像素位置信息包括步骤计算关节体表面的全部像素的重心；计算所述像素的三维坐标与所述重心( J, 的偏差^-J-Λ>2 -',-)；使用关节体的估算高度对所述偏差进行处理
3.根据权利要求1所述的像素归类方法，其特征在于，所述步骤“提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量”中的提取处理后的像素位置信息包括步骤计算关节体表面的全部像素的重心(VAA)及关节体表面的全部像素的协方差矩阵
4.根据权利要求1所述的像素归类方法，其特征在于，所述步骤“提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量”中的提取像素所属扫描段的尺寸信息包括步骤确定一个用于扫描的二维图像，对所述二维图像中的像素在至少四个方向上进行扫描以形成至少两个扫描段，至少四个方向分别为m度方向、m+180度方向、η度方向以及n+180 度方向，其中m度方向和η度方向为在所述二维图像中以所述像素为原点建立的任意二维坐标系中的任意两个方向； 计算所述扫描段的长度；通过所述扫描段的长度计算扫描段的起始像素和扫描段的终止像素的归一化尺寸作为所述像素所属扫描段的尺寸信息。
5.根据权利要求4所述的像素归类方法，其特征在于，所述“确定一个用于扫描的二维图像，对所述像素在所述二维图像的至少四个方向上进行扫描以形成至少两个扫描段，至少四个方向分别为m度方向、m+180度方向、η度方向以及η+180度方向，其中m度方向和η 度方向为在所述二维图像中以所述像素为原点建立的任意二维坐标系中的任意两个方向” 中，以所述像素为起始点，沿着至少一个m度方向进行扫描，直至发现两相邻像素发生跳变停止，跳变前的像素为起始像素；以所述像素为起始点，沿着所述至少一个m度方向的反方向进行扫描，直至发现两相邻像素发生跳变停止，跳变前的像素称为终止像素； 所述起始像素与所述终止像素构成所述扫描段；其中跳变为所述扫描段上两相邻像素深度相差大于预先设定的第一阈值。
6.根据权利要求5所述的像素归类方法，其特征在于，所述“确定一个用于扫描的二维图像，对所述二维图像中的所述像素在至少四个方向上进行扫描以形成至少两个扫描段” 为“确定一个用于扫描的二维图像，对所述二维图像中的所述像素在0度，45度，90度，135 度，180度，225度，270度以及315度八个方向上进行扫描以形成四个扫描段”。
7.根据权利要求5所述的像素归类方法，其特征在于，所述“计算所述扫描段的长度” 包括所述扫描段上像素按扫描顺序三维坐标序列为 { ( ^!,Zi), ‘ · ·, Oi, ^iX--·, (%, Λγ.%)}, 如用两跳变像素之间的欧式距离描述 扫描段的长度为(Λ，ΛΑ)和( , , ^)的欧式距离，BPd=^ix1- xMf + (. - y f + (Z1 - zMf ；起始像素的三维坐标为OiA而)，终止像素的三维坐标为( , 4 ),则扫描段的长度为d =^jix5- xef + O3 -ytf + (zs -ztf 如用两跳变像素之间的累计距离描述扫描段的长度为為)和(w-m)的累积距离，两相邻像素( 為)和( .^. )，则两相邻像素之间的距离为為^ -^i)2 +Cyi _艿+1)2 +叙- )2 ； 两跳变像素之间的扫描段中共有N个像素，则扫描段的长度为M-I这二 YA。
8.根据权利要求5所述的像素归类方法，其特征在于，所述“通过所述扫描段的长度计算扫描段的起始像素和扫描段的终止像素的归一化尺寸作为所述像素所属扫描段的尺寸信息”包括通过所述扫描段的长度获得扫描段的起始像素和扫描段的终止像素的第一归一化尺寸和/或第二归一化尺寸作为所述像素所属扫描段的尺寸信息，第一归一化尺寸为所述扫描段的长度和关节体估算高度的比值，第二归一化尺寸为所述扫描段的长度的平方与关节体的估算高度平方的比值。
9.根据权利要求5所述的像素归类方法，其特征在于，所述“通过所述扫描段的长度计算扫描段的起始像素和扫描段的终止像素的归一化尺寸作为所述像素所属扫描段的尺寸信息”为通过所述扫描段的长度计算所述扫描段的两个子扫描段的归一化尺寸为所述像素所属扫描段的尺寸信息；其中子扫描段为所述像素与像素所属扫描段的起始像素之间的像素集合，以及所述像素与像素所属扫描段的终止像素之间的像素集合。
10.根据权利要求9所述的像素归类方法，其特征在于，所述“通过所述扫描段的长度计算所述扫描段的两个子扫描段的归一化尺寸作为所述像素所属扫描段的尺寸信息”包括通过所述扫描段的长度计算所述扫描段的两个子扫描段的第一归一化尺寸和/或第二归一化尺寸作为所述像素所属扫描段的尺寸信息，第一归一化尺寸为所述子扫描段的长度和关节体估算高度的比值，第二归一化尺寸为所述子扫描段的长度的平方与关节体的估算高度平方的比值。
11.根据权利要求2、3、8或10中任一所述的像素归类方法，其特征在于，所述关节体的估算高度通过点云历史信息估计或根据协方差矩的最大特征值估计，其中根据协方差矩的最大特征值估计为设定高度为，其中力预先设定的参数，推荐为4，斗为协方差矩阵最大的特征值。
12.根据权利要求5所述的像素归类方法，其特征在于，当关节体之间存在遮挡时，对所述扫描段的起始像素和所述扫描段的终止像素的跳变和微跳变情况进行编码，得到一维遮挡编码，并将所述一维遮挡编码添加到所述像素所属扫描段的尺寸信息中得到修正后的像素所属扫描段的尺寸信息；其中微跳变为所述扫描段上两相邻像素深度相差大于预先设定的第二阈值。
13.根据权利要求1所述的像素归类方法，其特征在于，所述“将所述特征向量输入到预先训练好的分类器，计算所述像素的所属部位”步骤之前包括将同一扫描段上相同的特征向量预先输入到存储空间。
14.一种关节体姿态识别方法，其特征在于，包括使用如权利要求1至13所述像素归类方法中的其中一个计算像素的所属部位；根据所述像素的所属部位确定关节点的位置；根据关节点的位置及所属部位的末端点确定关节体的姿态。
15.一种鼠标指令生成方法，其特征在于，包括使用如权利要求1至13所述像素归类方法中的其中一个计算像素的所属部位；所述关节体为人体，将人体的左下臂、右下臂或头部的全部像素中最靠近部位末端点的前L个像素三维坐标的平均值作为鼠标位置，L为预先设定的正整数。
16.如权利要求15所述的鼠标指令生成方法，其特征在于，对所述鼠标位置的轨迹进行分析生成鼠标控制指令；或者对左下臂、右下臂、或者头部中的一个或者多个的运动轨迹进行分析生成鼠标控制指令。
全文摘要
本发明涉及一种像素归类方法、关节体姿态识别方法和鼠标指令生成方法。该像素归类方法包括提取处理后的像素位置信息和/或像素所属扫描段的尺寸信息作为特征向量；将特征向量输入到预先训练好的分类器，计算像素的所属部位。本发明的像素归类方法、关节体姿态识别方法及鼠标指令生成方法较为稳定。
文档编号G06F3/033GK102324041SQ20111026816
公开日2012年1月18日 申请日期2011年9月9日 优先权日2011年9月9日
发明者柳林祥, 赵文闯 申请人:深圳泰山在线科技有限公司