合的目的是融合Kinect1和Kinect2的骨骼数据，以完成一个完整的人体姿态数据，因此 采用的融合策略如下：
[0052] 1)对于满足A={j|Faj)= 1}的骨骼点，认为已得到该点的骨骼点信息，将忽略 Kinect2检测到的骨骼点；
[0053] 2)对于满足B={j|Faj)= 0,F1}的骨豁点，进入步骤4,进行数据融合；
[0054] 3)对于满足C= {j|Faj)= 0，Faj)= 0}的骨骼点，进入步骤5,进行数据预测。
[0055] 步骤4,数据融合：
[0056] 4. 1找到两个kinect都跟踪到的骨豁点最小下标，即求满足Faj) = 1且F= 1的骨骼点，以其中最小的j值为融合数据的基准点，记为骨骼点t。基准骨骼点t的求取 公式如下：
[0057]t=min{j|F(1，j)= 1，F(2，j)= 1，0 <j彡骨豁点个数} (1)
[0058] 如果没找到满足条件的t，则直接进入步骤5,对所有0的骨骼点进行数据 预测；
[0059] 4. 2对于所有F&j) = 1的骨骼点，计算所有kinect2跟踪到的骨骼点相对于基准 骨豁点t的坐标偏移量ej:
[0060] ej=G(2,j)_G(2；t),jGB (2)
[0061] 其中(^2』为kinect2的骨骼点j的位置坐标，B为步骤3中满足数据融合条件 的骨骼点j的集合，kinect2的骨骼点t的位置坐标；
[0062]4. 3根据坐标偏移量^计算求出所有kinect1未检测到的骨骼位置数据Gaj)， 并将这些骨骼点的标志位置为1，即将置为1 :
[0063]G(1；J)=G(1；t)+ej,jGB (3)
[0064] 其中Gaj)Skinect1的骨骼点j的位置坐标，B为步骤3中满足数据融合条件 的骨骼点j的集合，Gat)为kinect1的骨骼点t的位置坐标。
[0065] 步骤5,数据预测：
[0066] 经过步骤3融合阶段之后，可能还有部分骨骼坐标信息没有获取到，对这些骨骼 坐标信息进行预测，即对所有依然为0的骨骼点坐标信息进行预测。因考虑到时效性 以及人物动作的连续性，本发明采用对坐标数据的运动变化量求简易平均值进行预测，具 体步骤如下：
[0067] 5. 1求连续n帧的骨骼位置的位移变化的平均值：
[0069] 其中，T为当前帧编号；k为帧偏移量；n为需要计算位置变化的帧数；SaT)表示 第j个骨骼点在第T帧的前n帧位移变化的平均值；Ga^k)表示kinectl的第j个骨骼点 在第T-k帧的位置坐标表示kinectl的第j个骨骼点在第T-k-1帧的位置坐标。
[0070] 5. 2求得需要预测的时刻的骨骼位置：
[0071] G(1，j，T) - G d； j；T-i)+ S (J；T) (5)
[0072] 其中，Ga』T)为kinectl需要预测的第T帧第j个骨骼点位置坐标，G^⑷为 kinectl需要预测的第T-1帧第j个骨骼点位置坐标。
[0073] 通过以上步骤，所有骨骼的位置坐标都被跟踪或预测到，得到了完整的人体姿态 骨骼信息，解决了当人物出现自遮挡以及Kinect受到干扰时没有检测到人物骨骼信息的 问题，为后期处理中姿态识别、人机交互、虚拟现实等提供了便利。
【主权项】
1. 一种基于多kinect的人体姿态数据融合方法，其特征在于，具体步骤如下： 步骤1，搭建数据采集系统： 正交摆放两台kinect,使其面向拍摄区域，kinectl和kinect2分别与电脑a和电脑b连接，电脑a与电脑b连接之间建立局域网，W便进行数据传输； 步骤2,数据采集： 开启系统，电脑b实时将kinect2获取的骨骼数据通过局域网发送给电脑a,同时电 脑a实时获取kinect1的骨骼数据，其中每个骨骼数据包括6<^>和F<^>两部分；G<^>是 W第i个kinect为坐标原点的人体第j个骨骼位置坐标；Fy，巾是第i个kinect是否跟踪 到人体第j个骨骼点的标记信息，值为0时，表示第i个kinect没有跟踪到第j个骨 骼位置；直为1时，表示第i个kinect跟踪到第j个骨骼位置； 其中i表示kinect的编号，i为1或2;j表示骨骼点的编号，0<j《骨骼点数； 步骤3,选择数据融合方式： 针对Kinect1和Kinect2获取的骨骼数据进行分类，确定不同数据融合策略； 步骤4,数据融合： 对于符合数据融合条件的骨骼数据进行数据融合； 步骤5,数据预测： 对于不符合数据融合条件的骨骼数据，采用对坐标数据的运动变化量求简易平均值进 行预测。2. 根据权利要求1所述的一种基于多kinect的人体姿态数据融合方法，其特征在于， 步骤3所述不同的数据融合策略，具体为： 1)对于满足A= {j|Fuj>=U的骨骼点，认为已得到该点的骨骼点信息，忽略Kinect 2检测到的骨骼点； 。对于满足B=UlFuj尸0，F6j> =U的骨骼点，进入步骤4,进行数据融合； 如对于满足C=UlFuj尸0，Fbj尸0}的骨骼点，进入步骤5,进行数据预测。3. 根据权利要求1所述的一种基于多kinect的人体姿态数据融合方法，其特征在于， 所述步骤4具体为： 4. 1找到两个kinect都跟踪到的骨骼点最小下标，即求满足Fuj尸1且Fej尸1的 骨骼点，W其中最小的j值为融合数据的基准点，记为骨骼点t: t=min{j|F(ij)=1，F化兩二1，0<j《骨骼点个数} 如果没找到满足条件的t，则直接进入步骤5,对所有= 0的骨骼点进行数据预 测； 4. 2对于所有1的骨骼点，计算所有kinect2跟踪到的骨骼点相对于骨骼点t 的坐标偏移量ej; e j = G (2j)-G(2，t), j e B 其中6<2,,.>为kinect2的骨骼点j的位置坐标，B为步骤3中满足数据融合条件的骨 骼点j的集合，Gu,t>为kinect2的骨骼点t的位置坐标； 4. 3根据坐标偏移量Ej.计算求出所有kinect1未检测到的骨骼位置数据，并将 该些骨骼点的标志位置为1，即将置为1 ; G(ij)= G (")+ e J，j G B 其中6<^>为kinect1的骨骼点j的位置坐标，B为步骤3中满足数据融合条件的骨 骼点j的集合，6<1，1>为kinect1的骨骼点t的位置坐标。4. 根据权利要求1所述的一种基于多kinect的人体姿态数据融合方法，其特征在于， 步骤5中所述采用对坐标数据的运动变化量求简易平均值进行预测，具体步骤如下： 5. 1求连续n帖的骨骼位置的位移变化的平均值：其中，T为当前帖编号；k为帖偏移量；n为需要计算位置变化的帖数；S表示第j个骨骼点在第T帖的前n帖位移变化的平均值；G<u,T_k>表示kinectl的第j个骨骼点在第 T-k帖的位置坐标，Guj，T_k_i>表示kinectl的第j个骨骼点在第T-k-1帖的位置坐标； 5. 2求得需要预测的时刻的骨骼位置： G(l，j，T)二G (i，j，T-l)+ S (j,T) 其中，Gain为kinectl需要预测的第T帖第j个骨骼点位置坐标，G为kinectl需要预测的第T-1帖第j个骨骼点位置坐标。
【专利摘要】本发明公开了一种基于多kinect的人体姿态数据融合方法，通过搭建含有多台kinect的数据采集系统，对人体姿态骨骼信息进行采集，针对所采集信息的类别分别进行数据融合和数据预测，从而得到了完整了人体姿态骨骼信息，避免了kinect受到干扰导致骨骼数据出现跳变，或者人物自遮挡导致姿态缺失等检测骨骼数据不完整的问题，为后期处理中姿态识别、人机交互、虚拟现实等提供了便利。
【IPC分类】G06T7/20
【公开号】CN104933734
【申请号】CN201510363869
【发明人】朱虹, 卫永波, 谢凡凡, 权甲
【申请人】西安理工大学
【公开日】2015年9月23日
【申请日】2015年6月26日