基于彩色图像和深度图像多特征的联合数据关联方法与流程

技术特征：

1.基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，包括以下步骤：

基于彩色图像和深度图像多特征的联合数据关联方法，包括以下步骤：

采用联合数据概率关联算法实现本地传感器节点对跟踪目标和目标观测之间进行第一次数据关联；

基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联；

各传感器之间交换关节点估计信息，通过一致性算法加权迭代实现各传感器估计状态的一致性；

其中，在第一次数据关联时，基于多特征的目标观测候选集调整机制，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小。

2.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，基于分布式信息一致性算法的信息融合之后还包括利用模型概率对各个模型的估计结果进行加权求和，作为各传感器信息处理系统当前时刻的估计结果的步骤。

3.如权利要求2所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，分布式信息一致性算法使得本地传感器在获取本地数据关联估计结果后，可与邻近节点交换数据关联结果，以实现各传感器数据关联结果的融合。

4.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，利用关节点位置观测信息z、彩色图像梯度方向直方图特征h_c和深度图像梯度方向直方图特征h_d构建三个阈值门限(γ_z,γ_c,γ_d)以限定观测集大小：

$(z-\hat{z})S^{-1}(z-\hat{z})\<{\mathrm{\γ}}_z,d(h_c,{\hat{h}}_c)\<{\mathrm{\γ}}_c,d(h_d,{\hat{h}}_d)\<{\mathrm{\γ}}_d,$

其中，是根据上一帧关节点估计值预测的当前关节点位置，S是z的方差，和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征，d是直方图Chi-square卡方距离测度。

5.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，关节点的马氏距离定义如下：

(x_i-x_j)^T(P_i+P_j)^-1(x_i-x_j),

(x_i,x_j)和(P_i,P_j)是人体关节点分别在传感器i和传感器j上的估计状态和方差。

6.如权利要求1所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，在实现第一次数据关联之前还包括骨架关节点位置初始化的步骤。

7.如权利要求6所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，在骨架关节点位置初始化之前还需要构建动态分布式传感器网络。

8.如权利要求7所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，基于构建的动态分布式传感器网络，传感器将采集的人体骨架关节点信息传输至信息处理中心。

9.如权利要求6所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，骨架关节点位置初始化时，通过对关节点深度信息预先学习训练，实现对每帧人体关节点的检测，或利用现有工具OPENNI NITE或微软SDK直接提取关节点。

10.如权利要求9所述的基于彩色图像和深度图像多特征的联合数据关联方法，其特征是，在骨架关节点位置初始化时，为去除无效关节点，建立人体关节点运动模型物理约束，剔除不满足人体关节点旋转角度和长度约束的人体关节点。