专利名称：基于深度核信息图像特征的人体运动跟踪方法
技术领域：
本发明属于图像处理技术领域，更进一步涉及到计算机视觉领域中实现人体运动跟踪的一种方法，可用于体育训练和动画制作，视频监控领域。
背景技术：
人体运动跟踪是近二十年来计算机视觉领域的重大热点之一，人体运动跟踪在运动捕获，人机交互，视频监控等多领域获得了初步的应用，并具重大的应用前景。从视频序列中准确恢复三维人体姿态，实现人体运动跟踪是计算机视觉领域长期存在的问题。实现人体运动跟踪主要包括两步:第一步是实现对视频图像特征的准确表示，第二步是学习从视频图像特征到人体姿态的回归函数。其中最重要的就是第一步:实现对视频图像特征的准确表示。对于一帧视频图像，人体是视频图像中的核心内容，反映视频图像的核心语义特征。对于人类来说，观看一帧图像的同时几乎可以瞬间理解其中人物的姿态，然而对于计算机，却要克服重重困难:必需要有一种有效的图像特征，作为计算机识别的接口。这种图像特征必须有效表示图像中的人物运动状态以及图像纹理，轮廓等细节信息。现有图像特征表示方法大致可以分为基于全局特征点方法和基于局部字码表的特征表示方法，如梯度直方图特征、层级化特征、形状上下文和尺度不变性特征点的方法。目前已经有很多成熟的图像特征表示方法被运用到人体特征表示和运动跟踪中。但是大部分描述人体的图像特征表示是基于轮廓和边缘信息的，在理论上不严谨，很难准确的刻画图像内部信息。这些基于边缘的图像特征表示方法还面临一个主要问题:视频图像的快速变换常沿边缘曲线不连续性跳跃，一方面会导致封闭边界的灰度不连续性模糊，另一方面也会导致纹理变化不沿几何曲线聚集。最终结果是无法有效表示图像中的几何纹理走向，不能全面刻画人在其中的姿态和特征信息，导致后期的运动跟踪和姿态恢复产生了模糊性和歧义性。
发明内容
本发明针对上述已有技术的不足，提出了一种基于深度核信息图像特征的人体运动跟踪方法，以降低图像特征提取的复杂度，提高特征的表征能力，并在图像数据分布未知情况下，通过学习先验进行准确的姿态预测。本发明技术方案通过如下步骤实现:( I)从原始的视频图像中获得人体关节点的三维坐标矩阵Y ；(2)提取训练视频图像的核图像特征X(U):2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训练样本图像集U ;2b)对训练样本图像集U中的像素点分别求梯度，得到每一个像素点的方向乏和模值<，其中，z为图像块中的像素点，z e U ；
2c)使用方向高斯核函数匕(.)计算不同像素点之间的角度相似度:
权利要求
1.一种基于深度核信息图像特征的人体运动跟踪方法包括如下步骤: (1)从原始的视频图像中获得人体关节点的三维坐标矩阵Y; (2)提取训练视频图像的核图像特征X(U): 2a)输入待处理训练视频图像集转换为连续单幅序列图，根据图像内容，判断需要识别的主要人体目标，提取像素大小为64*192的含有人体的矩形框体，作为之后处理的训练样本图像集U ； 2b)对训练样本图像集U中的像素点分别求梯度，得到每一个像素点的方向~和模值邑，其中，z为图像块中`的像素点，z e U ； 2c)使用方向高斯核函数匕(.)计算不同像素点之间的角度相似度:
2.根据权利要求1所述方法，其中步骤(3)所述的使用块匹配方法提取训练视频图像的深度信息D，包括如下步骤: 3a)在训练样本图像集U中，将每一帧训练图像上都选取一个像素大小为4X4的图像块S，作为匹配图像块，第r帧的匹配图像块为Sy第r+Ι帧的匹配图像块为Sr+1，r e [1，R]，R为训练视频图像帧数； 3b)将第r帧匹配图像块&作为第r+Ι帧匹配图像块Srt的参考图像，计算第r帧的匹配图像块&与第r+Ι帧的匹配图像块Srt的像素位移，作为第r+Ι帧的深度信息Drt ；3c)重复步骤3b)，获得全部训练样本图像集U的深度信息D，D =(D1,Dr+1,...，DK}，其中，r e [1，R]，R为训练视频图像帧数。
3.根据权利要求1所述方法，其中步骤(5)所述的使用深度核信息图像特征X进行人体运动姿势的跟踪，包括如下步骤: 5a)使用高斯过程学习一个从深度核信息图像特征X到训练图像的三维姿势数据Y的映射关系g(.)，使用g(.)将第t帧的三维姿势yt用第t帧的深度核信息图像特征Xt表示，即:yt = g(xt)， 其中，te [1，η]，η为训练图像帧数； 5b)对于新的人体运动视频图像序列，提取该视频图像序列的深度核信息图像特征X’，使用步骤5a)中学习到的映射关系g(.)，以第t帧的深度核信息图像特征Xt'为输入，得到该视频序列的第t帧的三维姿势数据yt,:l' t = g(x' t)； 5c)重复步骤5b)，获得全部视频图像三维姿态数据Y '，Y '= 其中，t e [1，η], η 为训练图像巾贞数； 5d)将三维人体运动姿势数据Y’ = {y' !,...Yin}，转换为人体骨架关节点，恢复出输入视频的三维运动姿势。
全文摘要
本发明公开了一种基于深度核信息图像特征的人体运动跟踪方法，主要解决现有技术的人体运动跟踪中对视频图像特征表示不准确，导致跟踪结果不精确的问题。其实现过程为从数据库中获得视频图像的关节点三维坐标矩阵Y；提取处理后视频图像的深度核信息图像特征X；以提取的深度核信息图像特征X为输入，以视频图像中人体的三维坐标矩阵Y为输出，使用高斯过程学习回归函数；使用高斯过程学习得到的回归函数，以新的视频图像的深度核信息特征X为输入，估计出运动人体的三维姿态数据。本发明具有比现有的人体跟踪方法训练过程快，对图像特征表示准确的优点，可用于运动捕获，人机交互，视频监控，人体目标识别和三维姿势恢复。
文档编号G06K9/62GK103093211SQ20131003067
公开日2013年5月8日 申请日期2013年1月27日 优先权日2013年1月27日
发明者韩红, 谢福强, 张红蕾, 韩启强, 李晓君, 顾建银 申请人:西安电子科技大学