专利名称：一种智能康复系统及运用该系统进行肢体运动跟踪的方法
技术领域：
本发明属于计算机视觉领域，具体涉及智能康复系统中肢体运动跟踪方法。
背景技术：
由于偏瘫、脑瘫和外伤等造成的肢体运动障碍，严重影响患者的生活质量，给社会 和家庭带来沉重负担。肢体残障(肢残)是指人的四肢残疾或四肢、躯干麻痹、畸形，导致 人体运动系统不同程度的功能丧失或功能障碍。肢残是残疾人群的主要组成部分，随着社 会工业化的进程，肢残的发病率逐年升高，已接近或超过残疾人群的半数。但是六成多的肢 体残障患者可以通过系统的康复治疗和功能锻炼来达到提高生活质量的目的。在肢体残障 患者的康复中，采用活动分析法将其某一活动分解成若干个动作成分，对存在的问题进行 仔细研究比较，并给以针对性的训练加以纠正是康复治疗中发现问题、解决问题所采取的 重要手段。于是辅助患者实施功能康复训练的智能系统研究引起了人们的极大兴趣。
基于人体运动跟踪的智能康复系统是近年来计算机视觉领域和临床医学领域广 受关注的一个研究热点。其目的是准确地跟踪肢体残障患者的动作并迅速识别和校正其错 误动作来辅助患者进行康复训练以获得最大的功能恢复可能性。所以，人体运动跟踪是智 能康复系统中的关键技术。 在美国、英国等国家，研究者们已经展开了大量相关项目的研究1997年美国国 防高级研究项目署(Defense Advanced Research Projects Agency)设立了以卡内基梅 隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(Visual Surveillance And Monitoring)，主要研究用于战场及普通民用场景进行监控的自动视频理解技术；实时 三维人体运动跟踪视觉监控系统W4不仅能够定位人和分割出人的身体部分，而且通过建 立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为；英国的雷丁大学 (University of Reading)已开展了对车辆和行人的跟踪及其交互作用识别的相关研究； 麻省理工学院多媒体实验室利用特征点和头部统计模型，在单目视觉的条件下，采用扩展 的卡尔曼滤波器的方法(EKF， Extended KalmanFilter)实时跟踪人体头部姿态；美国宾 夕法尼亚州大学的三维人体头部及脸部跟踪系统，采用有限元素模型实时跟踪人的脸部动 作；IBM与Microsoft等公司也正逐步将基于视觉的手势识别接口应用于商业领域。但是， 上述技术不能解决大面积肤色干扰问题，特别是当手和人脸运动轨迹交叉时，导致跟踪失 败，因此，不能解决复杂动态变化背景下手势跟踪问题(如视频监控)。
发明内容
本发明所要解决的技术问题是，针对现有智能康复系统中，人手运动跟踪中出 现的大面积肤色干扰，导致跟踪失败的问题进行了研究和改进。提出了一种利用卡尔曼 Kalman滤波运动预测的方法。在人手运动跟踪的过程中，利用Camshift (连续自适应数学 期望移动)跟踪算法对具有特定颜色的目标进行跟踪，输出跟踪对象的质心位置为测量信 号，采用Kalman滤波算法校正手心位置(即搜索窗口的中心位置)，克服了 Camshift跟踪算法不能解决大面积肤色干扰问题的缺陷。 本发明解决上述技术问题的技术方案是，设计一种智能康复系统，该系统包括摄 像头、分离器、Camshift跟踪器、Kalman滤波器、查询模块，摄像头获取跟踪对象的视频信 号，分离器从HSV图像信号中分离出H分量，建立跟踪对象的颜色分布直方图；查询模块根 据H分量中H图像对颜色分布直方图进行查询，获取跟踪对象肤色概率分布图；Camshift 跟踪器对跟踪对象进行跟踪，输出跟踪对象的质心位置到Kalman滤波器，Kalman滤波器根 据质心位置确定其搜索窗口的位置和大小，根据搜索窗口设置计算概率分布的区域作为状 态预测信息反馈回Camshift跟踪器，实施对跟踪对象下一帧图像的跟踪。滤波器收到跟踪 器获取的跟踪对象运动状态信息，建立跟踪对象线性系统的状态方程和观测方程，对跟踪 对象在k时刻的运动状态进行估计，得到一个先验估计值^—，确定增益矩阵Kk使后验估计
值与实际值的误差最小，根据Kk对先验估计值进行修正，获取后验估计值^作为状态预测 信息反馈回跟踪器对运动肢体的下一帧图像进行跟踪。 本发明还提出一种应用智能康复系统实现肢体运动的跟踪方法，具体包括，摄像 头获取跟踪对象的视频信号，分离器从HSV图像信号中分离出H分量，建立跟踪对象的颜色 分布直方图；查询模块根据H分量中H图像对颜色分布直方图进行查询，获取跟踪对象肤色 概率分布图；Camshift跟踪器对跟踪对象进行跟踪，输出跟踪对象的质心位置到Kalman滤 波器，Kalman滤波器根据质心位置确定其搜索窗口的位置和大小，根据搜索窗口设置计算 概率分布的区域作为状态预测信息反馈回Camshift跟踪器，实施对跟踪对象下一帧图像 的跟踪。 本发明将Camshift跟踪算法和Kalman滤波算法有机结合，能克服大面积的肤色 干扰问题，实现对人手的精确跟踪，用于家居智能康复系统中人手的运动跟踪，达到识别和 校正患者的肢体动作并辅助患者进行功能康复训练的目的。
图1本发明采用Camshift算法和Kalman滤波混合的运动跟踪方法示意图
图2本发明中Camshift跟踪器中跟踪流程示意图
具体实施例方式
Camshift (即连续自适应数学期望移动)跟踪算法(Conti皿ouslyAd即tive Meanshift)是一种基于颜色信息的运动目标跟踪方法，可以对具有特定颜色的目标进行跟 踪。由于目标的颜色特征不受目标运动形状的影响，是一种较为稳定的特征，因此可以用 来实现对非刚性物体的跟踪。以人体的跟踪为例，由于人体在运动时运动姿态的变化使一 些常用的跟踪方法失效，而人体的颜色直方图不受人体形状变化的影响，能够用来正确的 对人体进行跟踪，当目标被部分遮挡时仍然能够正确的跟踪目标。Camshift跟踪算法是 Meanshift的修改算法，克服了 Meanshift不适合实时跟踪的缺点。它计算量小，在一些 典型的环境约束下(如背景简单，只包括手和手臂的视频)，能够取得很好的跟踪效果，但 当解决复杂动态变化背景下手势跟踪问题(如视频监控)时，由于该算法对运动物体不做 任何预测，不能解决大面积肤色干扰问题，特别是当手和人脸运动轨迹交叉时，导致跟踪失 败，所以需估计器预测手势运动参数。
Kalman滤波器(即卡尔曼滤波器，是一个最优化自回归数据处理算法，对于解决 很大部分的问题，它是最优，效率最高甚至是最有用的。它的广泛应用已经超过30年，包括 机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来 更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。)是一个线性递 归滤波器，基于系统以前的状态序列对下一个状态做最优估计，预测时具有无偏、稳定和最 优的特点。以Camshift跟踪算法输出的质心位置为测量信号，采用Kalman滤波算法校正 手心位置(即搜索窗口的中心位置)，在Camshift跟踪器的基础上结合Kalman滤波特性， 克服了 Camshift跟踪算法不能解决大面积肤色干扰问题的缺陷。 以下针对附图和具体实例对本发明作具体描述，如图1为本发明基于Camshift算 法和Kalman滤波混合的视频人手运动跟踪算法流程，摄像头获取跟踪对象(如人手)的视 频信号，转化模块将RGB信号转化为HSV图像信号，分离器从中分离出H分量，查询模块根 据H分量中H图像对颜色直方图进行查询，获取跟踪对象肤色概率分布图，Camshift跟踪 器调用Camshift跟踪算法对跟踪对象进行跟踪，输出跟踪对象的质心位置为测量信号，送 入Kalman滤波器校正手心位置(即搜索窗口的中心位置)，同时Kalman滤波器根据质心位 置确定搜索窗口的位置和大小，并根据搜索窗口设置计算概率分布的区域作为状态预测信 息反馈回Camshift跟踪器，实施对跟踪对象下一帧图像的跟踪。 Kalman滤波器中Kalman滤波算法是一个对动态系统的状态序列进行线性最小方 差误差估计的算法，它通过状态方程和观测方程来描述一个动态系统。在Kalman滤波器中 建立跟踪对象的线性系统的状态方程和观测方程为
状态方程& =， A—! + A—,( 1 )
观测方程= //^a + & (2) 其中&是tk时刻的nXl维状态向量；&是tk时刻的mXl维观测向量；Ak,k—工是tk—i 时刻到tk时刻的nXn维状态转移矩阵；Hk是tk时刻的mXn维观测矩阵,是tk时刻状 态的nX 1维随机干扰噪声向量；"^是tk时刻的mX 1维观测噪声向量。(上述参数可由跟 踪器经过多次实验选取得到)，力通常假设为互相独立的零均值高斯白噪声向量，它
们的协方差矩阵为
五
，,
(3) 五
一 一r
(4)
^《]二0对于所有k和i (5) Kalman滤波过程为
滤波器收到跟踪器获取的跟踪对象运动状态(包括，质心位置和移动速度)，调用 状态方程(1)建立运动模型(状态转移矩阵)对跟踪对象在k时刻的运动状态进行估计，
得到一个先验估计值S:(指跟踪对象在在X轴和Y轴方向上的位置和速度)，根据先验估
计值调用公式
五x,.
(6)计算先验估计误差^—。
先验估计误差的协方差矩阵为
<formula>formula see original document page 7</formula>
(7)
然后，利用tk时刻的mX i维观测向量&修正先验估计值je:，调用公式
<formula>formula see original document page 7</formula>(8) 对先验估计值进行修正，其中g为先验估计值4—的修正值，称为后验估计值，Kk为 Kalman增益矩阵。 根据公式^ = & 一 ^ (9) 计算后验估计误差，其协方差矩阵表达式为
<formula>formula see original document page 7</formula>
(10) 确定增益矩阵Kk使后验估计值与实际值的误差(后验估计误差)最小。将式(2) 观测方程代入式(8)修正先验估计值，然后将结果再代入式(10)建立协方差矩阵表达式
<formula>formula see original document page 7</formula>
(ii)
其中U( 一^是先验估计误差，它与观测误差巧.无关，因此有
<formula>formula see original document page 7</formula>
(12)
<formula>formula see original document page 7</formula>
从而得到使估计误差最小的Kk为
<formula>formula see original document page 7</formula> (13)
将式(13)代入式(12)得
<formula>formula see original document page 7</formula>(14)
要调用式(8)对先验估计值进行修正，需先得到^—和Pk 到k时刻处理前的累积误差，因此可以通过下式进行预测处理
A—i (15) 另外由于^一,是k-l时刻以前的误差，所以它与^—f没有相关性，这样，与t对应的
先验估计误差的协方差矩阵为
<formula>formula see original document page 7</formula>
由于"^一i描述的是k-l
<formula>formula see original document page 7</formula>(16) 由此调用公式(13)得到Kalman增益矩阵Kk，并调用公式(8)对先验估计值进行 修正，可对^作出估计。 如图2所示为本发明Camshift跟踪器的跟踪流程示意图。图2中虚线标示的部 分是CamShift算法的核心。设(x， y)为搜索窗中的像素位置，I (x， y)是投影图中(x， y)处的像素值。搜索窗口的零阶矩和一阶矩分别如下 m。。=i:2:/(u)
.x' y M。=z2>"XJ)
二2]z^",力
可以求得搜索窗口内的质心位置为
Ac — tt^c 一 重新设置搜索窗的大小S :1y = 2、 M()%w
A/ /256 并将搜索窗口的中心移动到质心，如果移动距离大于预设的固定阀值，则重新计 算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整。直到窗口中心与质心间的移动 距离小于预设的固定阀值，或者循环运算的次数达到某一最大值，认为收敛条件满足，进入 下一帧图像进行新的目标搜索。在新的图像中，利用上一帧图像中最终得到的窗口质心位 置和零阶矩来设置新的搜索窗口的位置和尺寸。CamShift跟踪算法在图像帧内与帧间都根 据上一步得到的零阶矩自适应的调整搜索窗口的大小，因而可以适应跟踪目标动态变形的 情形。 对人手进行跟踪时，只要人的手和脸没有形成大连通域，即使存在噪声干扰， Camshift跟踪器采用Camshift算法也能较好地对人手的运动过程进行跟踪，但是当人的 手和脸形成大连通域后再分开时，Camshift跟踪器不能准确地分辨待跟踪的物体，需要 通过估计器预测目标的运动参数。Kalman滤波具有计算量小、可实时计算的特点，因此把 Camshift跟踪算法与Kalman滤波运动预测结合起来，利用二维Kalman滤波器预测手心位 置，增强抗干扰性。所以由图2得到的搜索窗口的位置和大小作为测量信号，再输入Kalman 滤波器中进行校正和预测，达到准确的跟踪目的。 以下以跟踪人手为例对本发明作进一步详细描述。为了准确的跟踪人手的运动， 首先须确定Kalman滤波器中的相关参数。定义Kalman滤波器参数为
假设人手的运动状态参数为某一时刻人手的手心位置(相对于图像的左上角)和 速度。在跟踪过程中，由于相邻两帧的时间间隔较短，人手的运动状态变化较小，所以可假 设人手在单位时间间隔内是匀速运动的，所以我们可采用等速度运动模型，定义系统状态 方程中的Kalman滤波器系统状态&是一个四维向量(xsk， ysk， xvy， yVk)T，其中，xsk， ysk分 别为人手手心在X轴和Y轴方向上的位置，xvk，yvk分别表示人手手心在X轴和Y轴方向上 的速度。由于通过摄像头在图像上只能观察到人手的位置，所以定义观测状态向量为
zk = (xsk， ysk)T。 由于假设人手(目标、跟踪对象)是在单位时间间隔内作匀速运动，所以建立状态 转移矩阵Au—工为
8
4
状态向:
10A/0
010A/
0010
0001
其中At
3C
根据系统状态和观测状态的关系，建立观测矩阵Hk为
1 0 0 0 10 0
在Kalman滤波器中，首先初始化动态噪声方差矩阵Q、领 、和初始误差方差矩阵P。。初始化后的上述矩阵为
:噪声方差矩阵R、初始
尸0 =
10000
01000
00150
00015
0.10 —
00.2
_1000—
0100
0010
0001 初始状态向量&中的xs。，ys。分量取初始搜索窗口的中心位置，xv。， yv。分量取零。 根据上述参数并调用公式(i)-(ie)，得到使估计误差最小的增益矩阵Kk，根据Kk对^进行 估计，得到先验估计值^的修正值^ 。将^作为更新Kalman滤波器中搜索窗口数据信息的 依据。 本发明在Camshift算法基础上利用Kalman滤波对搜索窗口进行动态调整。实验 表明，该方法快速准确可靠，并且较好地处理了跟踪过程中大面积肤色干扰问题，对复杂场 景的检测与跟踪也取得了较好的效果。同时，还适用于其它具有特定颜色目标的跟踪。
9
权利要求
一种智能康复系统，其特征在于，该系统包括摄像头、分离器、Camshift跟踪器、Kalman滤波器、查询模块，摄像头获取跟踪对象的视频信号，分离器从HSV图像信号中分离出H分量，建立跟踪对象的颜色分布直方图；查询模块根据H分量中H图像对颜色分布直方图进行查询，获取跟踪对象肤色概率分布图；Camshift跟踪器对跟踪对象进行跟踪，输出跟踪对象的质心位置到Kalman滤波器，Kalman滤波器根据质心位置确定其搜索窗口的位置和大小，根据搜索窗口的位置和大小计算概率分布的区域作为状态预测信息反馈回Camshift跟踪器，实施对跟踪对象下一帧图像的跟踪。
2. 根据权利要求1所述的智能康复系统，其特征在于，所述确定状态预测信息具体包 括，滤波器收到跟踪器获取的跟踪对象运动状态信息，建立跟踪对象线性系统的状态方程 和观测方程，确定tk时刻的nX 1维状态向量^ ， tk时刻的mX 1维观测向量^ ，对跟踪对象在tk时刻的运动状态进行估计，得到一个先验估计值S:，确定增益矩阵Kk使后验估计值与 实际值的估计误差最小，根据Kk对先验估计值进行修正，获取后验估计值^作为状态预测信息。
3. 根据权利要求2所述的智能康复系统，其特征在于，所述线性系统的状态方程和观 测方程为状态方程4 =4u-1 i，观测方程4 ="/^/( ，所述使估计误 差最小的Kk满足公式，确定后验估计误差的协方差矩阵A 二(l一A^/^)i^，其中，Ak,k—工 是tk—工时刻到tk时刻的nXn维状态转移矩阵；Hk是tk时刻的mXn维观测矩阵^是tk 时刻状态的nX 1维随机干扰噪声向量；^是tk时刻的mX 1维观测噪声向量。
4. 一种智能康复系统中肢体运动跟踪方法，其特征在于，摄像头获取跟踪对象的视频 信号，分离器从HSV图像信号中分离出H分量，建立跟踪对象的颜色分布直方图；查询模块 根据H分量中H图像对颜色分布直方图进行查询，获取跟踪对象肤色概率分布图；Camshift 跟踪器对跟踪对象进行跟踪，输出跟踪对象的质心位置到Kalman滤波器，Kalman滤波器根 据质心位置确定其搜索窗口的位置和大小，根据搜索窗口的位置和大小计算概率分布的区 域作为状态预测信息反馈回Camshift跟踪器，实施对跟踪对象下一帧图像的跟踪。
5. 根据权利要求4所述的肢体运动跟踪方法，其特征在于，所述确定状态预测信息的 步骤具体包括，滤波器收到跟踪器获取的跟踪对象运动状态信息，建立跟踪对象线性系统 的状态方程和观测方程，确定tk时刻的nX 1维状态向量^ ， tk时刻的mX 1维观测向量^ ，对跟踪对象在tk时刻的运动状态进行估计，得到一个先验估计值^^—，确定增益矩阵Kk使后 验估计值与实际值的误差最小，根据Kk对先验估计值进行修正，获取后验估计值4作为状 态预测信息。
6. 根据权利要求5所述的肢体运动跟踪方法，其特征在于，所述线性系统的状态方程和观测方程为状态方程= 4^—^t—i +"^—p观测方程=，其中&是tk时刻的nX 1维状态向量，&是tk时刻的mX 1维观测向量，Ak,k—i是tk—工时刻到tk时刻的 nXn维状态转移矩阵，Hk是tk时刻的mXn维观测矩阵，^ &是tk时刻状态的nX 1维随机 干扰噪声向量，力是tk时刻的mX 1维观测噪声向量。
7. 根据权利要求5所述的肢体运动跟踪方法，其特征在于，所述使估计误差最小的Kk满足公式^ = (1 - i^i^ ,其中，Pk—为先验估计误差协方差矩阵，Pk为后验估计误差协方差矩阵。
全文摘要
本发明请求保护一种智能康复系统及运用该系统进行肢体运动跟踪的方法，涉及计算机视觉领域。本发明以Camshift跟踪算法输出的质心位置为测量信号，采用Kalman滤波算法校正手心位置，克服了现有对运动肢体的跟踪方法中不能解决大面积肤色干扰问题的缺陷。此方法不受目标的形状变化、尺度大小变化的影响，具有较好的鲁棒性并进一步简化了运算量。
文档编号G06K9/00GK101794387SQ201010136388
公开日2010年8月4日 申请日期2010年3月30日 优先权日2010年3月30日
发明者张毅, 李玲, 杨红梅, 王巍, 罗元, 胡章芳 申请人:重庆邮电大学