专利名称：一种基于视频的人体肢体运动的跟踪方法
技术领域：
本发明涉及一种基于视频的人体肢体运动的跟踪方法，属于计算机数字图 像处理和计算机视觉技术领域。
背景技术：
近年来开展的基于视频对人体的肢体运动进行跟踪，已经成为使用计算机
分析和理解人的行为的一项关键技术和应用场合，它可广泛用于下述场合
(1) 人机交互计算机通过实时的视频图像来理解人的行为或操作，从而 实现即使不通过键盘和鼠标也能控制计算机的功能。
(2) 智能监控在公共场所对人的各项动作进行自动监视和跟踪，并根据 其结果分析人的行为。例如在超市中对盗窃行为的实现自动监控。
(3 )视频检索例如要让计算机自动完成对一段足球视频中的射门次数进 行统计时，首先必须让计算机理解什么是足球的射门动作。
这X是基于视频对人体肢体的运动进行跟踪的几个应用领域，随着计算机 功能的日益强大，这方面的应用场合肯定会越来越广泛和深入。
现在，对人体肢体运动进行跟踪的方法通常分为两种 一种是分别在人体 的各个关节部位安设传感器。在人体运动过程中，这些传感器就会不断地将各 个关节在空间中的位置变化消息发送给计算机，这样计算机就可以精确地获得 人体的各个肢体在各个时刻的运动信息。另 一种是由计算机针对视频图像序列 进行分析。其中的视频图像序列可以是单个摄像机拍摄的，也可以是多个摄像 机同时从各个不同视角拍摄的。
基于视频图像序列的人体肢体运动的跟踪方法又可分为两类自底向上法 和自顶向下法。其中，自底向上法是先从图像帧中提取人体低层部位的相关特 征(例如下肢各关节的位置)，并对之进行识别；然后，在各个帧的特征间建立对应关系；最后，从特征对应关系中提取人体的各个肢体结构与运动信息。自 底向上法的特点是处理速度快，但是，跟踪的精度不够高。
自顶向下法是先对视频序列的第一帧中被跟踪的人物进行手工标注，也就 是先用人工计算出该人物的各个关节的位置，再用预测的方法对后续各帧图像 的关节位置进行计算和预测，由此实现人体肢体运动的跟踪。常用的预测方法 包括卡尔曼滤波法及粒子滤波法。卡尔曼滤波法只适用于运动处于高斯分布的 情况，然而人体的运动分布主要是以非高斯分布为主，因此，该方法并不实用。 粒子滤波法比较适合于非高斯分布的运动跟踪，但是，它要求用多个摄像机进 行同步跟踪，并要求对摄像机进行标定，以确定摄像机的内部参数和外部参数。 该方法特点是跟踪精度较高，但速度较慢。
如何在保留这种自顶向下法中人体肢体运动进行跟踪的方法的跟踪精度 高、姿态恢复精确的基础上，改进其原来的缺陷，就成为业内科技人员关注的 新课题。
发明内容
有鉴于此，本发明的目的是提供一种基于视频的人体肢体运动的跟踪方法，
同的是，本发明只需一个摄像机，而且在计算粒子的权值时，同时考虑边缘采 样和内部采样的两种情况，使得该方法具有约束条件少、无须摄像机标定、应 用简单、姿态恢复精确等优点。
为了达到上述目的，本发明提供了 一种基于视频的人体肢体运动的跟踪方 法，该方法只限定于对单个行走人体的肢体运动进行跟踪；其特征在于，包括 下列操作步骤
(l)初始化把人体图像分解为下述10个部件头、躯干、左大臂、左 小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿，并用包括骶关节 pl、颈关节p2、右肩关节p3、右肘关节p4、右腕关节p5、左肩关节p6、左肘 关节p7、左腕关节p8、右髋关节p9、右膝关节p10、右踝关节pll、左髋关节p12、左膝关节pl3、左踝关节pl4和头部p15的15个关节点，描述该10个人 体各肢体部件在图像中的位置，以便通过确定该IO个关节点在每帧图像中的位 置，实现对人体肢体运动的跟踪；
(2)预测在每帧图像中，长度向量L的数值都保持不变，只有姿势向量 RA的数值发生变化，因此，只需针对前一帧图像的姿势向量RA数值，预测当 前帧图像所对应的姿势向量RA的数值，即能够实现对人体肢体运动的跟踪。
所述长度向量L是由15个关节点中相互连接的两个关节点之间的14条边 的长度所组成的一个14维向量；所述姿势向量RA是由在图像中作为根节点的 骶关节pl的位置以及其它各个关节点与其对应的父节点的角度向量A所组合 得到的一个16维向量。
所述步骤(1)进一步包括下列操作内容
(11 )对视频中的首帧图像中人体的15个关节点位置进行人工标注，并以 右肩关节p3、左肩关节p6、右髋关节p9和左髋关节pl2四个关节点围成的矩 形框用于表示人体躯干，以每个肢体所对应的两个关节点及其构成的设定宽度 的矩形框分别表示人体的左上臂、左小臂、右上臂、右小臂、左大腿、左小腿、 右大腿、右小腿和头部；其中由15个关节点中相互连接的两个关节点之间的 14条边的长度所组成的一个14维向量被称为长度向量L;而由在图像中作为 根节点的骶关节pl的位置以及其它各个关节点与其对应的父节点的角度向量A 所组合得到的一个16维向量被称为姿势向量RA。
(12)为预测第二帧图像中的IO个肢体部件的位置，分别计算首帧图像中 的各相邻关节点之间连接边的长度、各子关节点相对于父关节点的角度和根关 节点在图^f象中的位置。
所述步骤(12)进一步包括下列搡作内容
(121)由所述15个关节点导出人体骨架模型，并将其中决定其余14个关 节点位置的骶关节pl定义为根节点，再分别计算各个相邻关节点之间的欧氏距 离，即有边相连接的两个关节点之间的边的长度，总共得到14条边的长度，组 成一个14维的长度向量L=(lhl2, 114);(122)根据人体骨架模型定义相邻节点的父子关系与骶关节pl相邻的 颈关节p2、右髋关节p9和左髋关节p12为骶关节pl的三个子节点，骶关节pl 则为该三个子节点的父节点；除去其父节点骶关节pl以外，与颈关节p2相邻 的有右肩关节p3、左肩关节p6和头部pl5三个子节点，颈关节p2则为该三个 子节点的父节点；除去其父节点颈关节p2以外，与右肩关节p3相邻的右肘关 节p4为右肩关节p3的子节点，右肩关节p3则为右肘关节p4的父节点；以此 类推，得到人体骨架模型中所有相邻节点的父子关系；
(123 )根据所述相邻节点的父子关系，分别计算各个子节点相对其父节点 的角度e,v,式中，下标!V表示其为子节点/相对其父节点乂的角度；由此得
到一个14维的子节点相对其父节点的角度向量A=(e2.1,e9.1,e12.1,e3.2,...，e14.13);
(124)因根节点骶关节pl的位置能决定其余14个关节点的位置，故只要 获知骶关节pl在图像中的位置，再利用长度向量L和角度向量A的数值，就 能够唯一确定其余14个关节点在图像中的位置；设根节点在图像中的位置为 (rx,ry),其与角度向量A组合得到 一 个16维的姿势向量
ra=( rx,ry,e2_1,e9-l,e12-1,e3-2,...,e14.l3);再由首帧图像所对应的长度向量L和姿势
向量RA的数值，即为预测下一帧图像中IO个肢体位置所需要的初始值。 所述步骤(2)进一步包括下列五个操作内容
(21) 先用多元正态分布函数随机生成N个姿势向量RA的数值，该多元 正态分布姿势向量RA的均值是首帧图像所对应的姿势向量RA的数值，其协 方差矩阵是一个16x16的单位矩阵；并将该姿势向量RA的N个值中的每个数 值称为一个粒子，每个粒子对应一个人体骨架模型的状态，即15个关节点在图 像中的位置；
(22) 计算每个粒子的权值，即每个粒子和当前帧图像中人体姿势的相似 程度；再根据该N个粒子进行归一化处理后的权值，对该N个粒子做加权平均， 以得到的加权平均值作为预测的当前帧图像的姿势向量RA的数值；
(23) 根据预测的当前帧图像的姿势向量RA的数值和长度向量L，通过 计算得到预测的当前帧图像中人体的15个关节点的所在位置；再根据该预测的
1015个关节点的所在置，利用前述标注各肢体矩形框的方法，得到人体各个肢体 所对应的IO个矩形框的位置和大小；
(24) 为避免粒子出现退化现象在权值较小的粒子上耗费大量计算，需 要对预测的当前帧图像的N个粒子做重釆样，计算每个粒子应被复制的次数， 以使在生成下一帧图像使用粒子时，权值越大的粒子被复制的次数越多；所述 每个粒子被复制的次数，是指以该粒子的数值为均值做多元正态分布时，所生 成的姿势向量RA的数值的个数；
(25) 从第二帧图像开始的每帧图像都重复执行上述步骤(21) ~ (24) 的操作，得到的每帧图像的人体各肢体所对应的IO个矩形框位置和大小，也就 实现了单个行走人体的肢体运动跟踪。
所述N个姿势向量RA的数值中的N的取值范围是[100,350],选取的N 数值越大，预测的精度越高，但计算时间也越长；应根据需求，在预测精度和 计算速度之间寻取平衡点。
所述步骤(22)中，计算每个粒子权值的操作进一步包括下列操作内容 (221)对预测的当前帧图像进行下述两个处理
先用高斯-拉普拉斯算子提取预测的当前帧图像中所有物体的边缘，得到其
对应的边缘图像；所使用的高斯-拉普拉斯4莫板是:
一2-4—4一4一2 _4 0 8 0 _4 _4 8 24 8 —4 _4 0 8 0 _4 一2—4一4—4一2
接着，用背景差分方法提取出该预测的当前帧图像的前景图像只有人物、 没有背景的图像；再把前景图像中人物所对应的所有像素的值都设为1,其余 像素的值都为0;
(222)对步骤(21 )中随机生成的N个姿势向量RA中的每个粒子分别. 进行下述操作
因每个粒子为姿势向量RA中的一个数值，先根据每个粒子和长度向量L 的数值，通过计算而唯一确定该粒子所对应的人体骨架模型状态，即其15个关节点在图像中的位置；进而得到该粒子所对应的人体各肢体对应的IO个矩形框 的位置和大小；
接着，对该IO个矩形框分别进行边缘采样和内部采样，边缘采样是对上述 各肢体的矩形框的边缘进行采样，内部采样是在每个矩形框内分别进行水平方 向和垂直方向的采才羊；
在步骤(221)中的边缘图像中，根据边缘采样中的每个采样点的位置，得 到每个采样点在该边缘图像中对应像素的值，再对每个采样点的值的平方进行 累加，得到的累加和为该粒子的边缘权值；
在步骤(221)中的前景图像中，根据内部采样中的每个采样点的位置，得 到每个采样点在该前景图像中对应像素的值，再对每个采样点的值进行累加， 得到的累加和为该粒子的内部权值；
然后对所述边缘权值和所述内部权值进行相加求和，并将得到的和设为 sum,再对sum取负数后的值作为自然指数的幂，进行求解自然指数的(-sum) 次幂、即e—画的运算，其结果为该粒子的权值；
(223)对得到的N个姿势向量RA中的每个粒子的权值做归一化处理 使得每个粒子的权值在
之间，并且，该N个粒子的权值之和为1;再将归 一化处理后的权值作为每个粒子的最终权值。
所述步骤(24)进一步包括下列操作内容
(241) 根据得到的N个粒子的权值向量(\￥1,\￥2,...,\^,...,\^)，生成一个N
维的累计和向量(81,82，...，、，...，^)，其中，Si的值是W!至Wi共/个权值的累加和；
(242) 生成在
之间均匀分布的N个随机数(u,，U2,…,Un);
(243) 用二分查找法分别计算该N个随机数中的每个随机数在所述递增 数列的累计和向量(Si,S2,…,SN)中的位置，得到一个N维的位置向量M: M=(mi, m2，...，mN);
(244) 统计该N维的位置向量M中具有相同数值分量的个数，即为每个 粒子应被重复的次数；其中权值大的粒子具有的相同数值分量多，即其被重复 的次数也多，权值小的粒子具有的相同数值分量少，其被重复的次数也少，甚
12至为0;且N个粒子应净皮重复的次凄t之和与N数值相同，生成的预测下一帧图 像所需要的粒子数也为N个；
(245)根据每个粒子应被重复的次数，生成相应数量的后代粒子；且其后 代粒子服从正态分布，这些正态分布粒子的均值是其对应的父代粒子的数值， 其协方差矩阵是一个16x16的单位矩阵。
本发明是一种采用自顶向下法中的粒子滤波对人体肢体运动进行跟踪的方 法，其优点与创新之处是与传统的自顶向下方法不同的是，本发明只需要一 个摄像机，而且在计算粒子的权值时，同时考虑了边缘采样和内部采样两种情 况，使得该方法具有约束条件少、无须摄像^L标定、应用简单、姿态恢复精确 等优点。
图1是本发明基于视频的人体肢体运动的跟踪方法操作步骤流程图。 图2 (A)、 (B)分別是本发明将人体分为10个部分的各肢体矩形框在图 像中的位置图和所标注的15个关节点(作了放大处理)的位置图。
图3是本发明中将颈关节p2与头部p15组成的一个肢体矩形框示意图。
图4是本发明对人体架构的骨架模型图。
图5是本发明中的父子节点的相对角度示意图。
图6 (A)、 (B)分别是本发明中对人体的各肢体矩形框分别进行边缘采样 和内部采冲羊的结果示意图。
图7是本发明实施例中步骤(244)的说明示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作 进一步的详细描述。
参见图1，介绍本发明基于视频的人体肢体运动的跟踪方法，该方法只限 定于对单个行走人体的肢体运动进行跟踪，其具体才喿作主要分为两个步骤步骤l、初始化4巴人体图像分解为下述IO个部件头、躯干、左大臂.、 左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿，并用包括骶关 节pl、颈关节p2、右肩关节p3、右肘关节p4、右腕关节p5、左肩关节p6、 左肘关节p7、左腕关节p8、右髋关节p9、右膝关节p10、右踝关节pll、左髋 关节pl2、左膝关节pl3、左踝关节pl4和头部pl5的15个关节点，描述该IO 个人体各肢体部件在图像中的位置，以便通过确定该IO个关节点在每帧图像中 的位置，实现对人体肢体运动的跟踪。
该步骤1进一步包括下列两个操作内容
(11 )先对视频中的首帧图像中人体的15个关节点位置用小矩形框进行人 工标注(参见图2(B)),该15个关节点都是图像中的像素点(为表示清楚图 像，图2 (B)对这15个像素点作了放大)。并以右肩关节p3、左肩关节p6、 右髋关节p9和左髋关节p12四个关节点围成的矩形框用于表示人体躯干，并设 定p2和p15位于该矩形框的宽度中心位置。再以每个肢体所对应的两个关节点 及其构成的设定宽度的矩形框(参见图2(A))分别表示人体的左上臂、左小 臂、右上臂、右小臂、左大腿、左小腿、右大腿、右小腿和头部。头部对应的 关节标注点是p2和p15 (参见图3 )。 15个关节点中相互连接的两个关节点之 间的14条边的长度所组成的一个14维向量被称为长度向量L;而由在图像中 作为根节点的骶关节pl的位置以及其它各个关节点与其对应的父节点的角度 向量A所组合得到的一个16维向量被称为姿势向量RA。这样，跟踪人体运动 就成为确定这IO个矩形框在每帧图像中的位置。
(12)为预测第二帧图像中的IO个肢体部件的位置，分别计算首帧图像中 的各相邻关节点之间连接边的长度、各子关节点相对于父关节点的角度和根关 节点在图像中的位置。所述步骤(12)包括下列操作内容
(121)由图2(B)中的15个关节点能够导出人体骨架模型(参见图4), 并将其中决定其余14个关节点位置的骶关节pl定义为根节点，再分别计算各 个相邻关节点之间的欧氏距离，即有边相连接的两个关节点之间的边的长度， 即相邻节点在图像中的欧氏距离，总共得到14条边的长度，组成一个14维的长度向量L=(lhl2，...，l14)。
(122)根据人体骨架模型定义相邻节点的父子关系与骶关节pl相邻的 颈关节p2、右髋关节p9和左髋关节pl2为骶关节pl的三个子节点，骶关节pl 则为该三个子节点的父节点；除去其父节点骶关节pl以外，与颈关节p2相邻 的有右肩关节p3、左肩关节p6和头部pl5三个子节点，颈关节p2则为该三个 子节点的父节点；除去其父节点颈关节p2以外，与右肩关节p3相邻的右肘关 节p4为右肩关节p3的子节点，右肩关节p3则为右肘关节p4的父节点；以此 类推，得到图4中的人体骨架模型中所有相邻节点的父子关系。
(123 )根据上述相邻节点的父子关系，即可分别计算和定义各个子节点相 对其父节点的角度式中，下标zV表示其为子节点/相对其父节点/的角 度(参见图5: p3是父节点，p4是子节点，04-3是p4相对于p3的角度，其下 标4-3表示p4相对于p3,故aw表示p4相对于p3的角度)。由此得到一个14
维的子节点相对其父节点的角度向量AKe2-,e9-,，e,w,e3-2,…，e^B)。
(124 )因根节点骶关节pl的位置能决定其余14个关节点的位置，故只要 获知骶关节pl在图像中的位置，再利用长度向量L和角度向量A的数值，通 过简单计算就能唯一确定其余14个关节点在图像中的位置；设根节点在图像中 的位置为(rx,ry)，其与角度向量A组合得到一个16维的姿势向量
ra=( rx,ry,e2—,，e9小e,2小e3-2，…,e,w3),再由首帧图像所对应的长度向量L和姿势
向量RA的数值，即为预测下一帧图像中IO个肢体位置所需要的初始值。
步骤2、预测因为在每帧图像中，长度向量L的数值都保持不变，只有 姿势向量RA的数值发生变化，因此，只需针对前一帧图像的姿势向量RA数 值，预测当前帧图像所对应的姿势向量RA的数值，即能够实现对人体肢体运 动的跟踪。该步骤2包括下列操作内容
(21 )先用多元正态分布函数随机生成N个服从多元正态分布的姿势向量 RA的数值。众所周知，多元正态分布函数有两个参数均值和协方差矩阵。 该正态分布姿势向量RA的均值是首帧图像所对应的姿势向量RA的数值；其 协方差矩阵是一个16x16的单位矩阵，并将该N个姿势向量RA中的每个数值
15称为一个粒子，每个粒子对应一个人体骨架模型的状态，即15个关节点在图像 中的位置。这里的N个姿势向量RA的数值中的N的取值范围是[100,350], 选取的N数值越大，预测的精度越高，但计算时间也越长；应根据需求，在预 测精度和计算速度之间寻取平衡点。通常选取粒子数为200。
(22)计算每个粒子的权值，即每个粒子和当前帧图像中人体姿势的相似 程度；再根据该N个粒子进行归一化处理后的权值，对该N个粒子做加权平均， 以得到的加权平均值作为预测的当前帧图像的姿势向量RA的数值。
该步骤(22)中，计算每个粒子权值的操作进一步包括下列操作内容 (221)对预测的当前帧图像进行下述两个处理，得到其对应的边缘图像和 前景图像
先用高斯-拉普拉斯算子提取预测的当前帧图像中所有物体的边缘，得到其
对应的边缘图像；所使用的高斯-拉普拉斯模板是:
—2—4-4一4一2 一4 0 8 0 -4 一4 8 24 8 _4 一4 0 8 0 -4
一2—4—4—4一2
接着，用背景差分方法提取出该预测的当前帧图像的前景图像，即只有人 物、没有背景的图像；再把前景图像中人物所对应的所有像素的值都设为1, 其余像素的值都为0。
(222)对步骤(21 )中随机生成的N个姿势向量RA中的每个粒子分别 进行下述操作
(a) 因每个粒子为姿势向量RA中的一个数值，先根据每个粒子和长度向 量L的数值，通过计算而唯一地确定该粒子所对应的人体骨架模型状态，即其 15个关节点在图像中的位置；进而得到该粒子所对应的人体各肢体对应的10 个矩形框的位置和大小；
(b) 接着，对该IO个矩形框分别进行边缘采样和内部采样，边缘采样是 对上述各肢体的10个矩形框的边缘进行采样(采样效果如图6(A)所示，采 样间隔为5个像素)，内部采样是在每个矩形框内分别进行水平方向和垂直方向的采样(采样效果如图6 (B )所示，采样间隔为5个像素)；.
(c) 在步骤(221)中得到的边缘图像中，根据边缘采样中的每个采样点 的位置，得到每个釆样点在该边缘图像中对应像素的值，再对每个采样点的值 的平方进行累加，得到的累加和为该粒子的边缘权值；
(d) 在步骤(221)中得到的前景图像中，根据内部采样中的每个采样点 的位置，得到每个采样点在该前景图像中对应像素的值，再对每个采样点的值 进行累加，得到的累加和为该粒子的内部权值；
(e) 然后对该边缘权值和该内部权值进行相加求和，并将得到的和设为 sum,再对sum取负数后的值作为自然指数的幂，进行求解自然指数的(-sum) 次幂、即e—的运算，其结果为该粒子的权值。
(223 )对得到的N个姿势向量RA中的每个粒子的权值做归一化处理 使得每个粒子的权值在
之间，并且，该N个粒子的权值之和为1;再将归 一化处理后的权值作为每个粒子的最终权值和预测当前帧图像的姿势向量RA 的数值。
(23) 根据预测的当前帧图像的姿势向量RA的数值和长度向量L,通过 计算得到预测的当前帧图像中人体的15个关节点的所在位置；再根据该预测的 15个关节点的所在置，利用前述标注各肢体矩形框的方法，得到人体各个肢体 所对应的IO个矩形框的位置和大小。
(24) 为了生成下一帧图像所需要的N个粒子，如果重复使用上述步骤的 方法，会出现粒子退化现象，也即把大量的计算浪费在权值较小的粒子上。为 避免粒子出现退化现象在权值较小的粒子上耗费大量计算，需要对预测当前 帧图像的N个粒子做重采样，也就是计算每个粒子应被复制的次数，以4吏在生 成下一帧图像使用粒子时，权值越大的粒子被复制的次数越多。所述每个粒子 被复制的次数，是指以该粒子的数值为均值做多元正态分布时，所生成的姿势 向量RA的数值的个数。该步骤(24)进一步包括下列操作内容
(241)根据得到的N个粒子的权值向量(\^^2，...，;,...，\￥^,生成一个N
维的累计和向量(81,32，...,^..., )，其中，Si的值是w,至Wi共/个权值的累加和；(242 )生成在
之间均匀分布的N个随机数(ut,U2,…,UN);
(243) 用二分查找法分别计算该N个随机数中的每个随机数在该递增数 列的累计和向量(Si,S2，…,SN)中的所在位置，得到一个N维的位置向量M: M=
(mbm2，…，mN)。例如，对于随机数0.4951,因为累计和向量是一个递增数列， 所以，如果sw〉0.4951 >s90,则0.4951在累计和向量中所在的位置就是91。
(244) 统计该N维的位置向量M中具有相同数值分量的个数，即为每个 粒子应被重复的次数；其中权值大的粒子具有的相同数值分量多，即其被重复 的次数也多，权值小的粒子具有的相同数值分量少，其被重复的次数也少，甚 至为0;且N个粒子应被重复的次数之和与N数值相同，生成的预测下一帧图 像所需要的粒子数也为N个。
例如，参见图7所示的5个粒子的情况(S!，S2，S3,S4，Ss )是这5个粒子对应 的累积和向量，(化,U2,U3,U4,U5 )是均匀分布在
之间的5个随机数，这5个随 机数对应的位置向量M = (mhm2,m3,m4,m5)。在图7中，粒子1的权值较大， 随积4丈u,和U2在累计和向量中的位置都为1,也即m尸m2= 1,所以粒子1应 被重复的次数为2，表明粒子1被重复的次数较多；位置2上的粒子2的权值 较小，没有随机数，所以粒子2被重复的次数为0。同理，位置3上的粒子3 被重复的次数为2，粒子4被重复的次数为1，粒子5被重复的次数为0。因此， 这5个粒子应被重复的次数之和仍然为5,只是权值大的粒子重复的次数较多， 而权值较小的粒子重复的次数较小，甚至为O。
本发明中N个粒子的情况类似于图7中的5个粒子的情况，只是这N个 粒子应纟皮重复的次数之和为N。
(245) 根据每个粒子应被重复的次数，生成相应数量的后代粒子；且其后 代粒子服从正态分布。例如，如果第8个粒子被重复的次数为3,则该第8个 粒子生成3个后代粒子，且这3个后代粒子服从正态分布。这些正态分布粒子 的均值是其对应的父代粒子的数值；其协方差矩阵是一个16x16的单位矩阵。 因为这N个粒子应被重复的次数之和为N,所以生成的预测下一帧图像所需要 的粒子数也为N。(25)从第二帧图像开始的每帧图像都要重复执行上述步骤(21) ~ (24) 的操作，得到的每帧图像的人体各肢体所对应的IO个矩形框位置和大小，也就 实现了单个行走人体的肢体运动跟踪。
本发明采用自顶向下方法中的粒子滤波对人体的肢体运动进行跟踪的方法, 已经进行了多次实施试验和仿真验证。下面简要介绍实验环境如下
实验对象单个行走的人体。硬件设施松下网络摄像机BL-C111 —台， PC电脑一台(cpu:PlV3.2G,内存1G)。软件开发环境Visual C++2005。测试 视频长度2000帧。每帧视频的平均计算时间3秒。平均跟踪错误度量(即与 真实肢体位置的距离差)5mm。
多次进行实验实施例的结果表明不同于传统方法，本发明方法只需要一 个摄像机，而且在计算粒子的权值时，同时兼顾边缘采样和内部采样两种情况， 使得该方法约束条件少、无须摄像机标定、应用筒单、姿态恢复精确等优点。
权利要求
1、一种基于视频的人体肢体运动的跟踪方法，该方法只限定于对单个行走人体的肢体运动进行跟踪；其特征在于，包括下列操作步骤(1)初始化把人体图像分解为下述10个部件头、躯干、左大臂、左小臂、右大臂、右小臂、左大腿、左小腿、右大腿、右小腿，并用包括骶关节p1、颈关节p2、右肩关节p3、右肘关节p4、右腕关节p5、左肩关节p6、左肘关节p7、左腕关节p8、右髋关节p9、右膝关节p10、右踝关节p11、左髋关节p12、左膝关节p13、左踝关节p14和头部p15的15个关节点，描述该10个人体各肢体部件在图像中的位置，以便通过确定该10个关节点在每帧图像中的位置，实现对人体肢体运动的跟踪；(2)预测在每帧图像中，长度向量L的数值都保持不变，只有姿势向量RA的数值发生变化，因此，只需针对前一帧图像的姿势向量RA数值，预测当前帧图像所对应的姿势向量RA的数值，即能够实现对人体肢体运动的跟踪。
2、 根据权利要求1所述的方法，其特征在于所述长度向量L是由15个 关节点中相互连接的两个关节点之间的14条边的长度所组成的一个14维向量； 所述姿势向量RA是由在图像中作为根节点的骶关节pl的位置以及其它各个关 节点与其对应的父节点的角度向量A所组合得到的一个16维向量。
3、 根据权利要求1所述的方法，其特征在于所述步骤(1)进一步包括 下列操作内容(11) 对视频中的首帧图像中人体的15个关节点位置进行人工标注，并以 右肩关节p3、左肩关节p6、右髋关节p9和左髋关节pl2四个关节点围成的矩 形框用于表示人体躯干，以每个肢体所对应的两个关节点及其构成的设定宽度 的矩形框分别表示人体的左上臂、左小臂、右上臂、右小臂、左大腿、左小腿、 右大腿、右小腿和头部；(12) 为预测第二帧图像中的IO个肢体部件的位置，分别计算首帧图像中 的各相邻关节点之间连接边的长度、各子关节点相对于父关节点的角度和根关节点在图像中的位置。
4、 根据权利要求3所述的方法，其特征在于所述步骤(12)进一步包括 下列操作内容(121) 由所述15个关节点导出人体骨架模型，并将其中决定其余14个关 节点位置的骶关节pl定义为根节点，再分别计算各个相邻关节点之间的欧氏距 离，即有边相连接的两个关节点之间的边的长度，总共得到14条边的长度，组 成一个14维的长度向量1^(h,12,…，114);(122) 根据人体骨架^^型定义相邻节点的父子关系与骶关节pl相邻的 颈关节p2、右髋关节p9和左髋关节p12为骶关节pl的三个子节点，骶关节pl 则为该三个子节点的父节点；除去其父节点骶关节pl以外，与颈关节p2相邻 的有右肩关节p3、左肩关节p6和头部pl5三个子节点，颈关节p2则为该三个 子节点的父节点；除去其父节点颈关节p2以外，与右肩关节p3相邻的右肘关 节p4为右肩关节p3的子节点，右肩关节p3则为右肘关节p4的父节点；以此 类推，得到人体骨架模型中所有相邻节点的父子关系；(123 ) 4艮据所述相邻节点的父子关系，分别计算各个子节点相对其父节点 的角度6,.,式中，下标/:/表示其为子节点/相对其父节点乂的角度；由此得到一 个14维的子节点相对其父节点的角度向量AKe^ewA^e^.^eM^);(124)因根节点骶关节pl的位置能决定其余14个关节点的位置，故只要 获知骶关节pl在图像中的位置，再利用长度向量L和角度向量A的数值，就 能够唯一确定其余14个关节点在图像中的位置；设根节点在图像中的位置为 (rx,ry)，其与角度向量A组合得到 一 个16维的姿势向量 RA=( rx，ry，e2-be9小em,e3-2,…,e^3);再由首帧图像所对应的长度向量L和姿势向量RA的数值，即为预测下一帧图像中IO个肢体位置所需要的初始值。
5、 根据权利要求1所述的方法，其特征在于所述步骤(2)进一步包括 下列操作内容(21)先用多元正态分布函数随机生成N个姿势向量RA的数值，该多元 正态分布姿势向量RA的均值是首帧图像所对应的姿势向量RA的数值，其协方差矩阵是一个16x16的单位矩阵；并将该姿势向量RA的N个值中的每个数 值称为一个粒子，每个粒子对应一个人体骨架模型的状态，即15个关节点在图 像中的位置；(22) 计算每个粒子的权值，即每个粒子和当前帧图像中人体姿势的相似 程度；再根据该N个粒子进行归一化处理后的权值，对该N个粒子做加权平均， 以得到的加权平均值作为预测的当前帧图像的姿势向量RA的数值；(23) 根据预测的当前帧图像的姿势向量RA的数值和长度向量L，通过 计算得到预测的当前帧图像中人体的15个关节点的所在位置；再根据该预测的 15个关节点的所在置，利用前述标注各肢体矩形框的方法，得到人体各个肢体 所对应的IO个矩形框的位置和大小；(24) 为避免粒子出现退化现象在权值较小的粒子上耗费大量计算，需 要对预测的当前帧图像的N个粒子做重采样，计算每个粒子应被复制的次数， 以使在生成下一帧图像使用粒子时，权值越大的粒子被复制的次数越多；所述 每个粒子被复制的次数，是指以该粒子的数值为均值做多元正态分布时，所生 成的姿势向量RA的数值的个数；(25) 从第二帧图像开始的每帧图像都重复执行上述步骤(21) ~ (24) 的操作，得到的每帧图像的人体各肢体所对应的IO个矩形框位置和大小，也就 实现了单个行走人体的肢体运动跟踪。
6、 根据权利要求5所述的方法，其特征在于所述N个姿势向量RA的 数值中的N的取值范围是[100,350]，选取的N数值越大，预测的精度越高， 但计算时间也越长；应根据需求，在预测精度和计算速度之间寻取平衡点。
7、 根据权利要求5所述的方法，其特征在于所述步骤(22)中，计算每 个粒子权值的操作进一步包括下列操作内容(221 )对预测的当前帧图像进行下述两个处理先用高斯-拉普拉斯算子提取预测的当前帧图像中所有物体的边缘，得到其对应的边缘图像；所使用的高斯-拉普拉斯模板是:<formula>formula see original document page 5</formula>接着，用背景差分方法提取出该预测的当前帧图像的前景图像只有人物、没有背景的图像；再把前景图像中人物所对应的所有像素的值都设为1，其余 像素的值都为0;(222)对步骤(21 )中随机生成的N个姿势向量RA中的每个粒子分别 进行下述操作因每个粒子为姿势向量RA中的一个数值，先根据每个粒子和长度向量L 的数值，通过计算而唯一确定该粒子所对应的人体骨架^^莫型状态，即其15个关 节点在图像中的位置；进而得到该粒子所对应的人体各肢体对应的IO个矩形框 的位置和大小；接着，对该IO个矩形框分别进行边缘采样和内部采样，边缘采样是对上述 各肢体的矩形框的边缘进行采样，内部采样是在每个矩形框内分别进行水平方 向和垂直方向的采才羊；在步骤(221)中的边缘图像中，根据边缘采样中的每个采样点的位置，得 到每个采样点在该边缘图像中对应像素的值，再对每个采样点的值的平方进行 累加，得到的累加和为该粒子的边》彖;f又值；在步骤(221)中的前景图像中，根据内部采样中的每个采样点的位置，得 到每个采样点在该前景图像中对应像素的值，再对每个采样点的值进行累加， 得到的累加和为该粒子的内部权值；然后对所述边缘权值和所述内部权值进行相加求和，并将得到的和设为 sum,再对sum取负数后的值作为自然指数的幂，进行求解自然指数的(-sum ) 次幂、即e—,的运算，其结果为该粒子的权值；(223 )对得到的N个姿势向量RA中的每个粒子的权值做归一化处理 使得每个粒子的权值在
之间，并且，该N个粒子的权值之和为1;再将归一化处理后的权值作为每个粒子的最终权值。
8、根据权利要求5所述的方法，其特征在于所述步骤(24)进一步包括 下列操作内容(241) 根据得到的N个粒子的权值向量(WbW2,…，Wi，…，WN)，生成一个N维的累计和向量(81,82，...,&...,8^,其中，Si的值是W,至Wi共!'个权值的累加和；(242) 生成在
之间均匀分布的N个随机数(u!,U2,…,Un);(243) 用二分查找法分别计算该N个随机数中的每个随机数在所述递增 数列的累计和向量(st，S2,…，SN)中的位置，得到一个N维的位置向量M: M=(mi, m2".., mN);(244) 统计该N维的位置向量M中具有相同数值分量的个数，即为每个 粒子应被重复的次数；其中权值大的粒子具有的相同数值分量多，即其被重复 的次数也多，权值小的粒子具有的相同数值分量少，其被重复的次数也少，甚 至为0;且N个粒子应被重复的次数之和与N数值相同，生成的预测下一帧图 像所需要的粒子数也为N个；(245) 根据每个粒子应被重复的次数，生成相应数量的后代粒子；且其后其协方差矩阵是一个16x16的单位矩阵。
全文摘要
一种基于视频的人体肢体运动的跟踪方法，只对单个行走人的肢体运动进行跟踪；操作步骤如下(1)初始化把人体图像分解为10个部件，并用15个关节点描述该10个肢体部件在图像中的位置，以便通过确定10个关节点在每帧图像中的位置来实现对人体肢体运动的跟踪；(2)预测只需针对前一帧图像的姿势向量RA数值，预测当前帧图像所对应的姿势向量RA的数值，即能够实现对人体肢体运动的跟踪。本发明方法只需要一个摄像机，而且在计算粒子的权值时同时考虑了边缘采样和内部采样两种情况，使得该方法具有约束条件少、无须摄像机标定、应用简单、姿态恢复精确等优点。
文档编号G06T7/20GK101599177SQ20091008806
公开日2009年12月9日 申请日期2009年7月1日 优先权日2009年7月1日
发明者明安龙, 曾成斌, 马华东 申请人:北京邮电大学