一种具有速度信息的时序模板动作表示方法
【技术领域】：
[0001] 本发明属于人体行为识别领域，特别是设及一种具有速度信息的时序模板动作表 示方法。 技术背景：
[0002] 随着计算视觉及模式识别技术的快速发展，人体行为识别在智能监控、虚拟现实、 人机交互和运动分析中得到了广泛的应用。比如，智能监控被广泛应用于酒店、机场和银行 等特殊环境中，对人员的动作进行识别能够及时发现异常行为并发出告警；人的身体动作 和手势等包含大量信息，传统的人机交互主要是通过鼠标和键盘对机器进行操作，高级的 人机交互通过对人体动作识别进而使计算机做出反应；虚拟现实目前被较为广泛地应用于 X-B0X360和PX3等游戏机中；在体育视频中，对运动员的身体动作进行分析、判断，建立最 优模型，在运动员的速度和姿势方面做出改进，从而能够帮助运动员提高竞争力。
[0003] 模板匹配方法主要是使用时序模板（运动历史图像和运动能量图像）对动作进行 描述，用二维图像来描述视频中一个人的完整动作，方法简单，并且具备一定的鲁椿性。该 方法虽然能够较好地描述动作的整体轮廓，但是对于动作的速度信息描述不够明显。
[0004] 另外，原有的时序模板方法主要描述动作的运动区域形状，对动作的速度分布情 况表现不够突出，因此我们只能够识别出外观相差较大的动作，而对于某些形状相似但用 力程度不同的动作识别率却较低，例如用力拍打和轻拍。
【发明内容】
：
[0005] 为了解决上述问题，本发明的目的在于提供一种带有速度信息的时序模板动作表 示方法。
[0006] 为了达到上述目的，本发明提供的带有速度信息的时序模板动作表示方法包括按 顺序进行的下列步骤：
[0007] 1)使用混合高斯模型提取出视频帖的前景运动区域；
[000引 2)计算上述前景运动区域的稠密光流，并比较前后两帖视频上同一像素点的光 流，保留较大的光流，得到动作最大光流的分布；
[0009] 3)最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不同方 向，颜色的深浅表示速度的大小，最终得到最大光流图像。
[0010] 在步骤1)中，所述的使用混合高斯模型提取出视频帖的前景运动区域的方法为， 在时间域内，用K个多维高斯分布来模拟图像中每个像素点的变化，将混合高斯模型中的K 个高斯分布按^大小排序，取前面N个高斯分布作为背景模型。将当前像素与背景模型 的高斯分布做差，若差值小于一定范围，则判定为背景。
[0011] 在步骤2)中，所述的计算上述前景运动区域的稠密光流，并比较前后两帖视频上 同一像素点的光流，保留较大的光流，得到动作最大光流的分布的方法为，假设特征窗口内 的各像素点具有大致相同的光流速度；用多项式展开来近似每个像素周围邻近的点，每个 特征窗口用局部多项式f(x) =xTAx+bTx+c近似，于是得到；A(x)d(x) =Ab(x)，其中d(x) 为前后两帖像素点的光流位移，假设前后两帖像素点的位移变化是缓慢的，于是得到同一 像素点前后两帖的光流位移；将此光流与前一帖的光流做对比，保留较大光流值。
[0012] 在步骤3)中，所述的最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同 的颜色对应不同方向，颜色的深浅表示速度的大小，最终得到最大光流图像的方法为，首先 定义颜色轮经度，把一周均分成五种主色，并将五种主色互相调和成五种中间色；红、红黄、 黄、黄绿、绿、绿藍、藍、藍紫、紫、紫红，相邻的两个位置之间再均分成10份，共100份；根据 计算得到的每个像素点光流的水平位移和垂直位移得到运动方向和大小，将运动方向和大 小与孟塞尔颜色轮相对应。
[0013] 本发明提供的带有速度信息的时序模板动作表示方法首先使用高斯混合模型进 行前景提取，只计算运动区域的光流能够减少运算量，然后对前景区域使用Farneback算 法计算视频的稠密光流，最后使用孟塞尔颜色系统对光流着色。本方法能够在描述动作整 体轮廓的同时也强调动作的最大速度分布情况，对于单人动作和双人交互动作都有较好的 识别结果，可W有效地区分一些外形相似但是速度分布不同的动作，例如用力拍打和轻拍， 从而可避免对于外形相似的动作被误分为同一个动作的问题。本动作表示方法可用于智能 视频监控和虚拟现实，W提高其准确性。
【附图说明】
[0014] 图1为本发明提供的具有速度信息的时序模板动作表示方法流程图。
【具体实施方式】：
[0015] 下面结合附图和具体实施例对本发明提供的具有速度信息的时序模板动作表示 方法进行详细说明。
[0016] 如图1所示，本发明提供的具有速度信息的时序模板动作表示方法包括按顺序进 行的下列步骤：
[0017] 1)使用混合高斯模型提取出视频帖的前景运动区域；
[0018] 前景提取的目的是从图像中获得比较完整的前景运动区域。背景减除法是前景提 取最常用的方法之一，其基本思想是利用背景的参数模型来近似估计背景图像像素点的像 素值，计算当前帖与背景图像的差值，其中与背景模型区别较大的像素区域被认为是运动 区域，而区别较小的像素区域被认为是背景区域。背景减除法主要包括基于背景模型的方 法和基于全局阔值的方法等。混合高斯模型属于基于背景模型的方法，其是依据像素的历 史变化而建立背景模型，并对其不断进行更新W获得前景，对变化复杂的场景也具有一定 的适应能力。
[0019] 将混合高斯模型（Mix化re of Gaussians，MoG)用于背景建模时，在时间域内，用 K个多维高斯分布来模拟图像中每个像素点的变化，像素点I(x，y)的观测值序列E 为 找1，X2, . . .，XJ，在t时刻该像素点值为Xt的概率为/(种二卢成，伯，2；,,)，其中；K为高 ,.=1 斯分布的个数，Wi t为第i个高斯分布的权值，N化y E )为高斯分布概率密度函数，y i，t 和2 分别为第i个高斯分布的均值和协方差矩阵。
[0020] 将混合高斯模型中的K个高斯分布按^大小排序，取前面N个高斯分布作为 背景模型。将当前像素与背景模型的高斯分布做差，若差值小于一定范围，则判定为背景， 用一个二值变量Bt来表示，即；
[0021]
【主权项】
1. 一种具有速度信息的时序模板动作表示方法，其特征在于：其包括按顺序进行的下 列步骤： 1) 使用混合高斯模型提取出视频帧的前景运动区域； 2) 计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的光流，保 留较大的光流，得到动作最大光流的分布； 3) 最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不同方向， 颜色的深浅表示速度的大小，最终得到最大光流图像。
2. 根据权利要求1所述的具有速度信息的时序模板动作表示方法，其特征在于：在步 骤1)中，所述的使用混合高斯模型提取出视频帧的前景运动区域的方法为，在时间域内， 用K个多维高斯分布来模拟图像中每个像素点的变化，将混合高斯模型中的K个高斯分布 按
大小排序，取前面N个高斯分布作为背景模型。将当前像素与背景模型的高斯分 布做差，若差值小于一定范围，则判定为背景。
3. 根据权利要求1所述的具有速度信息的时序模板动作表示方法，其特征在于：在步 骤2)中，所述的计算上述前景运动区域的稠密光流，并比较前后两帧视频上同一像素点的 光流，保留较大的光流，得到动作最大光流的分布的方法为，假设特征窗口内的各像素点具 有大致相同的光流速度；用多项式展开来近似每个像素周围邻近的点，每个特征窗口用局 部多项式：?(1)=111+13\+〇近似，于是得到4(1)(1(1)=八13(1)，其中(1(1)为前后两帧像 素点的光流位移，假设前后两帧像素点的位移变化是缓慢的，于是得到同一像素点前后两 帧的光流位移；将此光流与前一帧的光流做对比，保留较大光流值。
4. 根据权利要求1所述的具有速度信息的时序模板动作表示方法，其特征在于：在步 骤3)中，所述的最后使用孟塞尔颜色系统对上述保留的光流进行着色，不同的颜色对应不 同方向，颜色的深浅表示速度的大小，最终得到最大光流图像的方法为，首先定义颜色轮经 度，把一周均分成五种主色，并将五种主色互相调和成五种中间色：红、红黄、黄、黄绿、绿、 绿蓝、蓝、蓝紫、紫、紫红，相邻的两个位置之间再均分成10份，共100份；根据计算得到的每 个像素点光流的水平位移和垂直位移得到运动方向和大小，将运动方向和大小与孟塞尔颜 色轮相对应。
【专利摘要】本发明公开了一种带有速度信息的时序模板动作表示方法。其首先使用高斯混合模型进行前景提取，只计算运动区域的光流能够减少运算量，然后对前景区域计算视频的稠密光流，最后使用孟塞尔颜色系统对光流着色。本方法能够在描述动作整体轮廓的同时也强调动作的最大速度分布情况，对于单人动作和双人交互动作都有较好的识别结果，可以有效地区分一些外形相似但是速度分布不同的动作，例如用力拍打和轻拍，从而可避免对于外形相似的动作被误分为同一个动作的问题。本动作表示方法可用于智能视频监控和虚拟现实，以提高其准确性。
【IPC分类】G06T7-20, G06K9-00
【公开号】CN104537687
【申请号】CN201410811099
【发明人】张良, 王满一, 胡修祥
【申请人】中国民航大学
【公开日】2015年4月22日
【申请日】2014年12月22日