态s和观测变 量X同时出现的概率大小。为了模拟视频中动态过程，我们加入一个窗参数w(假设视频当前 帧为t，那么在[t_w，t+w]范围内的所有帧都要进行特征提取，并联立成一个观测变量X)，势 函数变成?，其计算公式如下：
[0216]
(L 3.1)
[0217] 其中，E代表隐藏状态链，n代表隐藏状态个数，φ(?,么公}代表从[t-w，t+w]范围内 提取的特征向量，内积卜么可以看作隐藏状态sj与特征向量例同时出 现的概率，0y[y，Sj]可以看作类别号y与隐藏状态Sj同时出现的概率，sj、sk代表隐藏状态链 上相邻的两个隐藏变量对，9e[y，Sj，Sk]可以看作类别号y与隐藏状态sj、sk同时出现的概 率。
[0218] 1.1.1MHCRF 的训练
[0219] MHCRF的训练应使以下的目标函数达到最大值：
[0220]
(1, 3. 2)
[0221]其中，η是训练样本数量，第一项是训练样本数据出现概率的自然对数，第二项是 参数取θ的概率的自然对数，即朽:約~ exp i.
[0222] 为了求得公式(1.3.2)的最大值，我们采用拟牛顿梯度上升法：
[0223] 假设需要求得最值的函数为f(x)，对它进行泰勒展开：
[0224]
(1.3.3)
[0225] 为了加快计算速度，函数f(x)的二阶偏导数Hessian矩阵用矩阵B来近似，对公式 (1.3.3)两边取梯度：
[0226] V(? 十么名} 8:5 9i (%) + S 么怎 (13 4}
[0227] 为了取得函数f (X)的最大值，式(1.3.4)取0，得到：
[0228] Ar -
[0229] Hessian矩阵的近似应该满足以下条件：
[0230] V/{：rfc -f Δα) ~ Vf{xk) 4- BAxt
[0231] 不同的拟牛顿法主要区别在于B的获取方式不同.这里，采用BFGS来近似Hessian 矩阵，其迭代公式为：
[0232] B〇=I*x
[0233]
[0234] 其中，詉=嗨的选择应满足Wolfe 条件。
[0235] 1.1.2MHCRF 的测试
[0236] 输入一个测试序列Χ，θ$为从上一步训练到的模型参数，取概率最大的标签作为类 标签：
[0237]
[0238] P(y|x，0)可用前面提到的公式进行计算，具体编程的时候，为了效率，可以用类似 HMM的前向算法进行置信度传播。
[0239] 前向算法:如果直接利用穷举法，计算P(y|x，0)，计算量会非常大。这里可以采用 前向算法计算局部概率，其公式如下：
[0240]
[0241]
[0242]
[0243] 第一个公式代表初始局部概率，3i(j)代表隐变量初始分布概率，相当于式(1.3.1) 中的資(美为隐变量的发射概率，相当于式（1.3.1)中的0y[y，Sj]。第二 个公式代表当前局部概率，a^,为隐变量的转移概率，相当于式（1.3.1)中的0e[y，Sj， Sk](^ 三个公式中的Pr就是希望计算的概率P(y | χ，θ)。
[0244] 1.1.3MHCRF 分析
[0245] 为了了解MHCRF的内部运作方式，我们分析产生每一个行为类别标签的最有可能 的隐藏状态序列。这里以手势识别为例。
[0246]维特比算法：如果直接利用穷举法，计算最有可能的隐变量路径，计算量会非常 大。这里可以模仿前向算法计算局部路径概率，采用迭代计算最优路径，迭代公式如下：
[0247]
[0248]
[0249] 第一个公式代表初始路径概率，31( i)代表隐变量初始分布概率，相当于式(1.3.1) 中的※(&i#)、为隐变量的发射概率，相当于式(1.3.1)中的9 y[y，Sj]，第二个 公式代表当前最优路径的概率，为隐变量的转移概率，相当于式（1.3.1)中的 Sk] 〇
[0250] 采用维特比算法，计算产生每一个样本的类别标签的概率最大的隐藏状态序列， 然后统计次数，选择出现次数最多的序列。
[0251] 可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等 同替换或改变都应属于本发明所附的权利要求的保护范围。
【主权项】
1. 一种固定位人体行为分析方法，其特征在于:包括如下步骤： 1 )、将人体检测的目标或扫描窗口进行HOG特征提取； 2) 、将人体检测的目标或扫描窗口进行CSS特征提取； 3) 、遍历图像的每一个位置，提取HOG和CSS特征，输入训练好的SVM进行判断是否是人 体，如是则进行SVM人体检测； 4 )、对检测到的人体图像进行CNN人体二次确认； 5) 、对人体图像内的关键部位上标上landmark关键点并连接起来，组成关于人体或人 脸的一个整体描述进行形状回归； 6) 、所得到关于目标姿态的一系列landmark关键点，通过landmark关键点之间的相对 位置进行MHCRF行为识别。2. 根据权利要求1所述的固定位人体行为分析方法，其特征在于:所述的HOG特征提取 的提取过程为： 1) 、将人体检测的目标或扫描窗口的图像看做一个x，y，z的三维图像并灰度化； 2) 、采用6&_8校正法对输入图像进行颜色空间的归一化； 3) 、计算图像每个像素的梯度、大小和方向； 4) 、将图像划分成小cell; 5) 、统计每个ce 11的梯度直方图，即可形成每个ce 11的descriptor; 6) 、将每几个cell组成一个block，一个block内所有cell的特征descriptor串联起来 便得到该131〇〇1<:的!106特征(168〇1^口1:〇1·; 7) 、将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image的 HOG 特征 descriptor。3. 根据权利要求1所述的固定位人体行为分析方法，其特征在于:所述的CSS特征提取 的提取过程为： 1) 、定义一个矩形块办，提取某个通道内该矩形块内数值之和:CSS特征为Ri与相邻的矩形块办的比值：矩形块Ri和R2大小相同位置不同，对它进行拓展：对某一位置的R:和它邻近的24个相同大小的矩形块作比较来提取特征，共可以提取到 48维特征； 2) 、遍历所有位置； 3) 、遍历所有颜色通道； 4) 、遍历所有矩形块大小； 5) 、得到最终的高维CSS特征向量。4. 根据权利要求1所述的固定位人体行为分析方法，其特征在于:所述的形状回归的步 骤包括训练步骤和测试步骤，分别如下： 训练步骤 1) 、准备一定数量的目标样本图片以及对应的关键点形状标记数据，并计算所有样本 的平均形状作为训练学习时候的初始形状； 2) 、确定迭代回归次数T，然后循环步骤3)-4)迭代训练T次，得到T个模型； 3) 、采用局部二值特征的方法学习得到LBF特征； 4) 、采用全局线性回归矩阵的方法学习得到线性回归矩阵； 5 )、保存T个模型，保存初始的平均形状； 测试步骤 1 )、输入一张包含目标的样本测试图片以及目标的外接矩形框； 2) 、载入初始的平均形状，按照步骤3)-4)迭代T次； 3) 、提取LBF特征； 4) 、根据公式AS^WtOta，，1)计算形状的位移，把它累加在当前的形状上； 5 )、得到关键点已经对齐的最终形状。5.根据权利要求1所述的固定位人体行为分析方法，其特征在于：所述的MHCRF行为识 别包括视频特征的提取和目标行为的识别，其具体步骤如下： 视频特征的提取步骤如下： 1 )、对某一视频序列窗口 [t-w，t+w]内的一帧，提取其目标的landmark关键点； 2 )、将landmark关键点连接成一棵树，计算树上每两个节点之间的坐标差dx，dy; 3) 、所有节点的坐标差联立成一个向量x; 4) 、对视频序列窗口中的每一帧，都重复步骤1)_3)，并按照时间先后顺序联立成一个 特征向量X; 采用MHCRF识别目标行为的步骤如下： 1)、收集所有视频序列窗口样本，根据视频特征提取叙述的方法提取每一个样本的特 征向量X; 2 )、设定好隐藏状态个数等参数，根据MHCRF训练叙述的方法进行模型训练； 3) 、提取待识别视频序列窗口的特征向量X; 4) 、根据MHCRF测试叙述的方法进行行为识别。
【专利摘要】一种固定位人体行为分析方法，包括如下步骤：1）、将人体检测的目标或扫描窗口进行HOG特征提取；2）、将人体检测的目标或扫描窗口进行CSS特征提取；3）、提取HOG和CSS特征，输入训练好的SVM进行判断是否是人体，如是则进行SVM人体检测；4）、对检测到的人体图像进行CNN人体二次确认；5）、对人体图像内的关键部位上标上landmark关键点并连接起来，组成关于人体或人脸的一个整体描述进行形状回归；6）、所得到关于目标姿态的一系列landmark关键点，通过landmark关键点之间的相对位置进行MHCRF行为识别；本发明具有不变性、归一化的优点，特别适合于做图像中的人体检测。
【IPC分类】G06K9/00, G06K9/62, G06K9/46
【公开号】CN105678284
【申请号】CN201610090842
【发明人】虞永方, 王海波, 沈伟听, 师小宇
【申请人】浙江博天科技有限公司
【公开日】2016年6月15日
【申请日】2016年2月18日