专利名称：人体非程式化运动的情感识别方法
技术领域：
本发明属于计算机模式识别领域，具体涉及一种人体非程式化运动 的情感识别方法，根据人体各关节点的三维运动数据，提取运动特征， 识别运动序列蕴含的情感状态。
背景技术：
1997年MIT媒体实验室的Picard提出"情感计算"，受到学术界的 日益关注和企业界的迅速反应。如何自动识别和理解人的情感，引起了 包括心理学、计算机科学、语言学和相关学科大量研究者的关注。心理 学家研究认为，在人与人的交互中，单词语义所包含的信息量占所传递 总信息量的7%，语调占38%，而人脸的表情占了总信息量的55%，因此目 前基于人脸表情和声音语调来识别情感的研究比较广泛。而之后的研究 者认为，结合脸部和身体运动一起识别情感比仅依靠脸部来识别情感准 确率要提高35%，特别是在某些无法看到面部或者没有声音的场合，肢体 运动特征很有可能起到良好的识别作用，因此基于人体运动特征的情感 识别逐步引起研究者的重视。
目前基于人体运动特征的情感识别的研究主要有两种方向。 一是基 于程式化运动的情感识别，所谓程式化运动指的是在某种情感状态下表 现出来的固定的动作或者姿态，例如握紧拳头表示处于愤怒的情感状态; 二是基于非程式化运动的情感识别，所谓非程式化动作指的是无论何种 情感状态下，运动的外在表现相同，例如走路、敲门等动作，但是运动 的内含不同，例如不同的情感状态下，运动的速度和动作的幅度等是不 一样的。程式化运动只有在特定的情况下才会发生，因此在现实生活中比较难捕获，而非程式化的动作属于日常的、常规的动作，在日常的工 作、学习和生活环境中很容易捕获，因此基于非程式化运动的情感识别 具有更广泛的意义。
从非程式化人体运动来识别人的情感还处于探索阶段。格拉斯哥大 学的Pollick等通过观察者对演员的表演，采集敲门和喝酒的手臂运动
视频，识别其中蕴含的10种情感，并通过计算距离矩阵，利用多维尺度 分析进行投影，结果与情感维相符。虽然不是一个自动识别系统，但却 证明了通过非程式化人体运动，.可以识别人的情感。Pollick等还建立了 走路、敲门、举手、扔东西等动作的运动数据库，采集了30个演员，四 种情感的全身各关节点的三维数据，可用于身份、性别、情感等识别， 见Ma Y.L.， Paterson H. and Pollick F. E. " A motion-capture library for the study of identity, gender, and emotion perception from biological motion" Behavior Research Methods 38(1) pp 134-141. (2006)。剑桥大学的 Bernhardt等基于此运动数据库，针对敲门动作，基于运动能量进行分割， 提取手腕关节和肘部关节的运动信息作为特征，利用支持向量机进行分 类，实现了通过非程式化运动自动识别人的情感，见Bernhardt, D. and Robinson, P. "Detecting affect from non-stylised body motions." in Affective Computing and Intelligent Interaction. Lisbon, Portugal, pp.59-70. (2007)。 Bernhardt等虽然实现了基于非程式化运动的情感识别，然而采用支持向 量机进行建模，学习速度比较慢，由于没有很好利用时序序列的变化规 律，识别率偏低。
发明内容
本发明提出一种人体非程式化运动的情感识别方法，解决现有同类 情感识别方法存在的学习速度较慢、识别率偏低的问题。本发明的一种人体非程式化运动的情感识别方法，包括以下步骤 第一步.建立隐马尔可夫模型步骤；以训练样本集合作为观察序列，
建立每一种动作类型、每一种情感所对应的隐马尔可夫模型；包括以下
子步骤
训练数据采集子步骤建立包括若干动作类型、每种动作类型又包 括若干情感类型的训练样本集；
运动分割子步骤根据人体运动序列的能量曲线图，将训练数据集 中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的 帧组成；
特征提取子步骤对运动序列中每一个动作原语，根据运动序列的 腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得 到各个动作原语所对应的特征向量，将运动序列中的所有动作原语对应 的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提 取训练数据集中的所有运动序列的特征向量序列，标记动作类型和情感 类型，得到训练样本集合；
训练子步骤对训练样本集合，利用Baum-Welch算法进行隐马尔可 夫模型训练，保存获得的隐马尔可夫模型参数；
所述的隐马尔可夫模型采用连续隐马尔可夫模型，模型参数包括转 移概率矩阵A、初始状态分布"，以及观察序列所对应的高斯混合模型 的系数C、均值向量u和协方差矩阵2;
一种动作类型的一种情感训练一个隐马尔可夫模型，共建立NmXNe 个隐马尔可夫模型，这些模型表示为{入r, r=l...NmXNe };
第二步.情感识别步骤对待识别人体运动序列进行识别，包括以 下子步骤
数据采集子步骤利用三维运动捕捉系统来捕捉待测的人体的运动 序列，每个运动序列由人体各关节点的三维运动数据序列来表示，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、 髋关节、膝关节、踝关节共15个关节点；
运动分割子步骤根据人体运动序列的能量曲线图，将待识别人体 运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；
特征提取子步骤对待识别人体运动序列中每一个动作原语，根据 运动序列的人体腕关节、肘关节、踝关节和膝关节的三维运动数据，提 取运动特征，得到各个动作原语所对应的特征向量；
识别子步骤通过所构建的隐马尔可夫模型对待识别人体运动序列 进行情感识别和动作类型识别
将各个动作原语所对应的特征向量作为观察序列X，输入前向算法 或者后向算法，计算NmXNe个隐马尔可夫模型中每一个隐马尔可夫模型 产生观察序列的似然概率P(X/入》，取其中似然概率最大的隐马尔可夫模 型h，表示为
隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动 序列所蕴含的情感状态和动作种类。
所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤
中，所述训练数据采集子步骤包括以下具体过程
2-1.确定动作类型和情感类型动作类型为1 10种，包括走路、敲 门、举手、扔东西中的一种或多种；情感类型T为2 6种，包括高兴、 悲伤、无情感、愤怒中的两种以上;各种动作类型的每种情感类型包括2 6个运动序列；
2-2.利用三维运动捕捉系统拍摄记录人体运动序列利用20 40个 演员进行表演，男女演员各占一半，演员表演时穿上设备配套服装，并 在人体各关节点上贴上标记点，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个 关节点；
每个运动序列由人体各关节点的三维运动数据序列来表示，利用三 维运动捕捉系统拍摄记录每个演员的每种动作类型的每种情感类型。
所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤 和识别步骤中的运动分割子步骤包括如下过程
3-1.计算每一帧的运动能量首先计算每一帧中上肢左右肘关节、 左右肩关节和下肢左右膝关节和左右髋关节共八个关节点的旋转自由度 的角速度，第i帧第j个关节点旋转自由度的角速度《,为
《，y =《+i,厂i=l"'N， j=l".8，
其中，《，,为第i帧第j个关节点旋转自由度，N是运动序列的帧数; 根据每一帧中肢体各个关节点旋转自由度的角速度，计算每一帧的 运动能量，第i帧的运动能量Ei按下式计算
式中，o)j为各个关节点旋转自由度的系数，取值范围为0.1—0.8， 关节点旋转自由度越大、取值越大，所有"j的和为l;
所述关节点旋转自由度为与关节点相连两根骨头的夹角；
3-2.根据每一帧的运动能量，绘制运动序列的能量直方图，在噪音 阈值之上，取最大直方图所对应的能量作为分割阈值;噪音阈值为0.001 0.1，能量曲线的最小值越大、噪音阈值取值越大；
3-3.根据运动序列每一帧的运动能量，绘制运动序列的能量曲线图， 所有运动能量大于所述分割阈值的连续的帧序列组成一个初始分割，将 一个初始分割的起点和终点分别向前后延伸以达到能量曲线的局部最小 值，得到一个动作原语；最终将运动序列的能量曲线分割为各个动作原
ii所述能量曲线图由若干个钟型曲线组成，每一个钟型曲线对应一个 动作原语，钟型曲线左右两边的局部最小值即为运动分割的起始点和终 点。
所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤 和识别步骤中的特征提取子步骤中
所述运动特征为肢体关节点与身体中心的最大距离、平均速度和平 均加速度，计算公式如下-
《=max^ "a=maX^ ||物)||
—1 1 .
其中
A, &， ^分别表示第i帧第k个关节点到身体中心的最大距离、 第k个关节点的平均速度和平均加速度，k=1...8;
di,k， Si，k, ai,k分别表示第i帧第k个关节点到身体中心的距离、第k个 关节点的速度和加速度；
M为当前运动原语所占据的帧数；A(^)表示第i帧中第k个关节点 的位置；
所述关节点的速度是该关节点位置的一阶导数，关节点的加速度是 该关节点速度的一阶导数；
所述身体中心为骨盆中心点。
所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤中的训练子步骤包括如下过程
5-1.设置收敛阈值和最大循环次数；收敛阈值取值为10'2 10'4，收 敛阈值过大，会影响训练的精度，而收敛阈值过小，循环次数增加，收 敛速度变慢；最大循环次数取值为30 60，设置最大循环次数避免由于 没有达到收敛阈值而导致死循环；
5-2.模型初始化设置模型状态数S为4 16，观察序列对应的混合 高斯模型的混合成分数G为4 8，通过实验来选择最优的S和G的设置； 随机生成隐马尔可夫模型的其他初始化参数，包括初始状态系数^、转 移概率矩阵A、观察序列对应的混合高斯模型的混合系数向量C、均值 向量U和协方差矩阵2;
5-3.根据动作类型和情感类型，从训练样本集中提取一种动作类型 的一种情感所对应的所有特征向量序列作为隐马尔可夫模型的训练样 本；
5-4.利用Baum-Wdch算法进行隐马尔可夫模型训练，保存获得的隐 马尔可夫模型参数兀、A、 C、 U、 S;
5-5.重复过程5-2 5-4，训练下一个隐马尔可夫模型。
本发明提出的基于能量的运动分割，能更好地展现运动的内在的规 律，同时利用隐马尔可夫模型对时间序列结构的较强的建模能力，对不 同情感、不同种类的运动建立各自的隐马尔可夫模型，不仅可以识别情 感，还可以识别运动类型，具有较高的识别率。
程式化人体运动和脸部表情只有在特定的场景下人体才会表现出 来，大部分的时间中人体内心的情感并没有通过脸部或程式化的运动中 表露出来，然而却蕴含在非程式化的运动过程中。由于非程式化的人体 运动属于日常的、常规的动作，更能准确地反映出角色的内心情感，在 日常的工作、学习和生活环境中很容易捕获，因此本发明具有比较强的实用性和比较广泛的用途。
图1为本发明流程框图2为运动分割子步骤流程框图3为训练子步骤流程框图4为识别子步骤过程示意图。
具体实施例方式
以下结合附图和实施例对本发明进一步说明。 实施例.从敲门、举手动作识别人的情感
由于人体运动主要是以肢体运动为主，且大部分人是右手习惯的特 点，本实施例从人体右手的运动中来识别人的情感。
本发明利用格拉斯哥大学Pollick等建立的人体三维运动数据库来
采集训练样本和测试样本。该数据库共有敲门、举手、扔东西、走路四 种非程式化人体运动序列和高兴、愤怒、悲伤和无情感四种情感状态，
表演的角色共有30个，每个角色每种动作类型的每种情感共有两个运动 序列， 一种动作类型一共含有240个人体运动序列。本实施例从30个角 色中选择29个角色的敲门和举手两个动作类型的运动序列为训练数据 集，另外一个角色的敲门和举手两个动作类型的运动序列作为测试数据 集。并对训练数据集和测试数据集中的运动序列进行预处理，通过平移 和旋转运算，将世界坐标的三维运动数据序列转换为以身体中心为原点 的局部坐标，使之具有平移不变性和旋转不变性； 步骤一，建立隐马尔可夫模型； 1.训练数据采集从格拉斯哥大学建立的人体三维运动数据库30 个角色中选择29个角色的敲门和举手两个动作类型的运动序列为训练数据集；
2.运动分割根据非程式化人体运动的运动序列的能量曲线图，将
训练数据集中每一个运动序列分割为一序列动作原语，每个动作原语由
若干连续的帧组成；
2-1.对于训练数据集中的每一个运动序列，计算每一帧的运动能量:
首先计算每一帧中肩关节旋转自由度和肘关节旋转自由度的角速度，第i
帧第j个关节点旋转自由度的角速度^为
<formula>formula see original document page 15</formula>
其中，《，,为第i帧第j个关节点旋转自由度，N是运动序列的帧数;
根据每一帧中肩关节旋转自由度和肘关节旋转自由度的角速度，计
算每一帧的运动能量，第i帧的运动能量Ei按下式计算
<formula>formula see original document page 15</formula> 其中0) i和G) 2分别取0.2和0.8;
2-2.根据每一帧的运动能量，绘制运动序列的能量直方图，在噪音 阈值to(取0.005)之上，取最大直方图所对应的能量作为分割阈值，设为t;
2-3.根据运动序列每一帧的运动能量，绘制运动序列的能量曲线图， 所有运动能量大于所述分割阈值t的连续的帧序列组成一个初始分割，将 一个初始分割的起点和终点分别向前后延伸以达到能量曲线的局部最小 值，得到一个动作原语；最终将运动序列的能量曲线分割为各个动作原 语。
3.特征提取对运动序列中每一个动作原语，根据运动序列的腕关 节、肘关节的三维运动数据，提取运动特征，得到各个动作原语所对应 的特征向量，将运动序列中的所有原语对应的特征向量组合成一个特征 向量序列，并标记动作类型和情感类型；提取训练数据集中的所有运动 序列的特征向量序列，表标记动作类型和情感类型，得到训练样本集合;
运动特征为手腕关节点和肘部关节点与身体中心的最大距离、平均速度和平均加速度，计算公式如下
<formula>formula see original document page 16</formula>
其中
^， &， ^分别表示第i帧第k个关节点到身体中心的最大距离以及
第k个关节点的平均速度和平均加速度,k=l.. .2;
di,k, Si，k， ai，k分别表示第i帧第k个关节点到身体中心的距离以及第k 个关节点的速度和加速度；
M为当前运动原语所占据的帧数；表示第i帧中第k个关节点 的位置；
4.训练隐马尔可夫模型训练敲门和举手两种动作类型，高兴、愤 怒、悲伤和无情感四种情感所对应的8个隐马尔可夫模型， 一种动作的
一种情感建立一个隐马尔可夫模型入r=(兀r,Ar,Cr， P r, S r ,),其中
r=l,2，...，8。
4-1.设置收敛阈值为0.005，最大循环次数为30;
4-2.模型初始化本实施例中模型状态数设置为14，混合高斯模型 的混合成分设置为5;随机生成隐马尔可夫模型的其他初始化参数，包括 初始状态系数、、转移概率矩阵A"观察序列对应的混合高斯模型的混
合系数向量Cr、均值向量Ur和协方差矩阵2r;
4-3.根据动作类型标记和情感标记，从训练样本集中提取一种动作
类型的一种情感所对应的特征向量序列作为隐马尔可夫模型的训练样本
集；4-4.利用Baum-Wdch算法进行隐马尔可夫模型训练，保存获得的隐 马尔可夫模型参数兀r、 Ar、 Cr、 ur、 2r;
4-5.重复过程4-2 4-4，训练下一个隐马尔可夫模型。
步骤二，情感识别步骤通过隐马尔可夫模型实现情感识别和动作 类型识别。
1. 数据采集将步骤一的训练数据采集子步骤中，格拉斯哥大学人 体三维运动数据库30个角色选择29个角色后剩余一个角色的敲门和举 手两个动作类型的运动序列作为测试数据集；
2. 运动分割将测试数据集中的每一个运动序列分割为一序列动作 原语，每个动作原语由若干连续的帧组成；
3. 特征提取对运动序列中每一个动作原语，根据运动序列的人体 腕关节、肘关节的三维运动数据，提取运动特征，得到各个动作原语所 对应的特征向量，将运动序列中的所有原语对应的特征向量组合成一个 特征向量序列；提取测试数据集中的所有运动序列的特征向量序列，得 到测试样本集；
4. 情感识别将测试样本集中的每一个特征向量序列作为观察序列 X输入前向算法或者后向算法，计算8个隐马尔可夫模型中每一个隐马 尔可夫模型产生观察序列的似然概率P(X/入r)，取其中似然概率最大的隐 马尔可夫模型h，表示为
// = argmax{P(X/;ir)}r = 1...8
隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动 序列所蕴含的情感状态和动作种类。
本实施例共进行30次的交叉验证，每次交叉验证从30个角色中抽 取29个角色的运动序列作为训练样本，另外1个角色的运动序列作为测试样本。每次交叉验证中，测试样本的角色均不同。试验结果如表1所 示
表l敲门、举手两种动作类型情感识别的混淆矩阵
\识别 敲门 举手
实际
高兴愤怒中性悲伤高兴愤怒中性悲伤
51670.18330.13330. 16670.00000.00000.00000. 0000
08330.73330.13330.03330. 01670.00000.00000.0000
26670.10000.41670.21670. 00000.00000.00000,0000
15000.05000.23330.56670. 00000.00000.00000. 0000
00000.00000.00000.00000. 31670.38330.20000.1000
00000.00000.00000. 00000. 33330.51670.11670. 0333
00000.00000.00000. 00000.36670.11670.35000. 1667
00000.00000.00000. 00000.15000.10000.23330. 5167
其中敲门动作的情感识别正确率为0.5583，举手动作的情感识别正 确率为0.425，总体识别率为0.4917。动作类型的识别率为0.9979。而用 支持向量机进行对敲门动作进行分类，得到情感识别率为0.5083。与支 持向量机分类进行比较，隐马尔可夫模型的分类方法的识别率提高了 0.05。
兴怒性伤兴怒性伤
高愤中悲高愤中悲
敲门 举手
权利要求
1.一种人体非程式化运动的情感识别方法，包括以下步骤第一步.建立隐马尔可夫模型步骤；以训练样本集合作为观察序列，建立每一种动作类型、每一种情感所对应的隐马尔可夫模型；包括以下子步骤训练数据采集子步骤建立包括若干动作类型、每种动作类型又包括若干情感类型的训练样本集；运动分割子步骤根据人体运动序列的能量曲线图，将训练数据集中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；特征提取子步骤对运动序列中每一个动作原语，根据运动序列的腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量，将运动序列中的所有动作原语对应的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提取训练数据集中的所有运动序列的特征向量序列，标记动作类型和情感类型，得到训练样本集合；训练子步骤对训练样本集合，利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数；所述的隐马尔可夫模型采用连续隐马尔可夫模型，模型参数包括转移概率矩阵A、初始状态分布π，以及观察序列所对应的高斯混合模型的系数C、均值向量μ和协方差矩阵∑；一种动作类型的一种情感训练一个隐马尔可夫模型，共建立Nm×Ne个隐马尔可夫模型，这些模型表示为{λr，r＝1...Nm×Ne}；第二步.情感识别步骤对待识别人体运动序列进行识别，包括以下子步骤数据采集子步骤利用三维运动捕捉系统来捕捉待测的人体的运动序列，每个运动序列由人体各关节点的三维运动数据序列来表示，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个关节点；运动分割子步骤根据人体运动序列的能量曲线图，将待识别人体运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；特征提取子步骤对待识别人体运动序列中每一个动作原语，根据运动序列的人体腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量；识别子步骤通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别将各个动作原语所对应的特征向量作为观察序列X，输入前向算法或者后向算法，计算Nm×Ne个隐马尔可夫模型中每一个隐马尔可夫模型产生观察序列的似然概率P(X/λr)，取其中似然概率最大的隐马尔可夫模型h，表示为<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>h</mi><mo>=</mo><mi>arg</mi><munder> <mi>max</mi> <mi>r</mi></munder><mo>{</mo><mi>P</mi><mrow> <mo>(</mo> <mi>X</mi> <mo>/</mo> <msub><mi>λ</mi><mi>r</mi> </msub> <mo>)</mo></mrow><mo>}</mo> </mrow>]]></math> id="icf0001" file="A2009100621310003C1.tif" wi="40" he="6" top= "156" left = "67" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>r＝1...Nm×Ne隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动序列所蕴含的情感状态和动作种类。
2.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马 尔可夫模型步骤中，所述训练数据采集子步骤包括以下具体过程2-1.确定动作类型和情感类型动作类型为1 10种，包括走路、敲 门、举手、扔东西中的一种或多种；情感类型T为2 6种，包括高兴、 悲伤、无情感、愤怒中的两种以上;各种动作类型的每种情感类型包括2 6个运动序列；2-2.利用三维运动捕捉系统拍摄记录人体运动序列利用20 40个 演员进行表演，男女演员各占一半，演员表演时穿上设备配套服装，并在人体各关节点上贴上标记点，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个 关节点；每个运动序列由人体各关节点的三维运动数据序列来表示，利用三 维运动捕捉系统拍摄记录每个演员的每种动作类型的每种情感类型。
3.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马 尔可夫模型步骤和识别步骤中的运动分割子步骤包括如下过程-3-1.计算每一帧的运动能量首先计算每一帧中上肢左右肘关节、 左右肩关节和下肢左右膝关节和左右髋关节共八个关节点的旋转自由度 的角速度，第i帧第j个关节点旋转自由度的角速度(为<formula>formula see original document page 4</formula>其中，《，,为第i帧第j个关节点旋转自由度，N是运动序列的帧数； 根据每一帧中肢体各个关节点旋转自由度的角速度，计算每一帧的 运动能量，第i帧的运动能量Ei按下式计算式中，"j为各个关节点旋转自由度的系数，取值范围为0.1—0.8， 关节点旋转自由度越大、取值越大，所有"j的和为h所述关节点旋转自由度为与关节点相连两根骨头的夹角；3-2.根据每一帧的运动能量，绘制运动序列的能量直方图，在噪音 阈值之上，取最大直方图所对应的能量作为分割阈值；噪音阈值为0.001 0.1，能量曲线的最小值越大、噪音阈值取值越大；3-3.根据运动序列每一帧的运动能量，绘制运动序列的能量曲线图， 所有运动能量大于所述分割阈值的连续的帧序列组成一个初始分割，将 一个初始分割的起点和终点分别向前后延伸以达到能量曲线的局部最小值，得到一个动作原语；最终将运动序列的能量曲线分割为各个动作原 语；所述能量曲线图由若干个钟型曲线组成，每一个钟型曲线对应一个 动作原语，钟型曲线左右两边的局部最小值即为运动分割的起始点和终 占。"、、o
4.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马 尔可夫模型步骤和识别步骤中的特征提取子步骤中所述运动特征为肢体关节点与身体中心的最大距离、平均速度和平 均加速度，计算公式如下<formula>formula see original document page 5</formula>其中^分别表示第i帧第k个关节点到身体中心的最大距离、 第k个关节点的平均速度和平均加速度，k=1...8;di,k， Si,k， ai,k分别表示第i帧第k个关节点到身体中心的距离、第k个 关节点的速度和加速度；M为当前运动原语所占据的帧数；表示第i帧中第k个关节点 的位置；所述关节点的速度是该关节点位置的一阶导数，关节点的加速度是 该关节点速度的一阶导数；所述身体中心为骨盆中心点。
5.如权利要求1所述的情感识别方法，其特征在于，所述建立隐马 尔可夫模型步骤中的训练子步骤包括如下过程5-1.设置收敛阈值和最大循环次数；收敛阈值取值为10_2 1(T4，收 敛阈值过大，会影响训练的精度，而收敛阈值过小，循环次数增加，收 敛速度变慢；最大循环次数取值为30 60，设置最大循环次数避免由于 没有达到收敛阈值而导致死循环；5-2.模型初始化设置模型状态数S为4 16，观察序列对应的混合 高斯模型的混合成分数G为4 8，通过实验来选择最优的S和G的设置； 随机生成隐马尔可夫模型的其他初始化参数，包括初始状态系数n、转 移概率矩阵A、观察序列对应的混合高斯模型的混合系数向量C、均值 向量U和协方差矩阵2;5-3.根据动作类型和情感类型，从训练样本集中提取一种动作类型 的一种情感所对应的所有特征向量序列作为隐马尔可夫模型的训练样 本；5-4.利用Baum-Welch算法进行隐马尔可夫模型训练，保存获得的隐 马尔可夫模型参数兀、A、 C、 u、 2;5-5.重复过程5-2 5-4，训练下一个隐马尔可夫模型。
全文摘要
人体非程式化运动的情感识别方法，属于计算机模式识别领域，解决现有同类情感识别方法存在的学习速度较慢、识别率偏低的问题。本发明包括建立隐马尔可夫模型步骤和情感识别步骤；建立隐马尔可夫模型步骤又包括训练数据采集子步骤、运动分割子步骤、特征提取子步骤、训练子步骤，建立多种动作类型各种情感的隐马尔可夫模型；情感识别步骤包括数据采集子步骤、运动分割子步骤、特征提取子步骤、识别子步骤，通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别。本发明能更好地展现运动的内在的规律，不仅可以识别情感，还可以识别运动类型，具有较高的识别率，具有较强的实用性和较广泛的用途。
文档编号G06K9/64GK101561881SQ20091006213
公开日2009年10月21日 申请日期2009年5月19日 优先权日2009年5月19日
发明者芳 刘, 李新仕, 王天江, 刚 陈, 幸 陈, 龚立宇 申请人:华中科技大学