每帧对应的标识字符表示，称为运动字串：
[0036] A = Ia1, a2, . . . , aj , V (I)
[0037] 3)对给定的两段运动序列，假设其对应的运动字串分别为A和B，对应长度分别为 ^和η B，则其相似度匹配结果可按如下方法计算：首先，按照字典V对应的聚类索引顺序， 计算生成一个大小为KXK的对称的权重矩阵W，其中每个元素 Wlj= I Ic1-CjI |2;随后，若nA > nB则交换A和B ;接着，建立大小为（η A+l) X (nB+l)的动态规划矩阵D，其初值为：
[0039] 最后，按照以下公式对D中其他元素进行计算：
[0041] 矩阵D右下角元素即为两段运动的相似度。
[0042] 结合说明书附图1所示的例子，给定字典V = {a，b，c，d，e}，权重矩阵W(如图 I (a)所示），以及两个字串A1= ccdee，A 2= aabbccddee，则其动态规划矩阵由公式2和公 式3计算得到，结果为图1(b)的矩阵。
[0043] 4)对数据库中所有运动字串用自底向上的层级聚类方法进行聚类，采用迭代的方 法，每次将最接近的两个聚类合并为一类，直到所有聚类中心之间的两两距离均大于阈值 σ，具体的聚类算法描述如下：
[0044] 4. 1初始化：对于运动数据库中的每段运动序列，其对应的运动字串为Ai, i = 1， 2, . . .，N，每个字串构成单独的一类其聚类中心&即为A1本身；
[0045] 4. 2 计算距离矩阵 M，其中 Mi, j= stringMatch (A i，Aj)，这里的 stringMatch 方法 即步骤2)中的相似度计算方法；
[0046] 4. 3找到M中距离最小的两段运动字串為^和馬y
[0047] 4. 4如果Mkl, k2> σ，则返回现有全部类及其聚类中心，算法终止；否则，合并这两 个字串所对应的两类^和1%，生成新类别U ;
[0048] 4. 5 计算新类 L'的中心点：对所有 AiG L'，计算 D ;= max(stringMatch(A ;， Aj))，V;6 ?Λ 计算 i ' = argminA，则中心 Ti = A ;，；
[0049] 4. 6依照步骤4. 2更新距离矩阵M，同类字串的距离设为+ m ;
[0050] 4. 7重复步骤4. 3至4. 6,直到结束；
[0051] 4. 8去掉只有一段运动字串的聚类，以消除部分误差；
[0052] 5)对于输入的运动序列，与步骤4)得到的所有聚类中心字串进行比较，按相 似度由小到大排序，利用加权投票的方法，以得票最多的类别作为输入运动序列的类别标 注；
[0053] 6)利用滑动时间窗口策略，对在线输入的运动序列，以2秒为时间窗长度，0. 5秒 为时间窗间隔，即每〇. 5秒将前2秒内的运动序列按步骤1)至步骤5)所述方法获取类别 标注，作为实时标注的结果。
【主权项】
1. 一种基于运动字串的运动标注方法，其特征在于包括如下步骤： 1) 对任意给定的三维人体运动数据集进行类别标注与训练样本集划分，对数据集中 的全部运动序列中的每个姿态进行旋转、平移对齐处理，使其中心点固定为坐标原点，身体 平面前方朝向统一； 2) 对数据集中全部运动序列包含的所有帧采用k-means算法进行聚类，共K个聚类类 另IJ，聚类中心为Ck，k= 1，2，...，K，以每帧对应的聚类索引编号Vev= {1，2，...，K}作 为该帧的标识字符，对于给定运动序列s= {f\，f2, . . .，fn}，其中&为运动中的某一帧，η 为运动序列总帧数，则该运动序列可由每帧对应的标识字符表示，称为运动字串： A= {a1??2, . . . ,an},a；GV (1) 3) 对给定的两段运动序列，假设其对应的运动字串分别为A和B，对应长度分别为^和 nB，则其相似度匹配结果可按如下方法计算：首先，按照字典V对应的聚类索引顺序，计算生 成一个大小为KXK的对称的权重矩阵W，其中每个元素Wlj= |ICrC」|2;随后，若nA>nB 则交换A和B;接着，建立大小为（nA+l)X(nB+l)的动态规划矩阵D，其初值为：最后，按照以下公式对D中其他元素进行计算：矩阵D右下角元素即为两段运动的相似度。 4) 对数据库中所有运动字串用自底向上的层级聚类方法进行聚类，采用迭代的方法， 每次将最接近的两个聚类合并为一类，直到所有聚类中心之间的两两距离均大于阈值σ， 具体的聚类算法描述如下： 4. 1初始化：对于运动数据库中的每段运动序列，其对应的运动字串为A;，i= 1， 2, . . .，N，每个字串构成单独的一类，其聚类中心即为&本身； 4. 2计算距离矩阵M，其中Μ;,」=stringMatch(A;，A」），这里的stringMatch方法即步 骤2)中的相似度计算方法； 4. 3找到Μ中距离最小的两段运动字串為^和為^:; 4. 4如果Mkl, k2>σ，则返回现有全部类及其聚类中心，算法终止；否则，合并这两个字 串所对应的两类1%和1?，生成新类别L'; 4. 5计算新类的中心点：对所有A;e，计算D;=max(stringMatch(A;，A.))，?eL.,汁算i' =argminj);，则中心Ι\=A； 4.6依照步骤4.2更新距离矩阵M，同类字串的距离设为+m; 4. 7重复步骤4. 3至4. 6,直到结束； 4. 8去掉只有一段运动字串的聚类，以消除部分误差； 5) 对于输入的运动序列，与步骤4)得到的所有聚类中心字串1巧1进行比较，按相似度 由小到大排序，利用加权投票的方法，以得票最多的类别作为输入运动序列的类别标注； 6)利用滑动时间窗口策略，对在线输入的运动序列，以2秒为时间窗长度，0. 5秒为时 间窗间隔，即每〇. 5秒将前2秒内的运动序列按步骤1)至步骤5)所述方法获取类别标注， 作为实时标注的结果。
【专利摘要】本发明公开了一种基于运动字串的运动标注方法。该方法可对实时采集(由深度摄像机或传统运动捕获设备)的人体运动进行在线标注。首先，我们对原始运动数据建立聚类索引模型，将运动序列转化为运动字串。然后，通过提出的字串匹配算法对不同运动字串进行相似度比较。接着，建立基于层级聚类的运动字串优化模型，在运动识别中对字串匹配效率进行优化。最后，通过滑动时间窗策略对输入的运动进行实时标注。本发明可以获得较高的运动标注识别准确率，并可有效避免时域错位的问题。
【IPC分类】G06T13/40
【公开号】CN105261058
【申请号】CN201510653466
【发明人】肖俊, 张翰之, 齐天, 庄越挺
【申请人】浙江大学
【公开日】2016年1月20日
【申请日】2015年10月10日