基于目标模型信息的连续手势轨迹分割方法及系统的制作方法
【专利摘要】本发明公开了一种基于目标模型信息的连续手势轨迹分割方法及系统，所述方法包括：对输入的连续轨迹分别进行等空间间隔重采样和等时间间隔重采样，得到多个等距离采样轨迹和多个等时间采样轨迹；提取各等距离采样轨迹的形态特征，提取各等时间采样轨迹的速度特征；根据所述形态特征采用模板匹配算法找出待选轨迹，并获取待选轨迹的起点和终点；对所有待选轨迹的速度特征进行分类，去除不具备减速特性的待选轨迹。本发明实现了连续轨迹准确、实时的自动分割。
【专利说明】
基于目标模型信息的连续手势轨迹分割方法及系统
技术领域
[0001 ]本发明涉及计算机视觉技术领域，特别是涉及一种基于目标模型信息的连续手势 轨迹分割方法及系统。
【背景技术】
[0002] 随着人机交互技术的发展，交互的方式越来越智能并且基于轨迹的应用也越来越 广泛，无论是手写体识别、数字签名、步态分析等都是基于轨迹的方式来进行人机交互的应 用。在文字出现以前，人类使用肢体语言来进行交互，动作、轨迹则是一种很有效且包含大 量信息用于交互的方式，因此轨迹相关的识别、处理技术则显得尤为重要。连续轨迹识别技 术相对于传统的轨迹识别技术要求更高，需要自动的分割、提取出轨迹段，轨迹的分割根据 轨迹的特征进行分类，判断此段轨迹是否应提取出从而形成独立的一段轨迹。估计的分割 策略需要考虑实时性、准确性等因素以便于估计的后续处理。
[0003] 用于手势方面的连续轨迹分割算法主要分为两种，一种是基于特征阈值策略的分 害J，此种方式简单、易于实现，通过对待分割特征的统计从而获取最佳的阈值，然后根据阈 值来分割轨迹段。例如根据速率特征，把轨迹中速率开始大于阈值的点认为是轨迹的起点， 速率小于预知的点认为是轨迹的终点，从而提取出轨迹。另一种方式则是使用机器学习的 方式来分割轨迹，通过对轨迹正负样本的标定与学习，完成对分类器的训练，再使用分类器 直接对轨迹相应的特征进行分类，从而分割出轨迹，但这种方式的实时性较差。以上两种方 式均是直接对轨迹进行分割，由于轨迹中常常含有噪声等影响，并且没有结合目标的先验 知识，因此识别率不高。
[0004] 现有技术中，与本发明的部分技术类似的专利有：
[0005] (1)分割轨迹的方法和装置，申请号：201410265082.2。该发明提出了一种用于轨 迹的分割方法，它首先获取输入轨迹的多个轨迹点，然后根据速度、角度的变化获取轨迹序 列中的待分割点，然后把这些分割点为真分割点与假分割点，最后再找出真分割点之间的 对应关系求得真分割点对，从而完成轨迹的分割。该发明所提出的方法能克服由轨迹之中 速度变小等因素所产生的分割点，并且能把此类分割点判别为假分割点从而滤除，但是整 个算法并非用于连续轨迹的分割，其分割的有效性建立在轨迹的起止点停顿基础上，因此 在实际使用中便利性不高。
[0006] (2)基于多规则的交互手势运动轨迹分割方法，申请号：201310335820.1。该发明 提出了一种基于多规则的交互手势运动轨迹分割方法，该方法使用激光笔在屏幕上进行书 写，并用摄像头拍摄用户持激光笔的书写交互手势视频，然后使用Camshift最优概率密度 估计算法进行跟踪书写轨迹以提取手势的运动轨迹点，再将运动轨迹点参数化表示并设定 约束条件，定义分割规则形成基于规则的轨迹分割策略，最终再使用贪心策略在符合规则 的区间将轨迹点进行分割。由于所提出的方法是基于规则的分割，在分割点的规则制定方 法上会很大程度的影响到后续分割效果，并且所提及的根据瞬时速度的分割规则鲁棒性较 差，噪声对其所造成的影响较高，加之使用跟踪算法来获取轨迹点，在整个过程中的噪声引 入较大，因此对分割的准确率有一定的影响。
【发明内容】
[0007] 本发明的目的在于克服现有技术的不足，提供一种基于目标模型信息的连续手势 轨迹分割方法及系统，实现了连续轨迹准确、实时的自动分割。
[0008] 本发明的目的是通过以下技术方案来实现的：基于目标模型信息的连续手势轨迹 分割方法，包括:对输入的连续轨迹分别进行等空间间隔重采样和等时间间隔重采样，得到 多个等距离采样轨迹和多个等时间采样轨迹;提取各等距离采样轨迹的形态特征，提取各 等时间采样轨迹的速度特征;根据所述形态特征采用模板匹配算法找出待选轨迹，并获取 待选轨迹的起点和终点；对所有待选轨迹的速度特征进行分类，去除不具备减速特性的待 选轨迹。
[0009] 所述等空间间隔重采样的采样公式为：
[0011]式中：d-当前采样点与前一次采样点的距离;ai_-经过前一次等距离采样余下的距 离；τ_等距离阈值，N可采样点数;αι_经过此次等距离采样余下的距离;k-使得条件不等式 成立的最大正整数。
[0012]提取等距离采样轨迹的形态特征的公式为：
[0014] 式中：fi-第i个形态特征；Δχ-第i个采样点的横坐标与第i-Ι个采样点的横坐标 之差；Ay-第i个采样点的纵坐标与第i-Ι个采样点的纵坐标之差。
[0015] 提取等时间采样轨迹的速度特征的方法为:求出各个相邻采样点之间的速率作为 速度特征。
[0016] 根据所述形态特征采用模板匹配算法找出待选轨迹的方法为:根据所述等距离采 样轨迹的形态特征和模板轨迹的特征序列构成一个相似度矩阵，所述相似度矩阵的每一个 元素为所述形态特征和所述特征序列中对应的两个向量的相似度;检测相似度矩阵最后一 行的代价总和，将所有代价总和小于阈值γ的等距离采样轨迹作为待选轨迹。
[0017] 所述相似度的计算公式如下：
[0018] d(p(i,j)) = cos_1(fi * fj)(公式三）
[0019]式中：d(p(lu))-相似度矩阵中对应坐标的相似度，等距离采样轨迹的形态特征 中的第i个特征，模板轨迹的特征序列中的第j个特征。
[0020] 所述相似度矩阵中各个坐标的总代价值的计算公式如下：
[0021] ω (p(i，j))=d(p(i，j))+min{ ω (p"-hj-d)，ω (ρ"-υ)，ω (p(i，j-：〇)}(公式四）
[0022] 式中：ω(ρ(1,η)-到相似度矩阵中对应坐标时的累计总代价和;d(P(lu))_相似度矩 阵中对应坐标的相似度。
[0023]获取待选轨迹的起点和终点采用回溯的方法。
[0024]对所有待选轨迹速率特征进行分类采用SVM分类器。
[0025]基于目标模型信息的连续手势轨迹分割系统，包括:采样模块，用于对输入的连续 轨迹分别进行等空间间隔重采样和等时间间隔重采样，得到多个等距离采样轨迹和多个等 时间采样轨迹;特征提取模块，用于提取各等距离采样轨迹的形态特征，以及提取各等时间 采样轨迹的速度特征;轨迹识别模块，用于根据所述形态特征采用模板匹配算法找出待选 轨迹，并获取待选轨迹的起点和终点;轨迹分割模块，用于对所有待选轨迹的速度特征进行 分类，去除不具备减速特性的待选轨迹。
[0026] 本发明的有益效果是:本发明首先使用DTW算法结合目标的模型信息进行分割后 再使用SVM分类器分割，这种方式相对传统直接对输入分割的方式来说准确率具有很大的 提升，并且DTW为模板匹配算法，具有需要使用样本少，鲁棒性好，速度快等特点，在DTW算法 初步识别后，对SVM算法使用简单的特征即可正确的分类，因此整个算法的速率也比持续对 输入轨迹进行复杂分类识别快。
【附图说明】
[0027] 图1为本发明中基于目标模型信息的连续手势轨迹分割方法的一个实施例的流程 图；
[0028] 图2为本发明一个实施例中等时间间隔重采样以及减速区域的示意图；
[0029]图3为本发明的一个实施例中DTW与SVM相结合的轨迹分割的示意图；
[0030] 图4为本发明中基于目标模型信息的连续手势轨迹分割系统的一个实施例的流程 图。
【具体实施方式】
[0031] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于 以下所述。
[0032] 如图1所示，图1为基于目标模型信息的连续手势轨迹分割方法的一个实施例的流 程图，本实施例从字符轨迹的角度对本发明的技术方案进行详细说明，但是本发明的技术 方案并不限于字符轨迹，任何已知分割目标类型的连续轨迹都可以使用本发明的方法进行 分割。
[0033]本实施例的方法包括以下步骤：
[0034] 步骤一、对输入的连续轨迹分别进行等空间间隔重采样和等时间间隔重采样，得 到多个等距离采样轨迹和多个等时间采样轨迹。
[0035] 所述等空间间隔重采样的采样公式为：
[0037]式中：d-当前采样点与前一次采样点的距离(像素距离）；αΗ-经过前一次等距离 采样余下的距离；τ_等距离阈值，Ν可采样点数;αι_经过此次等距离采样余下的距离;k-使 得条件不等式成立的最大正整数，，也即最大可采样点数。
[0038]公式一表明了对于采样点距离较小的区域通过累加的策略不断累积他们的距离， 当距离和大于预先设置的距离阈值时保存相关的等距离采样点。当采样点之间的距离较 大、远大于所设定的距离阈值时即可通过插值策略保证等距离采样。
[0039]由于后续要多轨迹段进行分割，传统的分割方式是让用户在起点和终点稍作停顿 从而进行检测和分割；由于用户在写完一个特定的轨迹时（如字符)会产生一个减速区域， 如图2所示。本实施则通过检测这个减速区域从而进行轨迹的自动分割，当然如果用户在写 完字符处进行停顿也能够检测出来，提高了轨迹分割的自然、便利性。为了检测所述减速区 域，需要利用速度特征，使用等距离采样轨迹无法实时得到速度特征，因此本实施例采用等 时间采样轨迹，等时间采样轨迹能很好地描述出运动的加减速过程。等时间采样轨迹的获 取方法与等距离采样轨迹的获取方法类似，本实施例中对于200*160的书写窗口大小所选 用的等距离间隔为15像素距离，时间间隔为30ms。
[0040] 步骤二、提取各等距离采样轨迹的形态特征，提取各等时间采样轨迹的速度特征。
[0041] 对于等距离采样轨迹，一般是使用相关采样点的位置信息作为特征；由于采样点 之间的方向特征可以克服一些尺度上的变化、鲁棒性也较好，因此，本实施例在等距离采样 轨迹中选择采样点之间的方向向量作为形态特征并归一化，提取等距离采样轨迹的形态特 征的公式为：
[0043]式中：fi_第i个形态特征；Δχ-第i个采样点的横坐标与第i-Ι个采样点的横坐标 之差；Ay-第i个采样点的纵坐标与第i-Ι个采样点的纵坐标之差。
[0044] 对于等时间采样轨迹，求出各个相邻采样点之间的速率作为速度特征;优选的，选 择第i个采样点到第i_7个采样点之间的速率作为速度特征，此长度包含了轨迹起止的减速 段区间，并且特征维度小，有利于计算。
[0045] 步骤三、根据所述形态特征采用模板匹配算法找出待选轨迹，并获取待选轨迹的 起点和终点。
[0046]所述模板匹配算法采用DTW算法(动态时域规整算法KDTW算法是一种基于贪婪搜 索的模板匹配算法，DTW通过比较输入与模板的相似度从而识别出结果，本实施例中使用 DTW算法的识别结果再进行速率分类，即可结合模板信息来提高分割效果。
[0047]根据所述形态特征采用模板匹配算法找出待选轨迹的方法为：
[0048]根据所述等距离采样轨迹的形态特征和模板轨迹的特征序列构成一个相似度矩 阵，所述相似度矩阵的每一个元素为所述形态特征和所述特征序列中对应的两个向量的相 似度;本实施例使用角度作为相似度度量，所述相似度的计算公式如下：
[0049] d(p(i,j)) = cos_1(fi * fj)(公式三）
[0050]式中：d(p(lu))-相似度矩阵中对应坐标的相似度，等距离采样轨迹的形态特征 中的第i个特征，模板轨迹的特征序列中的第j个特征。
[0051] 在计算完相似度矩阵的元素之后，搜索相似度矩阵的最优路径使得路径总代价最 小，为了减小运算量以及算法的合理性，在相似度矩阵中的搜索方式具有一定约束;DTW算 法通过公式四所述的方式来计算各个坐标的总代价值：
[0052] ω (p(i,j))=d(p(i,j))+min{ ω (pa-i, j-d) , ω (p(i-i,j)), ω (p(i,j-i))}(公式四）
[0053] 式中：ω (P(1U))-到相似度矩阵中对应坐标时的累计总代价和;d(p(lu))_相似度 矩阵中对应坐标的相似度。
[0054] 检测相似度矩阵最后一行的代价总和，然后采用阈值策略，设定阈值γ，将所有代 价总和小于阈值γ的等距离采样轨迹作为待选轨迹。由于各个模板的轨迹是不同的，因此 所设定的各个模板对应的阈值γ也应是不相同的，在检测到某条轨迹代价总和小于阈值γ 时，采用回溯的方式找到以此点为终点的轨迹，从而求得起点以及整条轨迹序列。此时，相 似度矩阵对应模板的类别即为识别出来的类，对于同一帧输入轨迹根据不同模板匹配的结 果以及阈值策略来说可能会识别出多个类，这些识别出的类所对应的字符即为待选字符。
[0055] 步骤四、对所有待选轨迹的速度特征进行分类，去除不具备减速特性的待选轨迹。
[0056] 在得到待选字符以及对应轨迹之后，以原始采样索引编号为根据并找到这些轨迹 在等时间间隔上的对应采样点，取得对应的速率特征，并进行减速区域判断。本实施例中减 速区域的判断使用的是SVM(支持向量机），SVM是一种二分类模型并采用间隔最大的学习策 略使问题化为求解二次规划问题，利用求解的对偶形式以及核函数技巧来在高维空间进行 学习从而解决线性不可分样本的分类问题。本实施例中，首先使用大量的正、负样本来训练 SVM分类器，其中正样本为用户所写完一个字符所带有减速特征的序列，负样本则是没有减 速特征的序列，所使用高斯核进行训练、分类。
[0057] 通过DTW算法获得待选字符轨迹，然后对待选字符轨迹所提取的具有速率特征的 轨迹段使用SVM分类器进行分类，整个过程如图3所示，整个网格就是模板与待选轨迹构成 的相似度矩阵也即代价矩阵，黑色的点构成的路径就是待选轨迹与模板轨迹的最相似的路 径，白色点即通过回溯方法找到的起止点，找到起止点后提取待选轨迹相应的速度特征再 使用SVM分类器进行分类，SVM分类器去除掉DTW算法识别出的待选字符中不具备减速特性 的字符以及对应的待选轨迹，剩下的字符以及待选轨迹即是被分割出来的吻合目标模型信 息的轨迹。
[0058] 如图4所示，基于目标模型信息的连续手势轨迹分割系统，包括:采样模块，用于对 输入的连续轨迹分别进行等空间间隔重采样和等时间间隔重采样，得到多个等距离采样轨 迹和多个等时间采样轨迹;特征提取模块，用于提取各等距离采样轨迹的形态特征，以及提 取各等时间采样轨迹的速度特征;轨迹识别模块，用于根据所述形态特征采用模板匹配算 法找出待选轨迹，并获取待选轨迹的起点和终点;轨迹分割模块，用于对所有待选轨迹的速 度特征进行分类，去除不具备减速特性的待选轨迹。
[0059]以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的 形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本 文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进 行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围 内。
【主权项】
1. 基于目标模型信息的连续手势轨迹分割方法，其特征在于:包括： 对输入的连续轨迹分别进行等空间间隔重采样和等时间间隔重采样，得到多个等距离 采样轨迹和多个等时间采样轨迹； 提取各等距离采样轨迹的形态特征，提取各等时间采样轨迹的速度特征； 根据所述形态特征采用模板匹配算法找出待选轨迹，并获取待选轨迹的起点和终点； 对所有待选轨迹的速度特征进行分类，去除不具备减速特性的待选轨迹。2. 根据权利要求1所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:所 述等空间间隔重采样的采样公式为：(公式一-) 式中：d-当前采样点与前一次采样点的距离;αι-ι-经过前一次等距离采样余下的距离； τ-等距离阔值，Ν可采样点数;αι-经过此次等距离采样余下的距离;k-使得条件不等式成立 的最大正整数。3. 根据权利要求1所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:提 取等距离采样轨迹的形态特征的公式为：(公式二） 式中：fi-第i个形态特征；Αχ-第i个采样点的横坐标与第i-1个采样点的横坐标之差； Ay-第i个采样点的纵坐标与第i-1个采样点的纵坐标之差。4. 根据权利要求1所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:提 取等时间采样轨迹的速度特征的方法为:求出各个相邻采样点之间的速率作为速度特征。5. 根据权利要求1所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:根 据所述形态特征采用模板匹配算法找出待选轨迹的方法为： 根据所述等距离采样轨迹的形态特征和模板轨迹的特征序列构成一个相似度矩阵，所 述相似度矩阵的每一个元素为所述形态特征和所述特征序列中对应的两个向量的相似度； 检测相似度矩阵最后一行的代价总和，将所有代价总和小于阔值丫的等距离采样轨迹 作为待选轨迹。6. 根据权利要求5所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:所 述相似度的计算公式如下： d(p(i'j)) = cos-i(fi · fj) (公式Ξ) 式中：d(p(i,")-相似度矩阵中对应坐标的相似度，fi-等距离采样轨迹的形态特征中的 第i个特征，模板轨迹的特征序列中的第j个特征。7. 根据权利要求5所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:所 述相似度矩阵中各个坐标的总代价值的计算公式如下： ω (P(i'j)) = d(p(i,j))+min{ ω ，ω (p(i-i,j))，ω (公式四） 式中：w(P(i,j))-到相似度矩阵中对应坐标时的累计总代价和;d(p(i,j))-相似度矩阵中 对应坐标的相似度。8. 根据权利要求1所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:获 取待选轨迹的起点和终点采用回溯的方法。9. 根据权利要求1所述的基于目标模型信息的连续手势轨迹分割方法，其特征在于:对 所有待选轨迹的速度特征进行分类采用SVM分类器。10. 基于目标模型信息的连续手势轨迹分割系统，其特征在于:包括： 采样模块，用于对输入的连续轨迹分别进行等空间间隔重采样和等时间间隔重采样， 得到多个等距离采样轨迹和多个等时间采样轨迹； 特征提取模块，用于提取各等距离采样轨迹的形态特征，W及提取各等时间采样轨迹 的速度特征； 轨迹识别模块，用于根据所述形态特征采用模板匹配算法找出待选轨迹，并获取待选 轨迹的起点和终点； 轨迹分割模块，用于对所有待选轨迹的速度特征进行分类，去除不具备减速特性的待 选轨迹。
【文档编号】G06K9/62GK106095104SQ201610442838
【公开日】2016年11月9日
【申请日】2016年6月20日
【发明人】程洪, 唐竟人, 姬艳丽
【申请人】电子科技大学