手势预判方法和系统的制作方法
【专利摘要】本发明提供了一种手势预判方法和系统，该方法包括：检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；每隔第一预设时间间隔，根据记录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，预训练手势识别模型根据预采集手势特征向量样本集训练获得，预采集手势特征向量样本集包括按预设比例在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹特征向量。本发明的手势预判方法和系统可以实现手势的实时识别。
【专利说明】手势预判方法和系统
【技术领域】
[0001] 本发明涉及模式识别【技术领域】，特别是涉及一种手势预判方法和系统。
【背景技术】
[0002] 随着计算机的广泛应用，传统的操纵实体按键方式的人机交互方式不够自然方 便，而将人手作为人机交互的手段，相比其他生物特征而言更为自然、直接、丰富，可大幅度 增强用户体验。最初的手势识别主要是借助外部设备来直接检测手、胳膊各关节的角度和 空间位置，如典型的数据手套等，这些外部设备虽然使得手势识别的准确度和稳定性得以 提高，但是不符合手势自然的表达方式。于是基于视觉的手势识别方式应运而生。基于视觉 的手势交互方式，是一种非接触的交互方式，符合人的动作习惯，具有直观和自然的优点。 目前，基于视觉的手势识别已经被国内外学者广泛研宄。
[0003] 基于视觉的手势识别方式，其步骤一般都包括图像的获取、手的检测和分割、手势 的特征提取以及手势识别。虽然目前的这种手势识别方式对特定的完整手势基本具有较高 的识别准确率，但是这种手势识别方式只能够在手势结束之后进行识别并给出识别结果， 影响了手势识别的实时性。
【发明内容】
[0004] 基于此，有必要针对目前手势识别方式只能够在手势结束之后进行识别并给出识 别结果，影响手势识别的实时性的技术问题，提供一种手势预判方法和系统。
[0005] 一种手势预判方法，所述方法包括：
[0006] 检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始 坐标开始的当前的运动轨迹坐标的序列；
[0007] 每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列 提取手势引导体当前的运动轨迹特征向量；
[0008] 采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模 式匹配，输出匹配的完整手势标识；
[0009] 其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述 预采集手势特征向量样本集包括按预设比例而在完整手势的完整运动轨迹特征向量中从 头开始截取连续的特征值组成的若干局部运动轨迹特征向量。
[0010] 一种手势预判系统，所述系统包括：
[0011] 手势轨迹采集模块，用于检测到手势引导体的当前手势起始坐标，并顺序记录手 势引导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列；
[0012] 当前运动轨迹特征向量提取模块，用于每隔第一预设时间间隔，根据所述记录的 手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量；
[0013] 手势预判模块，用于采用预训练手势识别模型对提取的手势引导体当前的运动轨 迹特征向量进行模式匹配，输出匹配的完整手势标识；其中，所述预训练手势识别模型根据 预采集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按预设比例而 在完整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动 轨迹特征向量。
[0014] 上述手势预判方法和系统，从手势起始坐标开始就记录手势引导体当前的运动轨 迹坐标的序列，从而每隔第一预设时间间隔据此来提取特征向量进行模式匹配，以输出匹 配的完整手势标识。而且预训练手势识别模型是根据按比例截取的局部运动轨迹特征向量 训练而获得的，这样不需要将完整手势完成就可以给出完整手势标识，以实现手势的预判， 可以实现手势的实时识别。
【专利附图】
【附图说明】
[0015] 图1为一个实施例中手势预判方法的流程示意图；
[0016] 图2为一个实施例中以电子设备为参照建立的三维直角坐标系的示意图；
[0017] 图3为一个实施例中每隔第一预设时间间隔，根据所述记录的手势引导体当前的 运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量的步骤的流程示意图；
[0018] 图4为一个实施例中记录的手势引导体当前的运动轨迹坐标的序列中相邻运动 轨迹坐标之间的方向角的示意图；
[0019] 图5为一个实施例中训练获得预训练手势识别模型的步骤的流程示意图；
[0020]图6为一个实施例中手势预判系统的结构框图；
[0021] 图7为另一个实施例中手势预判系统的结构框图；
[0022] 图8为再一个实施例中手势预判系统的结构框图。
【具体实施方式】
[0023] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0024] 在一个实施例中，提供了一种手势预判方法，本实施例以该方法应用于具有手势 采集装置和显示屏幕的电子设备来举例说明，手势采集装置可以是摄像头。该方法具体包 括如下步骤：
[0025] 步骤102,检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前 手势起始坐标开始的当前的运动轨迹坐标的序列。
[0026] 手势引导体是指完成手势的媒介，可以是人身体的一部分，比如手；也可以是特定 形状的非活体器具，比如制作成手掌形状的引导棒或者带有传感器的手套等。手势引导体 的坐标是指在事先建立的坐标系中表示手势引导体位置的信息。可以电子设备为参照建立 三维直角坐标系，参照图2,具体将电子设备的中心点作为坐标系的坐标原点，坐标系的X 轴平行于该电子设备的一边，坐标系的Z轴平行于该电子设备的另一边，坐标系的Y轴则垂 直于显示屏幕。若手势引导体为人的手掌，则其坐标可以是手掌中心位置的坐标。
[0027] 当前手势起始坐标，是指电子设备判定手势引导体从该起始坐标开始接下来将开 始描绘一个手势。可以通过检测当前手势引导体是否处于预设坐标范围和/或当前手势引 导体的速度变化是否满足预设速度变化条件来检测到手势引导体的当前手势起始坐标。通 常一些手势是从一些特定的位置开始的，于是可以根据当前手势引导体是否处于预设坐标 范围来检测。而且手势在开始时以及形成过程中，手势引导体的运动速度变化是不同的，可 以据此来检测当前手势起始坐标。可以在检测到终止点时停止记录坐标。
[0028] 步骤104,每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐 标的序列提取手势引导体当前的运动轨迹特征向量。
[0029] 其中，第一预设时间间隔是为了与下述的第二预设时间间隔的概念区分开。可以 设定第一预设时间间隔小于事先统计获得的完成一个完整手势的时间。每隔第一预设时间 间隔执行步骤104至106。
[0030] 在一个实施例中，可以从手势引导体当前的运动轨迹坐标的序列筛选出指定数量 的坐标以构成手势引导体当前的运动轨迹特征向量。比如可以从该序列中平均地按顺序选 取指定数量的坐标；也可以将该序列按顺序分为指定数量的类后每类分别取平均值后顺序 组成手势引导体当前的运动轨迹特征向量。
[0031] 如图3所示，在一个实施例中，步骤104具体包括如下步骤：
[0032] 步骤302,每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐 标的序列中相邻运动轨迹坐标之间的方向角。
[0033] 具体地，每隔第一预设时间间隔执行步骤302至306。本实施例中手势引导体的运 动轨迹坐标的序列中相邻坐标Ph (Xt+ yt4, ZtJ和Pt (xt, yt, zt)分别用和P t表示，P η 和pt之间的方向用他们之间的向量?表示，其中下标序号t取值正整数，表示坐标在序 列中的顺序。为了方便表达，本实施例中计算相邻坐标Pw和Pt之间的方向角a t用以构成 手势引导体当前的运动轨迹特征向量。相邻坐标Ph和Pt之间的方向角a t如图4所示， 方向角是指用特定坐标轴方向作为标准方向所确定的角度。
[0034] 在一个实施例中，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相邻 运动轨迹坐标之间的方向角具体包括：步骤（1)，将记录的手势引导体当前的三维的运动 轨迹坐标的序列中的各个坐标分别投影到基准平面，计算投影的坐标在该基准平面的第一 轴向上的第一变化量与第二轴向上的第二变化量。步骤（2)，根据第二变化量与第一变化量 的商的反正切值来计算相对于第一轴向的方向角。
[0035] 具体地，可采用以下公式（1)和公式（2)来计算记录的手势引导体当前的运动轨 迹坐标的序列中相邻运动轨迹坐标之间的方向角。
【权利要求】
1. 一种手势预判方法，所述方法包括： 检测到手势引导体的当前手势起始坐标，并顺序记录手势引导体从当前手势起始坐标 开始的当前的运动轨迹坐标的序列； 每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序列提取 手势引导体当前的运动轨迹特征向量； 采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特征向量进行模式匹 配，输出匹配的完整手势标识； 其中，所述预训练手势识别模型根据预采集手势特征向量样本集训练获得，所述预采 集手势特征向量样本集包括按预设比例而在完整手势的完整运动轨迹特征向量中从头开 始截取连续的特征值组成的若干局部运动轨迹特征向量。
2. 根据权利要求1所述的方法，其特征在于，所述检测到手势引导体的当前手势起始 坐标，包括： 每隔第二预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度； 当检测到手势引导体的运动速度从0开始连续变化到第一速度阈值时，将手势引导体 的运动速度为〇或者第一速度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前 手势起始坐标。
3. 根据权利要求1所述的方法，其特征在于，所述每隔第一预设时间间隔，根据所述记 录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量，包 括： 每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相 邻运动轨迹坐标之间的方向角； 按照预设的方向角范围与编码值的对应关系，将所述计算出的方向角进行编码而获得 编码值； 将所述编码获得的编码值顺序组合形成手势引导体当前的运动轨迹特征向量。
4. 根据权利要求3所述的方法，其特征在于，所述计算所述记录的手势引导体当前的 运动轨迹坐标的序列中相邻运动轨迹坐标之间的方向角，包括： 将记录的手势引导体当前的三维的运动轨迹坐标的序列中的各个坐标分别投影到基 准平面，计算投影的坐标在该基准平面的第一轴向上的第一变化量与第二轴向上的第二变 化量； 根据第二变化量与第一变化量的商的反正切值来计算相对于第一轴向的方向角。
5. 根据权利要求1所述的方法，其特征在于，所述每隔第一预设时间间隔，根据所述记 录的手势引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量的 步骤之前，还包括： 对所述记录的手势引导体当前的运动轨迹坐标的序列进行平滑处理； 或者，每隔第一预设时间间隔，根据所述记录的手势引导体当前的运动轨迹坐标的序 列提取手势引导体当前的运动轨迹特征向量的步骤之后，还包括： 对所述提取的手势引导体当前的运动轨迹特征向量进行平滑处理。
6. 根据权利要求1所述的方法，其特征在于，所述预训练手势识别模型采用隐马尔科 夫模型或隐半马尔科夫模型。
7. 根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括： 采集完整手势下手势引导体的完整运动轨迹坐标的序列； 根据所述采集的完整运动轨迹坐标的序列提取手势引导体的完整运动轨迹特征向 量； 将所述提取的完整运动轨迹特征向量中从头开始截取连续的特征值以组成若干局部 运动轨迹特征向量； 根据包括所述若干局部运动轨迹特征向量的预采集手势特征向量样本集，训练获得所 述预训练手势识别模型。
8. -种手势预判系统，其特征在于，所述系统包括： 手势轨迹采集模块，用于检测到手势引导体的当前手势起始坐标，并顺序记录手势引 导体从当前手势起始坐标开始的当前的运动轨迹坐标的序列； 当前运动轨迹特征向量提取模块，用于每隔第一预设时间间隔，根据所述记录的手势 引导体当前的运动轨迹坐标的序列提取手势引导体当前的运动轨迹特征向量； 手势预判模块，用于采用预训练手势识别模型对提取的手势引导体当前的运动轨迹特 征向量进行模式匹配，输出匹配的完整手势标识；其中，所述预训练手势识别模型根据预采 集手势特征向量样本集训练获得，所述预采集手势特征向量样本集包括按预设比例而在完 整手势的完整运动轨迹特征向量中从头开始截取连续的特征值组成的若干局部运动轨迹 特征向量。
9. 根据权利要求8所述的系统，其特征在于，所述手势轨迹采集模块还用于每隔第二 预设时间间隔，获取手势引导体实时的运动轨迹坐标和运动速度；当检测到手势引导体的 运动速度从〇开始连续变化到第一速度阈值时，将手势引导体的运动速度为〇或者第一速 度阈值时手势引导体的运动轨迹坐标作为手势引导体的当前手势起始坐标。
10. 根据权利要求8所述的系统，其特征在于，所述当前运动轨迹特征向量提取模块还 用于每隔第一预设时间间隔，计算所述记录的手势引导体当前的运动轨迹坐标的序列中相 邻运动轨迹坐标之间的方向角；按照预设的方向角范围与编码值的对应关系，将所述计算 出的方向角进行编码而获得编码值；将所述编码获得的编码值顺序组合形成手势引导体当 前的运动轨迹特征向量。
11. 根据权利要求10所述的系统，其特征在于，所述当前运动轨迹特征向量提取模块 还用于将记录的手势引导体当前的三维的运动轨迹坐标的序列中的各个坐标分别投影到 基准平面，计算投影的坐标在该基准平面的第一轴向上的第一变化量与第二轴向上的第二 变化量；根据第二变化量与第一变化量的商的反正切值来计算相对于第一轴向的方向角。
12. 根据权利要求8所述的系统，其特征在于，所述系统还包括预处理模块，用于对所 述记录的手势引导体当前的运动轨迹坐标的序列进行平滑处理；或者，用于对所述提取的 手势引导体当前的运动轨迹特征向量进行平滑处理。
13. 根据权利要求8-12中任一项所述的系统，其特征在于，所述系统还包括： 完整手势采集模块，用于采集完整手势下手势引导体的完整运动轨迹坐标的序列； 完整运动轨迹特征向量提取模块，用于根据所述采集的完整运动轨迹坐标的序列提取 手势引导体的完整运动轨迹特征向量； 局部运动轨迹特征向量生成模块，用于将所述提取的完整运动轨迹特征向量中从头开 始截取连续的特征值以组成若干局部运动轨迹特征向量； 模型建立模块，用于根据包括所述若干局部运动轨迹特征向量的预采集手势特征向量 样本集，训练获得所述预训练手势识别模型。
【文档编号】G06K9/00GK104517100SQ201410777668
【公开日】2015年4月15日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】陈彦伦, 王倩倩, 吴新宇, 徐元荣, 郭会文, 徐旦 申请人:中国科学院深圳先进技术研究院