一种手势识别方法和装置制造方法
【专利摘要】本发明提出一种手势识别方法和装置，其中方法包括：获取用户手势的数据序列，所述数据序列包括加速度数据序列和角速度数据序列；对所述数据序列进行预处理，得到特征向量；采用预先设定的预定义分类器识别所述特征向量，得到所述特征向量对应的用户手势。本发明的识别率较高，并能够识别出基于手腕运动的手势及手部旋转手势。
【专利说明】一种手势识别方法和装置
【技术领域】
[0001] 本发明涉及模式识别与人工智能【技术领域】，尤其涉及一种手势识别方法和装置。【背景技术】
[0002] 传统的手势识别技术主要分为基于计算机视觉的手势识别和数据手套的手势识 另IJ，其中基于计算机视觉的手势识别技术的算法复杂度普遍较高，且极其容易受环境因素 影响，识别率难以令人满意；基于数据手套的手势识别技术虽然识别率较好，但是由于其设 备昂贵、携带不便、且用户体验较差，已经逐渐被研宄人员所放弃。
[0003] 随着计算机硬件的不断发展，越来越多的技术人员将手势识别的研宄方向转移到 传感器方面，特别是基于加速度传感器数据的手势识别技术是近几年来一个模式识别和人 工智能领域较为活跃的领域。
[0004] 基于加速度数据的手势识别技术主要有模板匹配、神经网络、和概率统计分析等 方法。基于模板匹配的方式优势在于流程逻辑简单，最大的缺点在于计算复杂度较高，很难 满足实时性要求较高的应用，如SvenKratz等人集成加速度和角速度数据，通过动态时间 规划的方法对6种简单手势进行识别，结果表明动态时间规划的实时性最差。基于概率统 计分析的方法目前较为流行，如JiangfengLiu等人利用隐形马尔科夫模型，基于手部运动 的加速度信息对8种手势进行识别且识别利率较好。压缩感知是目前另一种较为流行的方 法，这种方法可以减少手势数据的维度、简化识别的计算复杂度，如AhmadAkl就结合动态 时间规划和压缩感知技术对18种手势进行识别。
[0005] 现有技术的不足之处在于：
[0006] 目前的手势识别技术对较少的手势种类进行识别时识别率较高，对较多的手势进 行识别的时候识别率会显著下降；并且，主要是对手部运动轨迹进行识别，并不支持无明显 运动轨迹的手部旋转等手势。
【发明内容】
[0007] 本发明提供了一种手势识别方法，其识别率较高，并能够识别出基于手腕运动的 手势及手部旋转手势。
[0008] 本发明还提供了一种手势识别装置，其识别率较高，并能够识别出基于手腕运动 的手势及手部旋转手势。
[0009] 本发明的技术方案是这样实现的：
[0010] 一种手势识别方法，包括：
[0011] 获取用户手势的数据序列，所述数据序列包括加速度数据序列和角速度数据序 列；
[0012] 对所述数据序列进行预处理，得到特征向量；
[0013] 采用预先设定的预定义分类器识别所述特征向量，得到所述特征向量对应的用户 手势。
[0014] -种手势识别装置，置包括：
[0015] 预处理模块，用于获取用户手势的数据序列，所述数据序列包括加速度数据序列 和角速度数据序列；对所述数据序列进行预处理，得到特征向量；
[0016] 预定义分类器，用于识别所述特征向量，得到所述特征向量对应的用户手势。
[0017] 可见，本发明提出的手势识别方法和装置，将用户手势的加速度数据序列和角速 度数据序列作为识别依据，能够对较多手势进行准确识别，并能够识别出无明显运动轨迹 的手部旋转手势。
【专利附图】
【附图说明】
[0018] 图1为本发明提出的手势识别方法实现流程图；
[0019] 图2为实施例一的系统结构示意图；
[0020] 图3为实施例二的实现流程图；
[0021] 图4为维度标准化处理示意图；
[0022] 图5为实施例三的实现流程图；
[0023] 图6为实施例四的实现流程图；
[0024] 图7为本发明方法在6DMG开源数据库上的测试结果示意图。
【具体实施方式】
[0025] 本发明提出一种手势识别方法，如图1为该方法的实现流程图，包括：
[0026] 步骤101 :获取用户手势的数据序列，所述数据序列包括加速度数据序列和角速 度数据序列；
[0027] 步骤102 :对所述数据序列进行预处理，得到特征向量；
[0028] 步骤103 :采用预先设定的预定义分类器识别所述特征向量，得到所述特征向量 对应的用户手势。
[0029] 由于获取的用户手势数据序列中包括了角速度数据序列，因此本发明提出的手势 识别方法能够识别出基于手腕运动的手势及手部旋转等手势。
[0030] 上述步骤102的具体方式可以为：
[0031] 对各个数据序列分别依次执行去噪平滑、尺度归一化和维度标准化操作；将操作 结果组成用户手势的特征向量。
[0032] 步骤103中，当预定义分类器无法识别出所述特征向量时，上述方法可以进一步 包括：采用用户设定的自定义分类器识别所述特征向量，得到所述特征向量对应的用户手 势。
[0033] 本发明能够为用户提供定义自己喜好的、并且不在预定义分类器手势集合之中的 手势的方法，具体可以为：
[0034] 获取用户连续两次以上输入的用户手势的数据序列；
[0035] 对所述数据序列进行预处理，得到针对每个用户手势的特征向量；
[0036] 当针对每个用户手势的特征向量均无法被所述预定义分类器识别时，判断任意两 个用户手势的数据序列的相似度是否均不大于预先设定的阈值，如果是，则将各个用户手 势的数据序列作为初始样本；
[0037] 对所述初始样本进行加权加噪处理，将初始样本及加权加噪处理后得到的样本作 为自定义分类器的正样本；选取其他数据序列作为自定义分类器的负样本；将所述正样本 和负样本作为训练数据训练所述自定义分类器。
[0038] 其中，加权加噪处理的具体方式可以为：对数据序列中的各个数据分别乘以预定 范围内的随机数；
[0039] 对初始样本进行加权加噪处理，将初始样本及加权加噪处理后得到的样本作为自 定义分类器的正样本的具体方式可以为：
[0040] 对初始样本进行加权加噪处理，得到新的数据序列；
[0041] 对所述初始样本及新的数据序列再次进行加权加噪处理，得到新的数据序列；
[0042] 直至数据序列的数量满足预先设定的要求时，将得到的新的数据序列及初始样本 作为正样本。
[0043] 选取其他数据序列作为自定义分类器的负样本的具体方式可以为：
[0044] 选取所述预定义分类器能够识别的部分或全部用户手势的数据序列、或者一个以 上随机序列作为负样本。
[0045] 以下结合附图，举具体的实施例详细介绍。
[0046] 实施例一：
[0047] 本实施例介绍运行本发明提出的手势识别方法的示范性系统，如图2为该系统结 构示意图，该系统实现了一个第三方应用程序使用本发明进行人机交互的实例。
[0048] 该系统通过内置加速度和角速度传感器的设备（即数据识别单元210)获取用户 进行手势操作的加速度数据序列和角速度数据序列，经由蓝牙或其传输至他连接设备将加 速度数据序列和角速度数据序列预处理模块220 ;
[0049] 预处理模块220对获取的加速度数据序列和角速度数据序列进行去噪平滑处 理，对去噪平滑处理后的结果进行归一化处理，再对归一化处理后的结果进行维度标准化 操作，最后提取每个维度的数据均值作为特征组建特征向量，将特征向量发送至识别模块 230 ；
[0050] 识别模块230可以包括预先设定的预定义分类器231，还可以进一步包括用户自 行设定的自定义分类器232 ;识别模块230对收到的特征向量进行识别，识别出对应的用户 手势，将识别结果返回给第三方应用程序240,由第三方应用程序匹配识别结果至特定的机 器操作，从而实现人机交互的功能。此外，该系统允许第三方应用程序为用户提供自定义手 势接口，通过本方法的自定义识别模块将用户自己定义的新个人手势映射为第三方应用程 序的某个操作。
[0051] 本实施例从整体上介绍了各个单元的功能，以下举多个实施例分别介绍各个单元 的具体处理流程。
[0052] 实施例二：
[0053] 本实施例介绍预处理模块220对原始的加速度数据序列和角速度数据序列进 行预处理的过程。在本实施例中，一个用户手势的原始数据序列包括6个，记为AccSecL x，AccSeq_y,AccSeq_z,AngSeq_x,AngSeq_y,AngSeq_z;其中，AccSeq表示加速度数据序列， AngSeq表示角速度数据序列，下标X、y、z分别表示传感器的3个方向轴。
[0054]如图3为本实施例的实现流程图，包括以下步骤：
[0055] 步骤301 :去噪平滑。本实施例采用均值滤波，并以宽度为5的滑动窗口作为中心 点领域，将窗口内数据的均值作为中心点的更新值进行均值滤波，计算式为：
[0056]
【权利要求】
1. 一种手势识别方法，其特征在于，所述方法包括： 获取用户手势的数据序列，所述数据序列包括加速度数据序列和角速度数据序列； 对所述数据序列进行预处理，得到特征向量； 采用预先设定的预定义分类器识别所述特征向量，得到所述特征向量对应的用户手 势。
2. 根据权利要求1所述的方法，其特征在于，所述对数据序列进行预处理并得到特征 向量的方式为： 对各个数据序列分别依次执行去噪平滑、尺度归一化和维度标准化操作； 将操作结果组成用户手势的特征向量。
3. 根据权利要求1或2所述的方法，其特征在于，当所述预定义分类器无法识别出所述 特征向量时，所述方法进一步包括： 采用用户设定的自定义分类器识别所述特征向量，得到所述特征向量对应的用户手 势。
4. 根据权利要求3所述的方法，其特征在于，所述方法进一步包括： 获取用户连续两次以上输入的用户手势的数据序列； 对所述数据序列进行预处理，得到针对每个用户手势的特征向量； 当针对每个用户手势的特征向量均无法被所述预定义分类器识别时，判断任意两个用 户手势的数据序列的相似度是否均不大于预先设定的阈值，如果是，则将各个用户手势的 数据序列作为初始样本； 对所述初始样本进行加权加噪处理，将初始样本及加权加噪处理后得到的样本作为自 定义分类器的正样本；选取其他数据序列作为自定义分类器的负样本；将所述正样本和负 样本作为训练数据训练所述自定义分类器。
5. 根据权利要求4所述的方法，其特征在于，所述加权加噪处理的方式为：对数据序列 中的各个数据分别乘以预定范围内的随机数； 所述对初始样本进行加权加噪处理，将初始样本及加权加噪处理后得到的样本作为自 定义分类器的正样本的方式为： 对初始样本进行加权加噪处理，得到新的数据序列； 对所述初始样本及新的数据序列再次进行加权加噪处理，得到新的数据序列； 直至数据序列的数量满足预先设定的要求时，将得到的新的数据序列及初始样本作为 正样本。
6. 根据权利要求4所述的方法，其特征在于，所述选取其他数据序列作为自定义分类 器的负样本的方式为： 选取所述预定义分类器能够识别的部分或全部用户手势的数据序列、或者一个以上随 机序列作为负样本。
7. -种手势识别装置，其特征在于，所述装置包括： 预处理模块，用于获取用户手势的数据序列，所述数据序列包括加速度数据序列和角 速度数据序列；对所述数据序列进行预处理，得到特征向量； 预定义分类器，用于识别所述特征向量，得到所述特征向量对应的用户手势。
8. 根据权利要求7所述的装置，其特征在于，所述预处理模块对数据序列进行预处理 并得到特征向量的方式为： 对各个数据序列分别依次执行去噪平滑、尺度归一化和维度标准化操作； 将操作结果组成用户手势的特征向量。
9. 根据权利要求7或8所述的装置，其特征在于，所述装置还包括： 自定义分类器，用于当所述预定义分类器无法识别特征向量时，识别该特征向量，得到 所述特征向量对应的用户手势。
10. 根据权利要求9所述的装置，其特征在于，所述自定义分类器还用于， 获取用户连续两次以上输入的用户手势的数据序列；当针对每个用户手势的特征向量 均无法被所述预定义分类器识别时，判断任意两个用户手势的数据序列的相似度是否均不 大于预先设定的阈值，如果是，则将各个用户手势的数据序列作为初始样本； 对所述初始样本进行加权加噪处理，将初始样本及加权加噪处理后得到的样本作为自 定义分类器的正样本；选取其他数据序列作为自定义分类器的负样本；将所述正样本和负 样本作为训练数据进行训练。
11. 根据权利要求10所述的装置，其特征在于，所述自定义分类器加权加噪处理的方 式为：对数据序列中的各个数据分别乘以预定范围内的随机数； 所述自定义分类器对初始样本进行加权加噪处理，将初始样本及加权加噪处理后得到 的样本作为自定义分类器的正样本的方式为： 对初始样本进行加权加噪处理，得到新的数据序列； 对所述初始样本及新的数据序列再次进行加权加噪处理，得到新的数据序列； 直至数据序列的数量满足预先设定的要求时，将得到的新的数据序列及初始样本作为 正样本。
12. 根据权利要求10所述的装置，其特征在于，所述自定义分类器选取其他数据序列 作为自定义分类器的负样本的方式为： 选取所述预定义分类器能够识别的部分或全部用户手势的数据序列、或者一个以上随 机序列作为负样本。
【文档编号】G06K9/66GK104484644SQ201410621500
【公开日】2015年4月1日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】陈涛, 蒋文明, 李敏, 李力, 范炜 申请人:三星电子（中国）研发中心, 三星电子株式会社