一种手势识别系统及方法
【专利摘要】本发明公开了一种手势识别系统及方法，该系统至少包括：具有加速度、方向和磁场传感器的智能移动终端，用于记录用户手势的传感器数据并进行特征提取，根据该些特征利用模型训练平台训练获得的训练模型识别用户手势；模型训练平台，对所述智能移动终端采集的多种用户手势的手势特征进行标记及归一化处理，并进行特征训练学习，获得所述训练模型，本发明能够在用户无法或者不想通过触摸屏或键盘进行信息输入的情况下通过手势信息进行信息输入来完成对应的任务，令智能手机用户通过简单地挥动手势便能完成相应的任务。
【专利说明】一种手势识别系统及方法
【技术领域】
[0001] 本发明涉及一种手势识别系统及方法，特别是涉及一种基于智能手机的加速度、 方向和磁场传感器的手势识别系统及方法。
【背景技术】
[0002] 随着智能手机的不断普及、随着手机性能的不断提高，便携的智能手机已经在一 定程度上能够替代电脑的作用，对于绝大多数人来说，智能手机变得愈发重要。而加速度、 方向和磁场传感器基本是每部智能手机的标准配备，它们能够较为准确地捕捉到用户周围 的感知数据，采集用户的行为数据。而很多时候，用户不能或不想直接通过触摸屏或键盘输 入信息，那么这时该如何得知用户想要手机完成什么样的任务呢？语音识别是一种方法， 手势识别就是另一种可替代的方法，它不需要用户将注意力集中在手机屏幕或键盘上，只 是简单地挥一挥手机或做出其他手势，便可以准确地进行信息输入，使手机完成相关的任 务。出于这样的原因，手势信息输入作为一种能够有效替代触摸屏、键盘的信息输入方法， 其优势愈发凸显。手势信息输入将在许多方面有所作为，包括手势游戏、手势播放器、手势 输入法、幻灯片手势操控等等。
[0003] 考虑这样一种场景，老师在课上授课，需要从讲台的电脑前走到黑板前进行板书 或者走入同学之中，可是过一会他必须走回电脑前进行幻灯片的操作，比如翻页。如此一 来，便给他的教学带来极大的不便。但是如果能够通过手机的手势识别，并结合数据传输， 老师便可以利用手机远程遥控幻灯片的操作。
[0004] 监测并识别用户手势是基于前期采集的大量带标记的特征数据训练出来的模型 进行的，如果模型不够准确，那么经常会错误地识别手势，严重影响用户体验。所以如何训 练出准确率更高、鲁棒性更好的模型对于手势识别系统来说非常重要。
[0005] 因此，实有必要提出一种准确稳定、基于智能手机的手势识别系统及其方法，针对 用户不同的手势，识别并完成相应任务。
【发明内容】
[0006] 为克服上述现有技术存在的不足，本发明之目的在于提供一种手势识别系统及方 法，其能够在用户无法或者不想通过触摸屏或键盘进行信息输入的情况下能通过手势信息 进行信息输入来完成对应的任务，令智能手机用户通过简单地挥动手势便能使手机完成相 应的任务，为用户增加带来了便捷和乐趣，避免了传统触摸屏或键盘输入需要将注意力集 中在上面的缺点和传统输入方式的单调无聊。
[0007] 为达上述及其它目的，本发明提出一种手势识别系统，至少包括：
[0008] 具有加速度、方向和磁场传感器的智能移动终端，用于记录用户手势的传感器数 据并进行特征提取，根据该些特征利用模型训练平台训练获得的训练模型识别用户手势；
[0009] 模型训练平台，对所述智能移动终端采集的多种用户手势的手势特征进行标记及 归一化处理，并进行特征训练学习，获得所述训练模型。
[0010] 进一步地，所述智能移动终端包括：
[0011] 加速度的坐标转换单元，用于将通过加速度传感器采集的加速度从手机坐标系转 换到地面坐标系；
[0012] 手势起始终止时间的判断单元，用于确定手势的起始终止时间；
[0013] 传感器数据记录单元，利用文件读写语句将每次手势动作的传感器数据写入移动 终端的内存；
[0014] 手势特征提取单元，负责对每帧手势动作进行特征值提取，得到每个手势动作频 域时域上长度为45的总体特征描述子；
[0015] 手机端手势数据归一化单元，用于对该手势特征提取单元获得的45个特征值进 行归一化处理；
[0016] 手势识别单元，对归一化的特征进行分类预测并予以识别。
[0017] 进一步地，该加速度的坐标转换单元首先获取加速度、方向、磁场传感器的原始数 据，然后根据坐标轴变换原理，将该原始数据变换到地面坐标系的对应数据。
[0018] 进一步地，该手势起始终止时间的判断单元首先计算相邻时刻的三维加速度的差 值的绝对值的和，如果其大于预先设定的阈值并且上一个手势已经结束，新的手势还未开 始，则标记在该时刻开始了新的手势；如果其小于预先设定的阈值并且手势开始而尚未结 束，则标记手势在该时刻结束，否则什么也不做。
[0019] 进一步地，该手势提取特征单元提取特征的步骤如下：
[0020] 将收集到的对地三维加速度进行帧间等长的分帧处理，共分为3帧；
[0021] 根据每帧的数据计算出15个特征值，共得到45个特征值。
[0022] 进一步地，该模型训练平台为离线的基于Android编程软件Eclipse和机器学习 库libsvm的电脑端，该手势数据标记单元、该平台端手势数据归一化单元以及该手势建模 识别单元由开源库libsvm中所包含的功能直接实现。
[0023] 为达到上述目的，本发明还提供一种手势识别方法，包括如下步骤：
[0024] 步骤一，通过智能移动终端的传感器数据记录单元采集大量用户的不同手势数据 并利用手势特征提取单元提取出大量的手势特征；
[0025] 步骤二，在离线的模型训练平台上对所提取的用户手势特征进行标记和归一化处 理，并进行特征训练学习，最后得到一个训练模型；
[0026] 步骤三，将该训练模型导入该智能移动终端，由该智能移动终端实时采集用户手 势的传感器数据，实时地进行识别分类，并实时地完成相对应的任务。
[0027] 进一步地，步骤三还包括如下步骤：
[0028] 步骤8. 1，从该智能移动终端的各传感器中获得加速度、方向和磁场方向，并把三 维加速度转化为对地加速度，并予以记录；
[0029] 步骤8. 2,将收集到的对地三维加速度进行帧间等长的分帧处理，并根据每帧的数 据计算出15个特征值，共得到45个特征值；
[0030] 步骤8. 3,把45个特征值进行归一化处理，并由该智能移动终端的手势识别单元 进行识别并得到结果。
[0031] 进一步地，于步骤8. 2中，将收集到的对地三维加速度分为帧间等长的3帧，该15 个特征值的计算方法如下：首先将三维加速度序列A分为4段，其中每两个相邻的断组成一 中贞，共3帧，每帧之间具有50 %重叠，其中第k个三维加速度数据子序列Rk采用下述方法描 述：
[0032]
【权利要求】
1. 一种手势识别系统，至少包括： 具有加速度、方向和磁场传感器的智能移动终端，用于记录用户手势的传感器数据并 进行特征提取，根据该些特征利用模型训练平台训练获得的训练模型识别用户手势； 模型训练平台，对所述智能移动终端采集的多种用户手势的手势特征进行标记及归一 化处理，并进行特征训练学习，获得所述训练模型。
2. 如权利要求1所述的一种手势识别系统，其特征在于，所述智能移动终端包括： 加速度的坐标转换单元，用于将通过加速度传感器采集的加速度从手机坐标系转换到 地面坐标系； 手势起始终止时间的判断单元，用于确定手势的起始终止时间； 传感器数据记录单元，利用文件读写语句将每次手势动作的传感器数据写入移动终端 的内存； 手势特征提取单元，负责对每帧手势动作进行特征值提取，得到每个手势动作频域时 域上长度为45的总体特征描述子； 手机端手势数据归一化单元，用于对该手势特征提取单元获得的45个特征值进行归 一化处理； 手势识别单元，对归一化的特征进行分类预测并予以识别。
3. 如权利要求2所述的一种手势识别系统，其特征在于，该加速度的坐标转换单元首 先获取加速度、方向、磁场传感器的原始数据，然后根据坐标轴变换原理，将该原始数据变 换到地面坐标系的对应数据。
4. 如权利要求3所述的一种手势识别系统，其特征在于：该手势起始终止时间的判断 单元首先计算相邻时刻的三维加速度的差值的绝对值的和，如果其大于预先设定的阈值并 且上一个手势已经结束，新的手势还未开始，则标记在该时刻开始了新的手势；如果其小于 预先设定的阈值并且手势开始而尚未结束，则标记手势在该时刻结束，否则什么也不做。
5. 如权利要求4所述的一种手势识别系统，其特征在于，该手势提取特征单元提取特 征的步骤如下： 将收集到的对地三维加速度进行帧间等长的分帧处理，共分为3帧； 根据每帧的数据计算出15个特征值，共得到45个特征值。
6. 如权利要求1所述的一种手势识别系统，其特征在于：该模型训练平台为离线的基 于Android编程软件Eclipse和机器学习库libsvm的电脑端，该手势数据标记单元、该平 台端手势数据归一化单元以及该手势建模识别单元由开源库libsvm中所包含的功能直接 实现。
7. -种手势识别方法，包括如下步骤： 步骤一，通过智能移动终端的传感器数据记录单元采集大量用户的不同手势数据并利 用手势特征提取单元提取出大量的手势特征； 步骤二，在离线的模型训练平台上对所提取的用户手势特征进行标记和归一化处理， 并进行特征训练学习，最后得到一个训练模型； 步骤三，将该训练模型导入该智能移动终端，由该智能移动终端实时采集用户手势的 传感器数据，实时地进行识别分类，并实时地完成相对应的任务。
8. 如权利要求7所述的一种手势识别方法，其特征在于，步骤三还包括如下步骤： 步骤8. 1，从该智能移动终端的各传感器中获得加速度、方向和磁场方向，并把三维加 速度转化为对地加速度，并予以记录； 步骤8. 2,将收集到的对地三维加速度进行帧间等长的分帧处理，并根据每帧的数据计 算出15个特征值，共得到45个特征值； 步骤8. 3,把该45个特征值进行归一化处理，并由该智能移动终端的手势识别单元进 行识别并得到结果。
9. 如权利要求8所述的一种手势识别方法，其特征在于，于步骤8. 2中，将收集到的对 地三维加速度分为帧间等长的3帧，该15个特征值的计算方法如下：首先将三维加速度序 列A分为4段，其中每两个相邻的断组成一帧，共3帧，每帧之间具有50%重叠，其中第k个 三维加速度数据子序列R k采用下述方法描述：
其中aT表示三维加速度序列A，rT, k表示第k个三维加速度数据子序列T轴上的加速 度子序列，
表示三维加速度数据子序列rT，k的长度，
表示三维加速 度数据子序列rT，k的第i个的家属杜数值，
的值可以从A中获得，其对应关系见式4 ;然 后从该三维加速度子序列中，选取5个特征值，将每个加速度序列转化为由45个特征值描 述。
10. 如权利要求9所述的一种手势识别方法，其特征在于：选取的5个特征值分别为加 速度时域上的方差、加速度两两维度时域上的相关度、加速度频域上的直流分量、加速度频 域上的交流分量的能量均值、加速度频域上的交流分量的信息熵。
【文档编号】G06F3/01GK104111733SQ201410366480
【公开日】2014年10月22日 申请日期:2014年7月29日 优先权日:2014年7月29日
【发明者】朱燕民, 马海蔚, 贝泽华, 龚虹宇 申请人:上海交通大学