基于手势与多语义之间柔性映射的手势操控方法
【技术领域】
[0001] 本发明涉及一种基于手势与多语义之间柔性映射的手势操控方法。
【背景技术】
[0002] 目前在交互式电视上用手势装配虚拟机器的过程中，往往需要对场景对象进行缩 放、旋转、抓取、释放、移动、确定、取消等很多操作，一般情况下，一种手势对应一种功能命 令，从而往往需要定义很多手势命令，而且缺乏高效的纠错方法，给用户带来极大的认知负 荷和操作负荷。让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，尤其是在 手势这种单通道输入条件下让操作者利用已有经验或知识就可以自然地完成交互任务而 不受记忆大量手势命令的困扰，交互过程不会因为操作者的误操作而中断从而影响交互的 流畅性，成为是本文的基本动机。
[0003] 用户通过手部动作来对智能电视进行的控制基本上有两种方式：一种是基于MEMS惯性传感器的技术；另一种是基于数字图像处理的技术。基于MEMS惯性传感器的技 术的手势控制器，代表作为"空中鼠标"。这种技术通过配备在手柄或遥控器中的传感器，捕 获人手在空中运动的方向和速度，进而转化为对智能电视的光标操作或相关指令。目前，该 技术已发展较为成熟。基于图像处理的智能电视手势控制技术，通过图像传感器捕获图像， 利用图像分析技术跟踪识别用户的手部动作，进一步计算机将捕获到的用户的手部动作转 化为相关的指令和操作。2012年，三星SmartTV智能电视通过其内置摄像头检测跟踪人 手，将跟踪信号转化为相应的鼠标移动操作，通过握拳检测实现鼠标的点击操作。2014年， 三星智能电视手势控制得到进一步升级提升，已支持双手识别控制，同时可自动跟踪用户 的手势动作，降低了无效的手势命令。但是，大多数智能电视用户抱怨目前智能电视手势操 纵界面普遍存在纠错难、手势命令难记等问题。
【发明内容】
[0004] 为解决以上技术上的不足，本发明提供了一种基于手势与多语义之间柔性映射的 手势操控方法，有效降低了操作者对于手势命令的认知负荷和操作负荷。
[0005] 本发明是通过以下措施实现的：
[0006] 本发明的一种基于手势与多语义之间柔性映射的手势操控方法，包括以下步骤：
[0007] 步骤1，建立操作者手势数据库，存储若干个手势；建立上下文语义数据库，存储 操作者手势数据库中每个手势在不同情景下的手势语义集；建立操作对象功能数据库，存 储若干操作对象及可对每个操作对象施加的功能集合，每个功能集合对应有一个手势语义 集合；建立面向语义的行为模型区别特征SDFBM数据库，存储操作者手势数据库中每个手 势在不同量化区别特征条件下的多个语义，且该多个语义归为一个手势语义群，每个手势 与对应的一个手势语义群之间建立柔性映射关系；
[0008] 步骤2,从操作者手势数据库中识别出操作者实际做出的手势g，并在上下文语义 数据库中确定手势g面向上下文的手势语义集合G;
[0009] 步骤3,在操作对象功能数据库中得出当前操作对象上可以施加的功能集合，并根 据该功能集合得出所对应的手势语义集合F;
[0010] 步骤4,将步骤2中得到的手势语义集合G和步骤3得到的手势语义集合F进行交 集计算，得到手势语义集合Q，其计算公式为：Q=gnf;
[0011] 步骤5,如果手势语义集合D中有多个语义，首先在面向语义的行为模型区别特 征SDFBM数据库中找到每个语义所在的手势语义群，然后根据柔性映射关系找到该手势语 义群对应的手势g，再然后将操作者实际做出手势的量化区别特征与手势g的多个量化区 别特征逐一比较，找出两者最为接近的那个量化区别特征，并将手势g在该量化区别特征 条件下的那个语义S作为操作者的交互语义。
[0012] 在步骤5中，如果手势语义集合Q中有一个语义，则该语义作为操作者的交互语 义。
[0013] 在步骤1或步骤5中面向语义的行为模型区别特征SDFBM数据库内，每个手势的 量化区别特征包括手势关节角度运动数据、手势各关节的平均变化速度数据、手势运动过 程中手势重心位置数据。
[0014] 本发明的有益效果是：能够实现一个手势对应多个语义，减少了需要定义的手势 命令数量，从而让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，可以自然 地完成交互任务而不受记忆大量手势命令的困扰，不会因为操作者的误操作而中断从而影 响交互的流畅性，极大减轻了给用户带来的认知负荷和操作负荷。
【附图说明】
[0015] 图1为本发明的流程框图；
[0016] 图2为在相同的交互情境下，同一个操作者手势具有不同操作语义示意图；
[0017] 图3为三个实验的对比效果图。
【具体实施方式】
[0018] 下面结合附图对本发明做进一步详细的描述：
[0019] 本发明以降低操作者对于手势命令的认知负荷和操作负荷为首要目标，揭示手势 与语义之间柔性映射的认知机理和行为模型特征，提出并实现柔性映射算法，使得操作者 可以用相同手势表达不同的手势语义，并在交互式智能电视平台上进行实验和验证，使得 操作者通过手势与计算机进行自然的、流畅的、非接触式的智能交互。实现上述目标面临的 关键问题是，在相同的交互情境下，找到联系手势与语义的认知机理，挖掘操作者的行为模 型的隐式特征，最终建立同一个手势与多语义之间的柔性映射。
[0020] 手势语义柔性映射算法
[0021] 首先定义几个基本概念，然后给出手势语义柔性映射算法及其实现细节。
[0022] 一、基本概念
[0023] (1)手势
[0024] 本文把手势定义为：
[0025]
[0026] 其中，C表示3D手势的全局变量运动轨迹曲线形状，0 (t)表示手势局部变量随 着时间的变化而改变，9 〇表示手势姿态变量始终保持不变，SEMfest表示手势Gest的基本语 义，GSD表示与日常生活中交互经验有关的手势语义数据库。根据上述定义，手势实际上是 人手状态全局变量和局部变量的轨迹序列，故本文也把手势称为手势参数轨迹，且具有与 操作者交互经验相关联的基本语义，当且仅当两个操作者的手势参数轨迹相同时，这两个 操作者手势才是相同的。
[0027] (2)上下文情境
[0028] 上下文由两部分组成：1、当前操纵对象或状态及其可以施加的操作功能的集合。 利用该信息，可以确定当前界面上与交互任务有关的手势语义集合M;2、情境分类标识号， 主要用于检索语义集合M，过滤掉与当前交互场景不相关联的手势语义。
[0029] (3)柔性映射
[0030] 针对相同交互情境下操作者记忆手势命令的难题，提出柔性映射的概念，其内涵 有两个：一是同一个手势可以表达多个不同的手势语义，如图2所示，即在同一个上下文情 境下，同一个手势到不同语义之间具有一对多映射。
[0031] 图2中，在相同的交互情境下，本研宄容许同一个操作者手势可以具有不同的操 作语义.（a)手势"五指从包袱逐渐变为拳头"可以表达的手势语义为：抓当前零件；将当 前钢珠缩小；拆分当前零件；平移当前零件。（b)有食指说表示的指点手势可以表达的语义 为：选择操作对象；旋转操作对象；数字"1" ;确定。
[0032] (4)面向语义的行为模型区别特征（SDFBM):
[0033] 在用同一个手势表达不同手势语义时（本文把这些可以用同一个手势表达的语 义集合称为语义群，每个语义群赋予唯一语义群号），操作者手势的行为模型之间往往具有 把不同语义区分开的区别特征。本文把这些区别特征称为面向语义的行为模型区别特征 (SDFBM)〇
[0034] 二、算法描述：
[0035] 降低操作者的记忆负荷，是本文的首要目标，为此希望操作者在交互过程中可以 不记忆或少记忆手势命令。但是，这决不是说操作者不用记忆所有手势命令或操纵方法，而 是说操作者要具备使用智能手势或智能电视的基本操作经验或操作常识一一它们通过长 期的生活实践已经成为操作者的行为模型。因此，本文以操作者的行为模型作为切入点，降 低操作者的认知负荷。
[0036] 算法的总体思路：首先筛选出操作者可能的交互意图，再结合交互上下文信息，进 一步把操作者的手势语义压缩到更小的语义集合。其次，利用SDFBM特征，进一步锁定操作 者手势语义。
[0037] 如图1所示，采用RGB图和对应的深度图序列作为手势输入，然后进行手势识别， 得到操作者手势，把操作者当前手势在当前上下文情境下所有可能的手势语义从上下文语 义库中检索出来，得到手势语义集合G。集合G中一定包含操