基于用户任务的手势识别方法
【技术领域】
[0001] 本发明涉及人机交互技术领域，特别是涉及一种基于用户任务的手势识别方法。
【背景技术】
[0002] 手势是人类表达非语言类的意图感知的主要载体，随着科技的发展，对于手势识 别的研宄越来越热门。
[0003] 目前对手势识别的研宄主要以手势检测、捕捉、跟踪等为主，研宄者们总是力求准 确的识别出用户的每一个手势，尽量真实的还原与展现在智能设备上，想以此提高人机交 互的真实性。
[0004] 然而，用户在与智能设备的交互中，有些手势是无意图、无目的，按照当前对手势 的研宄并不能区分出这些无意图的手势，这无疑会给手势识别系统增加过多的处理数据， 使原本已经很复杂的算法及处理过程更加冗杂，势必会造成处理效率低下；更为严重的是， 这些无意图手势还可能造成交互设备的误反馈、误操作，导致手势识别的准确性大大降低， 用户体验降低。
【发明内容】
[0005] 本发明的目的在于提出一种基于用户任务的手势识别方法，以根据产品功能划分 用户与产品交互手势的意图和目的，由此把用户无意识的手势操作区分出来，减少手势识 别中需要检测和处理的数据，从而提高手势识别的效率和准确率。
[0006] 为了解决上述技术问题，本发明的技术方案如下：
[0007] 基于用户任务的手势识别方法，包括：
[0008] 步骤A、获取交互对象；
[0009] 步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手 势集知识库；
[0010] 步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序 连接起来，形成用户任务，并将全部用户任务集成为用户任务表；
[0011] 步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中 的手势特征向量对比：
[0012] 子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则 执行第N个用户手势命令，其中N为自然数；
[0013] 子步骤D2,当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配 时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且 连接的两个用户手势，如果是，则执行第N+1个用户手势命令。
[0014] 在子步骤D2中，如果第N+1个用户手势和第N个用户手势不属于同一个用户任务 里面按照顺序且连接的两个用户手势，则根据第N+1个用户手势改进所述交互对象的执行 方式，获得改良设计的交互对象。
[0015] 本发明的优点是：
[0016] 第一，预先设定产品各项功能对应的用户任务，得到用户任务表。由于基于用户任 务的手势识别方法能够在具有主观性，随意性，模糊性的手势中分离出有意义的手势，过滤 掉大量的无意义手势，从而大为减少了需要检测和处理的手势数据，提高手势识别的效率 和准确率；
[0017] 第二，能够根据用户用目的明确但操作方式与产品设计不符的手势，获知用户表 达出来的对产品的预期，由此改进产品设计，使产品更贴近用户需求和预期，提升产品的用 户接收度以及用户体验；
[0018] 第三，一定程度上预测用户行为，通过设定好的用户任务，当用户执行某个操作 时，判断这个操作存在哪个用户任务中，从而知道用户下一步可能的操作，能提高交互对象 对手势作出反馈的速度。
【附图说明】
[0019] 图1是本发明的步骤流程图；
[0020] 图2是本发明实施例中执行煮食的用户任务的用户手势指令序列图；
[0021] 图3(a)是本发明实施例中抓取物体的手势示例图；
[0022] 图3(b)是本发明实施例中旋转物体的手势示例图。
【具体实施方式】
[0023] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。
[0024] 实施例
[0025] 如图1，基于用户任务的手势识别方法，包括
[0026] 步骤A、获取交互对象；
[0027] 步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手 势集知识库；
[0028] 步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序 连接起来，形成用户任务，并将全部用户任务集成为用户任务表；
[0029] 步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中 的手势特征向量对比：
[0030] 子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则 执行第N个用户手势命令，其中N为自然数；
[0031] 子步骤D2,当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配 时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且 连接的两个用户手势，如果是，则执行第N+1个用户手势命令。
[0032] 其中，本发明所指的交互对象，是能够与用户进行交互的客体，例如虚拟产品或产 品3D模型，具有一定的感知用户行为并作出反馈的能力。在这样的一交互对象中，执行某 一个产品功能的初始状态到目标状态需要经历的所有行为操作构成了一种用户任务，一个 产品有多个功能，于是一个产品对应于多个用户任务，多个用户任务组合在一起，形成了用 户任务表。每个用户任务并不一定是唯一的，从初始状态到目标状态往往存在多种行为操 作的组合，以打电话为例：
[0033] 用户任务一："打开通讯录"、"选择某人"、"拨打电话"
[0034] 用户任务二："打开拨号盘"、"输入号码"、"拨打电话"
[0035] 提出用户任务主要是因为用户对一个产品的意象往往是模糊的，这让产品设计师 难以捕捉用户意图，特别是通过非语言类的姿势表达，如果要将用户模糊的信息转化为适 当的产品设计元素，使设计出来的产品尽可能与用户的意象模型相一致，甚至超出其期望， 这无论是对设计师还是感知系统来说，都难以承受，需要处理过多的未知变量和运算量。
[0036] 用户任务概念的提出能够很好的处理这个问题。主要是用户任务有很清晰的用户 目标。基于用户任务对用户手势所表达的意图感知进行识别时，可以把用户意图分为三种 类型：第一种是系统预期的意图II，也就是系统期望用户会执行的操作；第二种是用户可 能选择执行但不是系统预期的意图12,这一类型往往是用户按照自己的理解去执行某个操 作，但是这个操作是错误的；第三种类型就是无意义的用户行为13,这一类型的操作是最 多的，系统可以完全忽略的，把这一类型归类为无意义行为可以大大减少未知变量和运算 量，从而让系统准确而高效的感知用户意图。
[0037] 如图2所示，现以阿迪锅产品设计为例讲述如何通过用户任务的方法获取用户意 图。阿迪锅与人的手势交互任务如表一所示，包含四个用户任务：移动，煮食，获取食物，清 洗对象。为了更好的描述计算机视觉手势，将每一个任务分解成一个或者多个子任务，并赋 给每个子任务一个用户手势指令Gi(i= {1，2……n，n为正整数})。
[0038] 表一：阿迪锅的用户任务
【主权项】
1. 基于用户任务的手势识别方法，其特征在于，包括： 步骤A、获取交互对象； 步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集 知识库； 步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接 起来，形成用户任务，并将全部用户任务集成为用户任务表； 步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手 势特征向量对比： 子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行 第N个用户手势命令，其中N为自然数； 子步骤D2,当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则 判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的 两个用户手势，如果是，则执行第N+1个用户手势命令。
2. 根据权利要求1所述的基于用户任务的手势识别方法，其特征在于，在子步骤D2中， 如果第N+1个用户手势和第N个用户手势不属于同一个用户任务里面按照顺序且连接的两 个用户手势，则根据第N+1个用户手势改进所述交互对象的执行方式，获得改良设计的交 互对象。
【专利摘要】本发明提供了一种基于用户任务的手势识别方法，包括：获取交互对象；穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比，基于产品功能来区分用户与产品之间有意义的交互手势，把用户无意识的手势操作分离出来，最后仅执行并反馈有意义的用户手势的结果。本发明能够减少手势识别中需要检测和处理的数据，提高手势识别的效率和准确率。
【IPC分类】G06K9-00, G06K9-62
【公开号】CN104615984
【申请号】CN201510045000
【发明人】何汉武, 杨贤, 吴悦明, 陈和恩, 梁剑斌
【申请人】广东工业大学
【公开日】2015年5月13日
【申请日】2015年1月28日