一种Hololens手势识别的扩展方法与流程

本发明涉及计算机视觉和数据融合技术领域，特别是一种hololens手势识别的扩展方法。

背景技术：

人机交互是目前研究的热点和难点，而数据融合作为人机交互任务的基础，已成为人机交互领域中至关重要的研究问题。hololens是一款增强现实头显设备，是集增强现实场景展现、即时定位与地图构建、人机交互于一身的可穿戴智能眼镜设备，该设备可获取视频数据进行简单的手势交互，但其可识别手势有限。

多传感器融合涉及数据融合技术，数据融合技术是指通过某种规则将多个传感器捕获到的在时间或空间上存在冗余或互补性的运动数据进行组合，得到比单一传感器通道更加丰富的信息，从而获得对被测目标进行描述或理解的一致性。多源数据融合可分为3种思路与方法：第一，数据层融合，即先对各模态的数据进行简单组合形成新的特征向量，再进行后续的常规分类或识别等过程。第二，特征层融合，即从单模态数据中提取有效互补的特征，通过时间尺度等规则将这些特征有机结合在一起，作为统一的多模态数据特征。第三，决策层融合，即从不同模态的数据中分别提取特征，通过模式识别过程获得识别结果与权重，再通过融合策略获得最后的判别或识别结果。

hololens目前只可以识别手掌张开和手指点击两种手势，还存在交互受限等问题，目前不能结合肌电信号采集设备进行手势识别扩展，无法实现高精度高灵活性的手势识别。

技术实现要素：

本发明目的在于提供一种高精度、高灵活性的hololens手势识别的扩展方法，以增强hololens手势识别能力，并扩展其识别的手势种类。

实现本发明目的的技术解决方案为：一种hololens手势识别的扩展方法，该方法包括以下步骤：

步骤1、预定义手势集合，包括hololens内置手势集合和需要增加的手势集合；

步骤2、分别采集各手势对应的视频信号和肌电信号；

步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；

步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；

步骤5、融合两组信号的匹配结果，得到手势识别结果。

进一步地，步骤1所述的预定义手势集合，具体如下：

定义手势集合set，包括hololens内置手势集合set2和需要增加的手势集合set1；需要增加的手势集合set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌。

进一步地，步骤2所述的分别采集各手势对应的视频信号和肌电信号，具体如下：

步骤2.1、实验者做出手势集合set中的手势动作；

步骤2.2、通过hololens采集各手势对应的视频信号；

步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号。

进一步地，步骤3所述的对采集到的视频信号和肌电信号分别进行信号处理，具体如下：

步骤3.1、对采集到的视频信号进行手势分割、特征提取，获得手势运动轨迹，作为视频信号的特征；

步骤3.2、对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征。

进一步地，步骤3.1所述的对采集到的视频信号进行手势分割、特征提取，具体如下：

步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；

步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心位置；

步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征。

进一步地，步骤3.2所述的对采集到的肌电信号进行手势分割、特征提取，具体如下：

步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；

步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；

步骤3.2.3、将肌电信号活动段中肌电信号的绝对值取均值，作为肌电信号的特征。

进一步地，步骤4所述基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配，具体如下：

步骤4.1、将获得的视频信号的特征送入hmm分类器，得到初级视频信号分类结果c1以及对应的置信度conf1；

步骤4.2、将获得的肌电信号的特征送入nn分类器，得到初级肌电信号分类结果c2以及对应的置信度conf2。

进一步地，步骤5所述融合两组信号的匹配结果，得到手势识别结果，具体如下：

(1)若步骤4.1的视频信号识别结果不属于手势集合set，则对步骤4.2的肌电信号识别结果进行判断：

若肌电信号特征的初级分类结果属于set1且置信度conf2大于0.8，则选择肌电信号特征为手势识别最终结果class；否则放弃该组手势数据，不做任何响应操作；

(2)若步骤4.1的视频信号识别结果属于手势集合set，但步骤4.2的肌电信号识别结果不属于手势集合set，或c1与c2不一致，则对步骤4.1的视频信号识别结果进行判断：

若视频信号特征的初级分类结果的置信度conf1大于0.8，则选择视频信号特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；

(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合set且c1与c2一致，则定义以下规则：

若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手势集合set且c1与c2一致，且视频信号特征的初级分类结果的置信度conf1大于0.6，则c1作为手势识别最终结果；

若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合set，但conf1不大于0.6，则放弃该组手势数据，不做任何响应操作；

根据上述(1)～(3)得到的结果进行对应响应操作。

本发明与现有技术相比，其显著优点在于：(1)引入了肌电信号处理以及多传感器结合技术，加入了基于肌电信号的手势识别，使用肌电信号辅助可穿戴智能眼镜hololens，扩展了可穿戴智能眼镜hololens的手势识别功能；(2)在hololens原有手势识别功能的基础上，扩展了手势识别的种类，实现了高精度、高灵活性的手势识别。

附图说明

图1是本发明hololens手势识别的扩展方法的流程示意图。

图2是本发明中信号处理的流程示意图。

具体实施方式

一种hololens手势识别的扩展方法，该方法包括以下步骤：

步骤1、预定义手势集合，包括hololens内置手势集合和需要增加的手势集合；

步骤2、分别采集各手势对应的视频信号和肌电信号；

步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；

步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；

步骤5、融合两组信号的匹配结果，得到手势识别结果。

进一步地，步骤1所述的预定义手势集合，具体如下：

定义手势集合set，包括hololens内置手势集合set2和需要增加的手势集合set1；需要增加的手势集合set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌。

进一步地，步骤2所述的分别采集各手势对应的视频信号和肌电信号，具体如下：

步骤2.1、实验者做出手势集合set中的手势动作；

步骤2.2、通过hololens采集各手势对应的视频信号；

步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号。

进一步地，步骤3所述的对采集到的视频信号和肌电信号分别进行信号处理，具体如下：

步骤3.1、对采集到的视频信号进行手势分割、特征提取，获得手势运动轨迹，作为视频信号的特征；

步骤3.2、对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征。

进一步地，步骤3.1所述的对采集到的视频信号进行手势分割、特征提取，具体如下：

步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；

步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心位置；

步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征。

进一步地，步骤3.2所述的对采集到的肌电信号进行手势分割、特征提取，具体如下：

步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；

步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；

步骤3.2.3、将肌电信号活动段中肌电信号的绝对值取均值，作为肌电信号的特征。

进一步地，步骤4所述基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配，具体如下：

步骤4.1、将获得的视频信号的特征送入hmm分类器，得到初级视频信号分类结果c1以及对应的置信度conf1；

步骤4.2、将获得的肌电信号的特征送入nn分类器，得到初级肌电信号分类结果c2以及对应的置信度conf2。

进一步地，步骤5所述融合两组信号的匹配结果，得到手势识别结果，具体如下：

(1)若步骤4.1的视频信号识别结果不属于手势集合set，则对步骤4.2的肌电信号识别结果进行判断：

若肌电信号特征的初级分类结果属于set1且置信度conf2大于0.8，则选择肌电信号特征为手势识别最终结果class；否则放弃该组手势数据，不做任何响应操作；

(2)若步骤4.1的视频信号识别结果属于手势集合set，但步骤4.2的肌电信号识别结果不属于手势集合set，或c1与c2不一致，则对步骤4.1的视频信号识别结果进行判断：

若视频信号特征的初级分类结果的置信度conf1大于0.8，则选择视频信号特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；

(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合set且c1与c2一致，则定义以下规则：

若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手势集合set且c1与c2一致，且视频信号特征的初级分类结果的置信度conf1大于0.6，则c1作为手势识别最终结果；

若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合set，但conf1不大于0.6，则放弃该组手势数据，不做任何响应操作；

根据上述(1)～(3)得到的结果进行对应响应操作。

下面结合附图及具体实施例对本发明作进一步详细说明。

实施例

结合图1，本发明一种hololens手势识别的扩展方法，所述hololens为一款可进行手势交互的智能眼镜，该方法包括以下步骤：

步骤1、预定义手势集合，包括hololens内置手势集合和需要增加的手势集合；具体如下：

定义手势集合set，包括hololens内置手势集合set2和需要增加的手势集合set1；需要增加的手势集合set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌。

步骤2、结合图2，分别采集各手势对应的视频信号和肌电信号，具体如下：

步骤2.1、实验者做出手势集合set中的手势动作；

步骤2.2、通过hololens采集各手势对应的视频信号；

步骤2.3、通过肌电信号采集装置采集各手势对应的肌电信号。

步骤3、对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征，具体如下：

步骤3.1、对步骤2.2采集到视频信号进行手势分割、特征提取：

步骤3.1.1、对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；

步骤3.1.2、根据分割得到的手势区域序列，获得初始的手部区域中心位置；

步骤3.1.3、采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征；

步骤3.2、对步骤2.3采集到肌电信号进行手势分割、特征提取：

步骤3.2.1、通过肌电信号强度，检测手势动作的起始点和终止点；

步骤3.2.2、根据手势动作的起始点和终止点，分割肌电信号活动段；

步骤3.2.3、将肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征。

步骤4、基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配，具体如下：

步骤4.1、将步骤3.1.3获得的视频信号的特征送入hmm分类器，得到初级视频信号分类结果c1以及对应的置信度conf1；

步骤4.2、将步骤3.2.3获得的肌电信号的特征送入nn分类器，得到初级肌电信号分类结果c2以及对应的置信度conf2。

步骤5、融合两组信号的匹配结果，得到手势识别结果，具体如下：

(1)若步骤4.1的视频信号识别结果不属于手势集合set，则对步骤4.2的肌电信号识别结果进行判断：

若肌电信号特征的初级分类结果属于set1且置信度conf2大于0.8，则选择肌电信号特征为手势识别最终结果class；否则放弃该组手势数据，不做任何响应操作；

(2)若步骤4.1的视频信号识别结果属于手势集合set，但步骤4.2的肌电信号识别结果不属于手势集合set，或c1与c2不一致，则对步骤4.1的视频信号识别结果进行判断：

若视频信号特征的初级分类结果的置信度conf1大于0.8，则选择视频信号特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；

(3)若该步骤4.1和步骤4.2的识别结果都属于手势集合set且c1与c2一致，则定义以下规则：

若视频信号特征的初级分类结果与肌电信号特征的初级分类结果均属于手势集合set且c1与c2一致，且视频信号特征的初级分类结果的置信度comf1大于0.6，则c1作为手势识别最终结果；

若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合set，但comf1不大于0.6，则放弃该组手势数据，不做任何响应操作；

根据上述(1)～(3)得到的结果进行对应响应操作。

综上所述，本发明一种hololens手势识别的扩展方法，针对hololens目前只可以识别手掌张开和手指点击两种手势、交互受限等问题，在hololens原有手势识别功能的基础上，扩展了手势识别种类；本发明引入了肌电信号处理以及多传感器结合技术，加入了基于肌电信号的手势识别，使用肌电信号辅助可穿戴智能眼镜hololens扩展其手势识别功能，同时实现高精度高灵活性的手势识别。