驾驶情境下手势交互控制系统的制作方法

本发明涉及人机交互控制领域，尤其涉及一种驾驶情境下手势交互控制系统。

背景技术：

在行车过程中，驾驶员经常需要对音乐播放、导航、接拨电话以及接收短信等应用进行控制，开车中因直接使用手机引发的交通事故早已屡见不鲜，因此，各类面向驾驶环境的人机交互应用逐渐在市场涌现。

在现有的驾驶交互方案及系统中，存在多种以物理按键、旋钮为交互手段的交互系统，该类交互系统将显示屏、按键、旋钮等置于中控台，通过蓝牙或其他无线技术连接手机，实现音乐、导航、电话、短信等交互应用。

在现有的驾驶交互方案及系统中，存在多种以触摸屏作为交互手段的交互系统，该类交互系统用触摸屏取代显示屏和部分物理按键，相较于物理按键、旋钮可以节省中控台空间，但一定程度上增加了误操作的可能。

在现有的驾驶交互方案及系统中，存在多种以语音控制作为交互手段的交互系统，该类交互系统通过语音识别模块识别驾驶员发出的控制指令，实现特定应用的控制。

在上述驾驶交互方案及系统中，通过触摸屏及物理旋钮、按键的交互方式最为常见，此种方式需要驾驶员不时分散注意力操纵中控台。同时，通过语音技术完成交互的控制系统在越来越多的车型上得到应用，语音识别的特点是直观、无触碰，但对复杂指令的响应可能造成错误识别。

在过去的30年，基于手势识别的交互控制技术被研究人员广泛关注并成功应用于医疗、健康、游戏等领域；但是，驾驶情境下目前还没有较为完善的手势交互方案。

技术实现要素：

本发明的目的是提供一种驾驶情境下手势交互控制系统，驾驶员可以通过小幅度、非显见的手势动作准确、安全地选择并执行选定的功能，减少误操作同时无需分散驾驶精力，提高行驶安全。

本发明的目的是通过以下技术方案实现的：

一种驾驶情境下手势交互控制系统，包括：佩戴在驾驶员手中的手势腕带，以及带有显示屏的用户终端设备；其中：

所述手势腕带，用于通过内置传感器采集用户手臂的表面肌电信号和运动轨迹，并对采集到的数据依次进行预处理、特征提取及分类器识别操作，再将获得手势识别结果发送至用户终端设备；

所述用户终端设备，用于接收手势识别结果，并对其进行解析，若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作并通过显示屏反馈给用户。

所述手势腕带包括：

表面肌电信号采集单元，其利用肌电传感器采集用户手臂的表面肌电信号；

运动轨迹采集单元，其利用加速度计、陀螺仪与磁力计采集用户手臂的运动轨迹；

系统控制及处理单元，用于对采集到的数据依次进行预处理、特征提取及分类器识别操作，获得手势识别结果；

通信单元，用于将手势识别结果发送至用户终端设备。

所述用户终端设备包括：

数据接收单元，用于接收手势识别结果，并对其进行解析；

功能控制单元，用于判定解析结果是否对应预先设定的控制指令，若是，则触发相应控制操作；

显示单元，即显示屏，用于控制操作反馈给用户。

所述用户终端设备包括：智能手机或者多媒体导航仪；

预先设定的控制指令包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；或者，音乐播放器中音乐的播放、暂停、上一曲、下一曲或者停止和返回；或者，电话应用中呼叫设置的联系人、拨号、接听或者挂断；或者，短信应用中朗读短信、停止朗读和返回、上一条或者下一条；或者，导航应用中缩小地图尺寸、放大地图尺寸、设置目的地、开始导航或者取消和返回。

手势识别结果与控制指令的对应关系如下：

手势动作1：掌心向下，沿顺时针方向旋转手掌90度，其识别记为手势识别结果1；

手势动作2：握拳，其识别记为手势识别结果2；

手势动作3：伸掌并曲腕向内，其识别记为手势识别结果3；

手势动作4：伸掌并曲腕向外，其识别记为手势识别结果4；

手势动作5：握拳，拇指连续弯曲两下，其识别记为手势识别结果5；

手势动作6：伸掌，其识别记为手势识别结果6；

其中：

手势识别结果1对应的控制指令S1包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；

手势识别结果2对应的控制指令S2包括：音乐播放器中音乐的播放与暂停，电话应用中的接听与呼叫联系人，短信应用中朗读短信，以及导航应用中的开始导航；

手势识别结果3对应的控制指令S3包括：音乐播放器中的上一曲，短信应用中的上一条，以及导航应用中的缩小地图尺寸；

手势识别结果4对应的控制指令S4包括：音乐播放器中的下一曲，短信应用中的下一条，以及导航应用中的放大地图尺寸；

手势识别结果5对应的控制指令S5包括：电话应用中设置联系人，以及导航应用中的设置目的地；

手势识别结果6对应的控制指令S6包括：音乐播放器中的停止和返回，电话应用中的挂断，短信应用中的停止朗读和返回，导航应用中的取消和返回。

所述若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作包括：

在功能选择界面，共响应2条控制指令：S1用于户功能切换，S2用于确认并进入下级应用。对于控制指令S3～S6不响应；

在音乐播放器界面下，共响应4条控制指令：S3用于控制切换至上一曲，S4用于控制切换至下一曲，S2用于控制播放和暂停，S6用于控制停止和返回；对于控制指令S1与S5不响应；

在导航界面下，共响应5条控制指令：S3用于控制缩小地图尺寸，S4用于放大地图尺寸，S5用于设置目的地，S2用于开始导航，S6用于取消和返回；对于控制指令S1不响应；

在电话界面下，共响应3条控制指令：S5用于设置联系人，S2用于确认并拨号，S6用于挂断；对于控制指令S1、S3与S4不响应；

在短信界面下，共响应4条控制指令：S3用于控制切换上一条，S4用于控制切换下一条，S2用于语音播放短信内容，S6用于停止朗读和返回；对于控制指令S1与S5不响应；当有短信时，用户终端设备自动弹出短信界面，此时仅响应控制指令S2朗读短信和S6停止朗读和返回。

由上述本发明提供的技术方案可以看出，基于表面肌电和运动传感器信号的手势识别技术，通过定义多组非显见、小幅度的手势动作，并通过模式识别算法对其分类识别，最终将识别结果用作驾驶中交互应用的控制指令，在保障汽车行驶安全的前提下，完成行车过程的交互需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种驾驶情境下手势交互控制系统的示意图；

图2为本发明实施例提供的多媒体导航仪为例的驾驶环境场景示意图；

图3为本发明实施例提供的非显见动作与显见动作的区分示意图；

图4为本发明实施例提供的驾驶情境下手势交互控制系统的工作流程图；

图5为本发明实施例提供的功能选择界面示意图；

图6为本发明实施例提供的音乐播放器界面示意图；

图7为本发明实施例提供的导航界面示意图；

图8为本发明实施例提供的电话界面示意图；

图9为本发明实施例提供的短信界面示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种驾驶情境下手势交互控制系统，该系统基于表面肌电和运动传感器信号的手势识别技术实现。在保障汽车行驶安全的前提下，定义多组非显见、小幅度的手势动作，通过模式识别算法对其分类识别，并将识别结果用作驾驶中交互应用的控制指令，完成行车过程的交互需求。

本发明实施例为了实现上述方案，定义了一组非显见手势动作集，用作行车过程中交互应用的控制指令。同时，还对上述手势动作集进行归类，手势动作与控制指令为一对多关系，每个手势动作在不同应用中可重复定义功能，实现以较少的手势动作控制音乐、导航、电话、短信等多种应用，有助于算法优化和用户体验提高。

本发明实施例中，手势交互命令动作选择的原则有：1)幅度小、非显见，不影响安全驾驶；2)易于区分，有助于提高算法识别结果准确性；3)易于理解，有助于提高用户体验；4)手势动作集具有一定裕量，用户可根据自身习惯选择部分用作交互手势。此外，本发明的方案仅响应手势动作集内的手势，对于非手势动作集以外的动作，予以拒判。

为了便于说明，下面针对该驾驶情境下手势交互控制系统做详细的说明。

如图1所示为本发明实施例提供的一种驾驶情境下手势交互控制系统的示意图；其主要包括：佩戴在驾驶员手中的手势腕带，以及带有显示屏的用户终端设备；其中：

所述手势腕带，用于通过内置传感器采集用户手臂的表面肌电信号和运动轨迹，并对采集到的数据依次进行预处理、特征提取及分类器识别操作，再将所得手势识别结果发送至用户终端设备；

所述用户终端设备，用于接收手势识别结果，并对其进行解析，若解析结果对应预先设定的控制指令，且相应的控制指令能够应用于当前显示的界面，则触发相应控制操作并通过显示屏反馈给用户。

其中，所述手势腕带可以包括：

表面肌电信号采集单元，其利用肌电传感器采集用户手臂的表面肌电信号；

运动轨迹采集单元，其利用加速度计、陀螺仪与磁力计采集用户手臂的运动轨迹；

系统控制及处理单元，用于对采集到的数据依次进行预处理、特征提取及分类器识别操作，获得手势识别结果；

通信单元，用于将手势识别结果发送至用户终端设备。

本领域技术人员可以理解，预处理、特征提取及分类器识别操作都可以通过常规技术来实现。当然，在进行上述操作之前还涉及ADC或通过串行通信协议读取各类传感器数值的操作，这部分的操作也可以通过常规技术来实现。

用户终端设备可以包括：

数据接收单元，用于接收手势识别结果，并对其进行解析；

功能控制单元，用于判定解析结果是否对应预先设定的控制指令，若是，则触发相应控制操作；

显示单元，即显示屏，用于控制操作反馈给用户。

所述用户终端包括但不限于：智能手机或者多媒体导航仪。

以多媒体导航仪为例的驾驶环境场景示意图如图2所示。

本领域技术人员可以理解，手势腕带与用户终端设备需要预先连接，连接方式可以为蓝牙连接，或者其他点对点连接方式。

保证行车中驾驶员安全是本发明实施方案的重要原则，故本发明中设计有非显见动作作为驾驶员的交互手势，以此避免驾驶员分散注意力。

关于非显见动作与显见动作的区分请参见图3。如图3所示，关于非显见动作和显见动作各举出4个动作范例。非显见动作，定义为小幅度、不易被察觉的动作，可在小范围空间内迅速完成，不影响驾驶员安全驾驶，例如图3中的握拳、伸掌、握拳并同时拇指弯曲两下、伸掌并摆动两下这类动作，驾驶员在行驶的过程中，只需右手稍微离开方向盘便可快速完成该类动作。显见动作，定义与非显见动作区分，指动作幅度较大，需在大范围内伸缩手臂方能完成的动作。显见动作为驾驶员操纵汽车带来不便，应尽量回避。例如图3中的手臂平举向左、向右挥出，手臂平举向后，手指平举向前等动作，不同于上述非显见动作，该类动作需要较大空间，较长时间方可完成。故本发明涉及的交互手势均选择非显见动作。

本发明实施例中，可以通过手势来完成用户终端设备中多种应用的控制操作，包括但不限于：音乐播放器、电话、短信以及导航等汽车交互应用。

举例来说，需通过手势腕带控制音乐播放器，接打电话，接听短信以及实现目的地导航等应用，为了配合手势需要预定设定相应的控制指令，例如：预先设定的控制指令包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；或者，音乐播放器中音乐的播放、暂停、上一曲、下一曲或者停止和返回；或者，电话应用中呼叫设置的联系人、拨号、接听或者挂断；或者，短信应用中朗读短信、停止朗读和返回、上一条或者下一条；或者，导航应用中缩小地图尺寸、放大地图尺寸、设置目的地、开始导航或者取消和返回；手势动作与控制指令的对应关系将在后文进行详细说明。经统计，所有应用涉及到的控制指令不低于30种。

一方面，较多的控制指令的识别会增加算法复杂度；另一方面，较多的控制指令不易被用户牢记，用户体验较差。但是，在某一时刻仅需完成其中一种交互应用，例如，在控制音乐播放器时，涉及到的控制指令仅为播放、暂停等数条。因此，本汽车交互方案包括交互指令归类步骤，选取少量手势动作在不同功能中分别对应相应控制指令，实现全部的交互功能。

因此，在设计手势动作用作交互指令时，既要保证易被计算机算法区分，又要满足易被用户接受掌握，同时要满足非显见动作定义要求。

本发明实施例中，手势动作集可以包括如表1所示的六种手势动作，分别如下：

手势动作1：掌心向下，沿顺时针方向旋转手掌90度，其识别记为手势识别结果1；

手势动作2：握拳，其识别记为手势识别结果2；

手势动作3：伸掌并曲腕向内，其识别记为手势识别结果3；

手势动作4：伸掌并曲腕向外，其识别记为手势识别结果4；

手势动作5：握拳，拇指连续弯曲两下，其识别记为手势识别结果5；

手势动作6：伸掌，其识别记为手势识别结果6。

表1六种手势动作

手势动作与手势动作识别结果可以作为相同概念来理解，二者的区别在于手势动作是预先设定的，而手势动作识别结果则是对表面肌电信号和运动轨迹的识别结果；则后文介绍的手势识别结果与控制指令的关系，实际上也反映了手势动作与控制指令的关系；分别如下：

手势识别结果1对应的控制指令S1包括：音乐播放器、电话应用、短信应用与导航应用中的功能切换；

手势识别结果2对应的控制指令S2包括：音乐播放器中音乐的播放与暂停，电话应用中的接听与呼叫联系人，短信应用中朗读短信，以及导航应用中的开始导航；

手势识别结果3对应的控制指令S3包括：音乐播放器中的上一曲，短信应用中的上一条，以及导航应用中的缩小地图尺寸；

手势识别结果4对应的控制指令S4包括：音乐播放器中的下一曲，短信应用中的下一条，以及导航应用中的放大地图尺寸；

手势识别结果5对应的控制指令S5包括：电话应用中设置联系人，以及导航应用中的设置目的地；

手势识别结果6对应的控制指令S6包括：音乐播放器中的停止和返回，电话应用中的挂断，短信应用中的停止朗读和返回，导航应用中的取消和返回。

上述驾驶情境下手势交互控制系统的工作流程如图4所示。首先，用户佩戴腕带至合适位置，并启动且用户终端装置进行配对连接；之后在用户终端设备中选择进入驾驶模式，并开始行车过程；行车中，腕带装置始终控制采集表面肌电传感器和运动传感器的实时数据，并监听是否有动作产生；当分类器识别出正确手势动作，则继续执行后续步骤；当分类器未识别出正确动作时，予以拒判并返回继续监听传感器数据；识别出当前手势后，控制通信单元发送指令号，返回并继续监听传感器数据。对于终端交互设备，当接收到控制指令后，响应相应动作，完成交互。

在前文中已经提到了，用户终端设备仅响应手势动作集内的手势，对于手势动作集以外的动作，予以拒判；不仅如此，用户终端设备在解析手势识别结果后还需要根据当前界面的应用来判定是否执行相应的控制命令；下面将结合音乐播放器、电话、短信以及导航等汽车交互应用来详细介绍交互过程。

当然，在进入上述应用之前，用户终端设备的当前界面为如图5所示的功能选择界面；此时，共响应2条控制指令：S1用于户功能切换，S2用于确认并进入下级应用；通过控制指令S1控制选中框在上述应用中进行切换；图6中左上应用为电话，右上应用为短信，左下应用为音乐播放器，右下应用为导航。每执行一次S1，选中框顺时针移动一格；当选中框移动至目标应用时，执行S2进入目标应用。在当前界面下，用户终端设备不响应控制指令S3，S4，S5，S6。

在如图6所示的音乐播放器界面下，共响应4条控制指令：S3用于控制切换至上一曲，S4用于控制切换至下一曲，S2用于控制播放和暂停，S6用于控制停止和返回。操作过程如下：当进入音乐播放器时，执行一次S2播放音乐，再执行一次S2音乐暂停，同时可以通过S3/S4切换上一曲/下一曲，执行一次S6时，当前音乐停止，播放记录回到0分0秒，继续执行一次S6时，退出音乐播放器，返回功能切换界面。而音乐播放器界面下对于控制指令S1与S5不响应。

在如图7所示的导航界面下，共响应5条控制指令：S3用于控制缩小地图尺寸，S4用于放大地图尺寸，S5用于设置目的地，S2用于开始导航，S6用于取消和返回。操作过程如下：当进入导航应用时，执行S5启动语音识别模块，用户终端设备内置语音模块识别用户设置的目的地并通过声音反馈，当识别无误时，执行S2确认并开始导航，同时可通过S3/S4对地图进行缩放；当识别有误时，执行S6清除本次语音识别结果；在导航过程中，执行一次S6回到导航准备阶段，继续执行一次S6时，退出导航界面，返回功能切换界面。而导航界面下对于控制指令S1不响应。

在如图8所示的电话界面下，共响应3条控制指令：S5用于设置联系人，S2用于确认并拨号，S6用于挂断。操作过程如下：当电话界面时，执行S5启动语音识别模块，用户终端设备内置语音模块识别用户设置的联系人并通过声音反馈，当识别无误时，执行S2确认并拨号，当识别有误时，执行S6清除本次语音识别结果；在通话过程中，执行一次S6回到电话准备阶段，继续执行一次S6，退出电话界面，返回功能切换界面。而电话界面下对于控制指令S1、S3与S4不响应；

在如图9所示的短信界面下，共响应4条控制指令：S3用于控制切换上一条，S4用于控制切换下一条，S2用于语音播放短信内容，S6用于停止朗读和返回。操作过程如下：当进入短信应用时，执行S3/S4切换上一条/下一条，执行S2确认并通过用户终端内置语音模块发出声音，播放短信内容。在播放短信过程中，执行一次S6回到短信准备阶段，继续执行一次S6，退出短信界面，返回功能切换界面。而短信界面下对于控制指令S1与S5不响应。此外，当有短信时，用户终端设备自动弹出短信界面，此时仅响应控制指令S2朗读短信和S6停止朗读和返回。

需要强调的是，图6～图9仅用于介绍上述交互过程，以便于理解；图中的文字并不对方案本身构成限制，同时，这些附图中某些文字被遮挡或者不清晰都不会对本专利的方案产生影响。

本发明实施例的上述方案，基于表面肌电和运动传感器信号的手势识别技术。在保障汽车行驶安全的前提下，定义多组非显见、小幅度的手势动作，通过模式识别算法对其分类识别，并将识别结果用作驾驶中交互应用的控制指令，完成行车过程的交互需求。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。