动作识别系统及方法与流程

本发明实施例涉及操作输入设备，尤其涉及一种动作识别系统及方法。

背景技术：

诸如游戏手柄之类的操作手柄是一种常见的用户输入部分，可用于如电子游戏机、VR设备等中。通常的方式是通过操纵其按钮等实现对电脑、数字电视等电子设备上模拟角色等的控制，以达到操作这些虚拟对象的目的。但是，随着游戏类型和虚拟现实场景的不断丰富和体验性的不断增加，对此类操作手柄的要求也越来越多。

在实现本发明过程中，发明人发现在目前游戏手柄中，基本没有针对抓取、捏等动作的处理，即使有也是比较生硬的按键实现。从用户主观感受上来说不够理想，也不太切近实际使用效果，人机交互体验不理想。

技术实现要素：

鉴于现有技术的上述问题，本发明的目的是提供一种动作识别系统及方法，以解决现有技术中用户游戏主观感受不理想，提高人机交互体验感。

本发明实施例提供一种动作识别系统，包括多个压力传感器、与多个压力传感器相匹配的多个信号处理单元、和微处理器；

多个压力传感器、多个信号处理单元和微处理器均设置于手柄内部，且多个压力传感器覆盖手柄的手部握持部对应位置；

多个压力传感器，对手柄的手部握持部进行压力检测，并将检测到的压力信号转换为电信号分别传递给对应的信号处理单元；

每个信号处理单元，对输入的电信号进行放大、去干扰等处理，并传递给微处理器；

微处理器，根据所述多个信号处理单元传输的数据得到相应的压力值集合，并根据所述压力值集合与手部动作的对应关系，输出相应的操作指令。

由于将多个压力传感器设置于操作手柄内部，且分布于手柄外部的手部握持部，即在手柄外部手掌区域、大拇指区域、食指区域、中指区域、无名指区域和小拇指区域对应于手柄内部的位置均配置压力传感器，以感知用户在操作中手掌、大拇指、食指、中指、无名指和小拇指的用力变化，并可实现对用户手部抓握力的测量。

压力传感器可连接在电桥中，借助电桥将检测到的压力信号转换为电信号，然后通过电桥连接将电信号传输给信号处理单元。信号处理单元对输入的电信号进行放大、去干扰等处理后输出给微处理器，微处理器对经放大、去干扰处理后的电信号进行模数转换，将模拟信号转换为数字信号。模数转换可通过微处理器内部的模数转换器(即ADC：Analog-to-Digital Converter)实现，然后通过微处理器预先编入的换算函数将转换后的数字信号换算成不同的压力值，得到相应的压力值集合。微处理器预先存储了压力值集合与手部动作的对应关系，微处理器根据压力值集合与手部动作的对应关系将操作指令发送给游戏主机，游戏主机根据操作指令做出游戏动作响应。

本发明实施例将压力传感器应用在操作手柄上，以实现对用户手部抓握力的测量，从而将抓握力的改变通过相关电路、信号处理单元、微处理器反馈给例如游戏主机来实现抓取、抚摸甚至更细微的不同动作、不同力度操作的场景交互，用户通过不同手指用力而配合虚拟场景进行更加真实的体验。

在一些实施方式中，微处理器可以通过蓝牙低能耗方式进行信号传输。由于游戏主机等主机设备大多具有蓝牙功能，微处理器和游戏主机线之间通过蓝牙低能耗技术连接，适用性更好，功耗低，而且可互操作的鲁棒性好，蓝牙低能耗技术的工作模式非常适合用于本发明实施例中微处理器向游戏主机传输数据。

在一些实施方式中，压力传感器采用薄膜压力传感器或应变压力传感器。由于薄膜压力传感器具有精度高，性能稳定，温漂小的优点，而应变压力传感器具有分辨力高，能测出极微小的应变的优点,薄膜压力传感器和应变压力传感器均能测出游戏手柄的手部握持部微小的压力变化，能够灵敏的感知手部用力大小的变化。

在一些实施方式中，游戏手柄的手部握持部位置还可设有盲操标识。这些标识可以设置在游戏手柄外部对应于多个压力传感器的位置。由此，有利于用户在不用眼睛看的情况下，运用肌肉的记忆性和惯性，也能够轻松的将手部定位在多个压力传感器相应的位置上，可以利用手部触觉来校正手部的位置，能够帮助手部快速准确定位。

另一方面，本发明实施例还提供一种动作识别方法，该方法可实施于上述手部动作识别系统中。该方法包括以下步骤：

预设压力值集合与手部动作的对应关系；

通过手柄内置的多个压力传感器对游戏手柄的握持部进行压力检测得到握持部的压力值集合；

根据所述对应关系确定压力值集合所对应的手部动作及力度。根据上述方法，在手柄内部对应手部握持部位设置压力传感器，由此得到手部握持部相应的压力值集合。根据预设的压力值集合与手部动作的对应关系确定压力值集合所对应的手部动作及用力的变化。由此，通过压力传感器来感知手部用力的变化，完成对手部不同动作的识别。压力传感器完全不同于图像拍摄，不受清晰度、光照、拍摄角度的限制，不需要设计复杂的算法，测量精度高，实时性强。

根据本发明实施例提供的基于压力传感器的手部动作识别系统及方法，在手柄内部与手掌及五指所对应的位置设置压力传感器，通过压力传感器感知手部用力的改变，压力传感器的阻值随着力度的大小而改变，将阻值的变化与不同的动作做匹配，从而完成对手部不同动作的识别，改变了现有手柄中只能通过按键实现抓取、捏、抚摸等动作，增强了用户人机交互体验感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的动作识别系统的结构示意图；

图2为本发明实施例的具有压力传感器的手柄外部正面示意图；

图3为本发明实施例的具有压力传感器的手柄外部背面示意图；

图4本发明实施例提供的一种手柄设备400的结构示意图；

图5为本发明一实施例的动作识别方法的步骤流程图；

图6为本发明另一实施例的一种动作识别方法的步骤流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例的一种动作识别系统的结构示意图。如图所示，该动作识别系统包括：设置于手柄内部的多个压力传感器11、与多个压力传感器11相匹配的多个信号处理单元12、微处理器13，其中多个压力传感器11分布于手柄的手部握持部对应位置，用于将检测到的压力转换为电信号分别传递给信号处理单元12。微处理器13根据多个信号处理单元12传输的数据得到相应的压力值集合，并根据压力值集合与手部动作的对应关系，输出相应的操作指令。

本发明实施例中，多个压力传感器11分布于手柄的手部握持部与手掌的多个部分对应的位置，如与手柄的握持者的手掌区域、大拇指区域、食指区域、中指区域、无名指区域和小拇指区域相应的位置。也可以根据具体的设置需要和手柄的特殊设计调整压力传感器11在手柄上的分布，例如只设置在手掌区域，或只设置在手指区域等。通过设置的这些压力传感器11感知用户对手柄进行操作时手的各部位的用力变化，实现对用户手部动作的感知和测量。

本发明实施例中，多个压力传感器11可以采用常规的市售压力传感器，其设置在手柄的手部握持部的各施力点处以进行相应的压力检测，以检测到对应的压力信号。压力传感器11可以连接在常规的电桥中，进而借助电桥将检测到的压力信号转换为电信号，并将电信号传输给信号处理单元12。该电桥的连接方式和信号转换是常规的，在此不再赘述。

本发明实施例中，每个信号处理单元12可以对输入的电信号进行常规的放大、去干扰等常规处理，并将处理后的电信号传递给微处理器13。微处理器13采用常规的处理器例如MCU(微控制单元，Microcontroller Unit)即可，其内置的模数转换器可进行模数转换，将模拟信号转换为数字信号，也即可以将接收到的电信号转换为对应的数字信号。

本发明实施例中，可以通过微处理器13中预先编入的常规的换算函数(如正比例函数)对经过转换的数字信号进行换算，进而得到与各压力传感器检测到的压力信号所对应的不同的压力值，并根据上述压力值得到压力值集合。

本发明实施例中，可以在上述微处理器13中预先存储压力值集合与手部动作的对应关系，以在接收到信号处理单元传输的数据后，根据上述压力值集合与手部动作的对应关系，输出相应的操作指令。例如，一个数组{A，B，C，D，E，F}分别代表拇指、食指、中指、无名指、小拇指、手掌上测得的压力的大小。针对这个数组，可以建立一套算法集成在MCU端。通过该算法可以分析各手指和手掌的力度来生成不同的操作。例如，若当前压力传感器11只检测到食指有5N的力，其他手指没有力，就可以定义成扣动枪扳机的动作，并可以输出该扣动枪扳机的动作的指令；若当前压力传感器11检测到拇指和食指均有5N的力，其他手指均没有压力，则此时可以定义为捏的动作，并可以输出该捏的动作的指令等等。

本发明实施例中，多个压力传感器11可以设置于手柄内部，且对应手柄外部的手部握持部，即在手柄外部手掌区域、大拇指区域、食指区域、中指区域、无名指区域和小拇指区域对应于手柄内部的位置均配置压力传感器11，感知用户在对手柄进行操作时手掌、大拇指、食指、中指、无名指和小拇指的用力变化，实现对用户手部抓握力的检测。检测出的电信号经信号处理单元12和微处理器13处理后，将压力值集合与不同的动作进行匹配，从而完成手部不同动作的识别并做出相应的动作响应。由此，本发明实施例将压力传感器11应用在手柄上，以实现对用户手部抓握力的检测，从而将抓握力的改变通过相关电路、信号处理单元12、微处理器13进行处理，以实现抓取、抚摸等不同动作、不同力度操作的场景交互。例如在游戏的场景中，用户可以通过不同手指的用力而配合游戏场景进行更加真实的体验。

本发明实施例中，在手柄内部手掌及五指所对应的位置加设压力传感器11，手柄其他的按键功能仍然保留。可以在现有的手柄上进行二次开发，将手柄和手部握持部根据人体工学设计成不同形态。

综上，本发明实施例提供的一种动作识别系统在手柄内部与手掌及五指所对应的位置设置压力传感器，并通过压力传感器感知手部用力的改变。压力传感器的阻值随着力度的大小而改变。也即在手部力度不同时，压力传感器检测到力度即不同。将不同的力度与不同的动作做匹配，从而完成对手部不同动作的识别，改变了现有手柄中只能通过按键实现抓取、捏、抚摸等动作，增强了用户人机交互体验感。

在图1所示的本发明实施例的动作识别系统中，还可以在手柄的手部握持部位置设有盲操标识。

下面参照图2和图3所示，以圆柱体的手部握持部101为例说明本发明的实施例。设计时压力传感器21位置覆盖五个手指以及手掌位置，并在对应位置设置可以盲操的盲操标识1011

本发明实施例中，盲操标识1011可以是在手柄1外壳对应多个压力传感器11的手部握持部101设置的一些起标识作用的横杆或者凸点等标识。凡是可以起到标识作用的形状均可，因此盲操标识1011可以设计成各式各样的形状。

本发明实施例中，由于手柄外部对应于多个压力传感器11的位置设有盲操标识1011，即手柄的手部握持部101位置设有盲操标识1011，有利于用户在不用眼睛看的情况下，运用触感以及肌肉的记忆性和惯性，也能够轻松的将手部定位在多个压力传感器11相应的位置上，利用手部触觉来校正手部的位置，能够帮助手部快速准确定位。

在本发明的一种可选实施例中，上述压力传感器11可以采用薄膜压力传感器或应变压力传感器。

由于本发明的实施例目的之一是要改善和丰富手柄的功能，因此特别考虑压力传感器的一些特点来选择其类型。例如可以选择精度高、性能稳定、温漂小(手握的温度会不断变化)的薄膜压力传感器，或选择分辨力高，能测出极微小应变的应变压力传感器。

在本发明的一种可选实施例中，上述微处理器13可以以蓝牙低能耗方式输出所述操作指令。

在本发明的一种可选实施例中，所述压力传感器11检测的信号可以通过电桥电路传递给信号处理单元12。

图4示出了本发明实施例的一种手柄设备400的结构示意图，本申请具体实施例并不对用户设备400的具体实现做限定。如图4所示，该用户设备400可以包括处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430、以及通信总线440。

处理器410、通信接口420、以及存储器430通过通信总线440完成相互间的通信。处理器410可以执行程序432以执行上述实施例中的相关处理步骤(如将各传感器检测到的压力与存储器430中所存储的动作类型相匹配以及根据匹配输出信号控制信号，下文将进一步说明)。具体地，程序432可以包括程序代码，所述程序代码包括计算机操作指令。处理器410可以是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。

参照图5，示出了本发明一实施例的种动作识别方法的步骤流程图。该方法具体可以包括如下步骤。

步骤501、预设手柄握持部压力值集合与手部动作的对应关系。

本发明实施例可以应用于各类手柄中，例如：游戏手柄，VR(虚拟现实，Virtual Reality)操作手柄等等，用于对用户的手部动作进行识别，本发明实施例一游戏机的游戏手柄为例加以说明，其它手柄可以类似参照。

本发明实施例中，手柄握持部压力值集合与手部动作的对应关系即不同的压力值对应不同的手部动作。例如，一个数组{A，B，C，D，E，F}分别代表拇指、食指、中指、无名指、小拇指、手掌上测得的压力的大小。针对这个数组，可以建立一套算法集成在MCU端，通过该算法可以分析各手指和手掌的力度以生成不同的操作。例如上述示例中根据不同的手指的力度生成的所述的扣动枪扳机的动作和捏的动作(甚至捏的力度大小等)。其中，数组{A，B，C，D，E，F}中每个数据元素具体可以为一个数值范围，具体数值范围可以根据实际产品模型针对不同的人群做不同动作的采样来定义。

步骤502、通过手柄内置的多个压力传感器对手柄的握持部进行压力检测以得到握持部的压力值集合。

可以通过多个压力传感器对手柄的手部握持部进行压力检测，以获得多个压力值，并根据该多个压力值得到对应的压力值集合。

步骤503、根据所述对应关系确定压力值集合所对应的手部动作。

根据上述得到的压力值集合，及预设的压力值集合与手部动作的对应关系，进而可以确定所对应的手部动作。

可选地，上述方法还可以包括：根据所述对应关系确定压力值集合所对应的手部动作的力度。

根据本发明的上述实施例，通过压力传感器来感知手部用力的变化，将阻值变化与不同的动作做匹配，完成游戏中手部不同动作的识别。压力传感器完全不同于图像拍摄，不受清晰度、光照、拍摄角度的限制，不需要设计复杂的算法，测量精度高，实时性强。

综上，本发明实施例提供的一种动作识别方法，通过在手柄内部与手掌及五指所对应的位置设置压力传感器，并通过压力传感器感知手部用力的改变，压力传感器的阻值随着力度的大小而改变，也即在手部力度不同时，压力传感器检测到力度即不同，将不同的力度与不同的动作做匹配，从而完成对手部不同动作的识别，改变了现有手柄中只能通过按键实现抓取、捏、抚摸等动作，增强了用户人机交互体验感。

参照图6，示出了本发明一种实施例的动作识别方法的步骤流程图。如图所示，该方法包括了如下步骤。

步骤601、预设手柄握持部压力值集合与手部动作的对应关系。设置对应关系的方式可以参照上文实施例中的方式进行。

步骤602、将检测到的压力信号转换为电信号。

本发明实施例中，可以通过多个压力传感器对手柄的手部握持部进行压力检测，以获得多个压力值，并将检测到的压力信号转换为电信号。

步骤603、对多个所述电信号进行放大和去干扰处理。

在该实施例中，压力传感器可以连接在电桥电路中，电桥电路的输出端与信号处理单元相连，在压力传感器不受力时，电桥电路输出的电压值是可以根据连接在电桥电路中的各个元器件的阻值确定。当压力传感器受力以及受力大小发生改变时，压力传感器的阻值会发生变化，从而引起电桥电路输出的电压值的改变。根据电压值的改变来判断压力传感器受力的大小。检测获取的电信号可进行放大、去干扰等处理。放大、去干扰电路是非常成熟的常规电路，有很多现成的IC(即集成电路)，如AD8237等。因此该处理可参照现有技术即可，在此不做赘述。

步骤604、对处理后的多个电信号进行采集并换算成不同的压力值，得到压力值集合。

本发明实施例中，可以对上述进行放大及去干扰等处理后的多个电信号进行采集并换算成不同的压力值(例如，一个压力传感器的量程是0到100N，通过电桥以及运放后对应的最终电压是从0到100mV，那么1mV的电压对应的就是1N的力)。MCU将接收到的每个电信号换算成对应的压力值，进而得到手部握持部相应的压力值集合。

步骤605、根据所述对应关系确定压力值集合所对应的手部动作。

在本发明的一种可选实施例中，所述多个压力传感器分别可以设置于手柄的手部握持部与手掌和手指部分对应的位置。

在本发明的一种可选实施例中，所述预设对应关系包括确定拇指、食指、中指、无名指、小拇指、和手掌施加力的大小所对应的操作。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域技术人员可以理解各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案部分内容可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。