电子装置、操作控制方法及相关产品与流程

文档序号:15215510发布日期:2018-08-21 16:48阅读:221来源:国知局

本申请涉及移动终端技术领域,具体涉及一种电子装置、操作控制方法及相关产品。



背景技术:

随着移动终端(例如智能手机)的大量普及应用,移动终端能够支持的应用越来越多,功能越来越强大,智能手机向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。

目前,用户通常通过手指触控、语音输入、手势控制等形式与移动终端进行多种指令交互,移动终端可以根据该指令交互完成对用户所需的多种功能事件的执行控制。



技术实现要素:

本申请实施例提供了一种电子装置、操作控制方法及相关产品,以期实现通过脑电波和用户信息的共同作用对电子装置的控制,提高电子装置操作控制的便捷性、准确性和智能性。

第一方面,本申请实施例提供一种电子装置,包括处理器,连接所述处理器的脑电波传感器和除所述脑电波传感器之外的多个传感器,其中,

所述脑电波传感器,用于采集用户的脑电波信号;

所述多个传感器,用于获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

所述处理器,用于根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。

第二方面,本申请实施例提供一种操作控制方法,应用于电子装置,所述电子装置包括脑电波传感器,所述方法包括:

通过所述脑电波传感器采集用户的脑电波信号;

获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。

第三方面,本申请实施例提供一种操作控制装置,应用于电子装置,所述电子装置包括脑电波传感器,所述操作控制装置包括采集单元、获取单元和确定单元,其中,

所述采集单元,用于通过所述脑电波传感器采集用户的脑电波信号;

所述获取单元,用于获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

所述确定单元,用于根据所述采集单元采集的所述脑电波信号和所述获取单元获取的所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。

第四方面,本申请实施例提供一种电子装置,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第二方面任一方法中的步骤的指令。

第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。

第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的一种电子装置的结构示意图;

图1b是本申请实施例提供的一种脑电波传感器信号接收器的结构示意图;

图1c是本申请实施例提供的一种脑电波传感器芯片式信号采集器的结构示意图;

图1d是本申请实施例提供的另一种电子装置的结构示意图;

图2a是本申请实施例提供的一种操作控制方法的流程示意图;

图2b是本申请实施例提供的一种脑电图的波形示例图;

图2c是本申请实施例提供的一种肌电图的波形示例图;

图2d是本申请实施例提供的一种脑电图和肌电图形成目标振幅频谱图的流程示例图;

图3是本申请实施例提供的另一种操作控制方法的流程示意图;

图4是本申请实施例提供的另一种操作控制方法的流程示意图;

图5是本申请实施例提供的一种电子装置的结构示意图;

图6是本申请实施例提供的一种操作控制装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,ue),移动台(mobilestation,ms),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为电子装置。

下面对本申请实施例进行详细介绍。

请参阅图1a,图1a是本发明实施例提供了一种电子装置100的结构示意图,该电子装置100包括:壳体110、设置于所述壳体110上的显示器120、设置于所述壳体110内的主板130,主板130上设置有处理器140、连接所述处理器140的存储器150、脑电波传感器160和除所述脑电波传感器之外的多个传感器170等,所述处理器140连接所述显示器120,所述电子装置100还包括射频系统180,所述射频系统180包括发射器181、接收器182、信号处理器183,其中,

所述脑电波传感器160,用于采集用户的脑电波信号;

所述多个传感器170,用于获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

所述处理器140,用于根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置100。

其中,所述显示器120包括显示器驱动电路、显示屏和触控屏,所述显示器驱动电路用于控制所述显示屏根据画面的显示数据和显示参数(例如,亮度,颜色,饱和度等)进行内容显示,所述触控屏用于检测触控操作,所述显示屏为有机发光二极管显示屏oled。

其中,除所述脑电波传感器之外的多个传感器170可以是摄像头,也可以是肌电传感器等,在此不做限定。

其中,脑电波传感器160又可以称为脑电波芯片、脑电波接收器等,该脑电波传感器160集成在电子装置中,具有专用信号处理电路,并与电子装置的处理器140连接,按照采集信号类型可以分为电流式脑电波传感器160和电磁式脑电波传感器160,电流式脑电波传感器160采集脑皮层产生的生物电流,电磁式脑电波传感器160采集人脑活动时辐射的电磁波。可以理解的是,该脑电波传感器160的具体形态可以是多种多样的,例如可以是穿戴式的脑电波传感器,或者可以是芯片式的脑电波传感器等,此处不做唯一限定。

举例来说,如图1b和1c所示,该脑电波传感器160可以包括信号接收器161和芯片式信号采集器162,该信号接收器161可以收容于如图1b所示的电子装置中,使用时,如图1c所示,芯片式信号采集器162与电子装置采用无线连接方式,通过芯片式信号采集器162中的无线通信模块与电子装置通信连接。

其中,所述主板130的形状大小可以为所述电子装置100能够容纳的任意大小和形状,在此不做唯一限定。

其中,处理器140包括应用处理器和基带处理器,处理器140是电子装置100的控制中心,利用各种接口和线路连接整个电子装置的各个部分,通过运行或执行存储在存储器150内的软件程序和/或模块,以及调用存储在存储器150内的数据,执行电子装置100的各种功能和处理数据,从而对电子装置100进行整体监控。其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器中。

其中,存储器150可用于存储软件程序以及模块,处理器140通过运行存储在存储器150的软件程序以及模块,从而执行电子装置100的各种功能应用以及数据处理。存储器150可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据电子装置的使用所创建的数据等。此外,存储器150可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

具体实现中,电子装置可以控制所述脑电波传感器160在静止状态下以低功率模式工作,在运动状态下以高频率模式工作,以此降低功耗。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

在一个可能的示例中,所述多个传感器170包括肌电传感器171,所述预设类型的用户信息为所述肌电信号,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述处理器140具体用于:根据所述脑电波信号形成脑电图;以及用于根据所述肌电传感器获取的所述肌电信号形成肌电图;以及用于根据所述存储器150存储的预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令。

其中,所述肌电传感器171为能接收肌肉运动单位(由肌肉纤维细胞)的动作电位波形,并将该波形转换成可用输出信号的传感器,此外,如图1d所示,所述肌电传感器171和所述脑电波传感器160可以使用同一个信号接收器161,所述肌电传感器171的使用原理与上述脑电波传感器相似,在此不做详细阐述。

在这个可能的示例中,在所述根据所述存储器150存储的预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令方面,所述处理器140具体用于:通过频率归一化处理将所述脑电图的第一振幅组和第一频率组以及所述肌电图的第二振幅组、第二频率组形成目标振幅频谱图;以及用于确定与所述目标振幅频谱图匹配的所述存储器150存储的振幅频谱图模板对应的操作指令为所述目标操作指令,所述振幅频谱图模板是通过所述脑电图模板和所述肌电图模板形成的。

在一个可能的示例中,所述多个传感器包括图像传感器,所述预设类型的用户信息为手势信息,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述处理器140具体用于:根据所述手势信息确定用户的待执行事件;以及用于根据所述脑电波信号确定与所述待执行事件对应的所述目标操作指令。

在一个可能的示例中,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述处理器140具体用于:确定与所述脑电波信号对应的第一操作指令;确定与所述预设类型的用户信息对应的第二操作指令;当检测到所述第一操作指令与所述第二操作指令相同时,确定所述第一操作指令或所述第二操作指令为所述目标操作指令。

请参阅图2a,图2a是本申请实施例提供了一种操作控制方法的流程示意图,应用于如图1a-1d所述的电子装置,应用于电子装置,所述电子装置包括脑电波传感器,如图所示,本操作控制方法包括:

s201,电子装置通过所述脑电波传感器采集用户的脑电波信号;

其中,脑电波是一种使用电生理指标记录大脑活动的方法,记录大脑在活动器件的电波变化,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映,因此,脑电波信号是由许多神经共同放电产生的集体神经活动信号。

s202,所述电子装置获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

其中,所述预设类型的用户信息还可以包括用户的心率数据,眼球数据(例如,眼球的转动角度,眼球的聚焦区域等),其中,所述手势数据可以通过摄像头、或者3d摄像头、或者触控屏、或者触控屏的压力传感器等获取,所述肌电信号可以是眼部肌肉的肌电信号,也可以是手部肌肉的肌电信号,或者也可以是心脏周围的肌电信号等,所述肌电信号通过肌电传感器获取,在此不做唯一限定。

s203,所述电子装置根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。

其中,所述脑电波信号为用户希望电子装置执行目标操作指令时所冥想的特定单词、词汇或短语,而预设类型的用户信息为用户希望电子装置执行目标操作指令时所做出的手势动作或者某一个部位的肌电信号(例如眼球转动,手势指挥等),例如用户希望电子装置执行的目标操作指令为拍照操作时所冥想的词汇为“拍照”或“1”,所做出的手势为五指张开或用户拍照时的习惯性动作;又例如用户希望电子装置执行的目标操作指令为播放音乐时所冥想的特定词汇为“音乐”或“music”或“2”,所做出的手势为有规律的敲打显示屏等,针对不同的目标操作指令,对于不同的用户,冥想的单词、词汇或短语之间是千差万别,执行的动作或者肌电信号也是千差万别,因此,电子装置接收到的脑电波信号和预设类型的用户信息也不同。

其中,目标操作指令、脑电波信号和预设类型的用户信息这三者之间可以是两两关联的,也可以是这三者之间为一个映射关系,在此不做唯一限定,这三者之间的关系可以通过用户首次使用电子装置时通过与电子装置的交互进行数据训练建立在电子装置中,例如,手机出现“解锁”二字时,用户通过冥想“解锁”二字,使脑电波传感器接收到用户的脑电波信号,而且肌电传感器接收到用户的心脏周围的肌电信号,进而形成脑电波信号对应的脑电图模板,用户信息形成的肌电图模板等,并在电子装置中建立这三者之间的对应关系,也可以通过用户在使用电子装置的过程中获取用户执行相应动作时的脑电波数据和预设类型的用户信息,并不通过与用户的交互,在用户不知情的情况下进行便捷建立,例如当用户在使用手机进行解锁的过程中,这时脑电波传感器和其他类型的传感器获取用户的脑电波信号和预设类型的用户信息,进而形成脑电图模板,用户信息模板,并将这三者之间的对应关系建立在电子装置中,此外,通过两种以上类型的数据(脑电波信号和其他类型的用户信息)确定一个目标操作指令,有利于提升目标操作指令确定的准确性。

其中,所述目标操作指令可以控制所述电子装置执行的操作至少包括以下任意一种:音频播放、视频播放、拍照、解锁、快充、相册展示、游戏启动、屏幕调整(包括界面调整、锁屏杂志调整、壁纸变更)、支付、工作模式调整、电话呼叫与接听、应用启动、下载、搜索等,此处不做唯一限定。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

在一个可能的示例中,所述预设类型的用户信息为肌电信号,所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,包括:

根据所述脑电波信号形成脑电图;

根据所述肌电信号形成肌电图;

根据预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令。

其中,所述脑电图包括振幅和频率,所述振幅约为50μv~200μv,所述频率约为1-30hz。

其中,所述根据所述脑电波信号形成脑电图的具体实现方式可以是通过所述电子装置采用希尔伯特-黄变换(hibert-huangtransform,hht)算法对所述脑电波信息进行识别,然后通过对所述脑电波信号进行去噪及滤波处理,以及模数a/d转换,得到目标脑电波信号,然后根据目标脑电波信号形成脑电图。

其中,所述预设类型的用户信息为肌电信号,所述电子装置通过肌电传感器获取肌电图,根据所述肌电信号形成肌电图,所述肌电图同样包括振幅和频率,不同用户相同部位的肌电信号不同,因此,可以通过肌电信号来判断是否为用户本人,提升电子装置的安全性,相同用户不同部位的肌电信号不同,所述肌电信号可以是用户手握住电子装置时,手部的肌电信号,也可以是用户眼球转动时,眼部肌肉的肌电信号,或者也可以是唇周肌肉的肌电信号,或者也可以是心脏跳动时,心脏部位周边的肌肉信号等,在此不做唯一限定。

其中,同一个脑电波模板可能对应多个肌电图模板,不同的肌电图模板对应不同的目标操作指令,将所述脑电图模板、肌电图模板与操作指令三者之间形成一个唯一的映射关系。

可见,本示例中,电子装置根据脑电图模板与肌电图模板以及操作指令之间的映射关系,通过获取的脑电波信号和肌电信号对应确定出唯一的目标操作指令,算法简单,有利于提升目标操作指令确定的便捷性,提升操作控制速度。

在这个可能的示例中,所述根据预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令,包括:

通过频率归一化处理将所述脑电图的第一振幅组和第一频率组以及所述肌电图的第二振幅组、第二频率组形成目标振幅频谱图;

确定与所述目标振幅频谱图匹配的振幅频谱图模板对应的操作指令为所述目标操作指令,所述振幅频谱图模板是通过所述脑电图模板和所述肌电图模板形成的。

其中,所述第一振幅组和所述第一频率组为一一对应关系,所述第二振幅组和所述第二频率组为一一对应关系,所述电子装置通过将肌电图和脑电图中的第一频率组和第二频率组进行归一化处理,将所述肌电图和脑电图在一幅目标振幅频谱图上进行呈现,并与振幅频谱图模板进行对比。

其中,所述振幅频谱图模板中脑电图信号与肌电信号对应的电极位置与当前获取的脑电图信号和肌电信号获取的电极位置为同一电极位置。

举例而言,当用户需要执行目标操作指令为解除屏幕锁屏时,电子装置在预设采样时间间隔内获取的脑电波信号形成的脑电图,以及将脑电图频率归一化处理后的脑电图,为如图2b所示的脑电图,电子装置获取的用户手掌握持电子装置的肌电信号形成的肌电图,以及将肌电图频率归一化处理后的肌电图,为如图2c所示的肌电图,然后,电子装置将归一化处理后的脑电图和肌电图融合为如图2d所示的振幅频谱图,并将相同频率时的振幅取最大值获得目标振幅频谱图。此外,目标振幅频谱图可以是在融合为图2d中的左侧的图例之后,在相同频率点取振幅的最小值,或者取每个频率点的振幅平均值得到目标振幅频谱图,在此不做唯一限定。

可见,本示例中,电子装置通过对比脑电图和肌电图两种数据确定目标操作指令,有利于提升操作控制的准确性,而且,通过归一化处理脑电图和肌电图的频率,对脑电图和肌电图进行融合为一幅图并与模板进行匹配,有利于提升匹配对比的便捷性。

在一个可能的示例中,所述预设类型的用户信息为手势信息,所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,包括:

根据所述手势信息确定用户的待执行事件;

根据所述脑电波信号确定与所述待执行事件对应的所述目标操作指令。

其中,所述待执行事件可以是上述所提到的音频播放、视频播放、拍照、解锁、快充、相册展示、游戏启动等事件,不同的待执行事件对应电子装置预设的用户冥想的不同的脑电图模板。

其中,所述手势信息为触发条件,所述手势信息可以为任意手势信息,例如可以是用户的习惯性手势,或者可以是用户自定义的任意手势信息,例如当前用户的手势信息为用户的习惯性手势时,对应的待执行事件为启动a应用。

其中,所述根据所述脑电波信号确定与所述待执行事件对应的所述目标操作指令的具体实现方式可以是:获取与所述待执行事件匹配的脑电图模板;将所述脑电波信号形成脑电图;当检测到所述脑电图与所述脑电图模板匹配成功时,确定与所述待执行事件对应的所述目标操作指令。

可见,本示例中,电子装置通过用户的手势信息作为触发条件确定用户的待执行事件后,进行脑电图的匹配操作,有利于避免没有触发条件时,脑电波图像不断的匹配计算带来的电量消耗,有利于降低电子装置的功率消耗。

在一个可能的示例中,所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,包括:

确定与所述脑电波信号对应的第一操作指令;

确定与所述预设类型的用户信息对应的第二操作指令;

当检测到所述第一操作指令与所述第二操作指令相同时,确定所述第一操作指令或所述第二操作指令为所述目标操作指令。

其中,所述电子装置可以包括第一操作指令集合和第二操作指令集合,所述第一操作指令集合包括多组脑电图与操作指令之间的对应关系,所述第二操作指令集合包括多组用户信息与操作指令之间的对应关系。

所述电子装置可以通过确定第一操作指令集合中与所述脑电图匹配的操作指令为第一操作指令,确定第二操作指令集合中与所述预设类型的用户信息匹配的操作指令为第二操作指令。

其中,所述预设类型的用户信息可以为用户的手势数据,第二操作指令为多个用户手势与操作指令之间的对应关系,例如电子装置通过摄像头获取不同的手势,根据手势确定用户需要执行的操作指令。

可见,本示例中,电子装置通过对应以脑电图形成的第一操作指令和以用户信息确定的第二操作指令是否相同来确定目标操作指令,从而实现双重认证来确定操作指令,进一步提升了操作控制的准确性。

与上述图2a所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种操作控制方法的流程示意图,应用于如图1a-1d所述的电子装置,应用于电子装置,所述电子装置包括脑电波传感器,如图所示,方法包括:

s301,电子装置通过所述脑电波传感器采集用户的脑电波信号。

s302,所述电子装置获取用户的肌电信号。

s303,所述电子装置根据所述脑电波信号形成脑电图。

s304,所述电子装置根据所述肌电信号形成肌电图。

s305,所述电子装置通过频率归一化处理将所述脑电图的第一振幅组和第一频率组以及所述肌电图的第二振幅组、第二频率组形成目标振幅频谱图。

s306,所述电子装置确定与所述目标振幅频谱图匹配的振幅频谱图模板对应的操作指令为所述目标操作指令。

其中,所述振幅频谱图模板是电子装置通过获取的脑电图模板和所述肌电图模板形成的。

s307,所述电子装置通过所述目标操作指令控制所述电子装置。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

此外,电子装置通过对比脑电图和肌电图两种数据确定目标操作指令,有利于提升操作控制的准确性,而且,通过归一化处理脑电图和肌电图的频率,对脑电图和肌电图进行融合为一幅图并与模板进行匹配,有利于提升匹配对比的便捷性。

与上述图2a所示的实施例一致的,请参阅图4,图4是本申请实施例提供的一种操作控制方法的流程示意图,应用于如图1a-1d所述的电子装置。如图所示,本操作控制方法包括:

s401,电子装置通过所述脑电波传感器采集用户的脑电波信号;

s402,所述电子装置获取用户的手势信息;

s403,所述电子装置根据所述手势信息确定用户的待执行事件;

s404,所述电子装置根据所述脑电波信号确定与所述待执行事件对应的所述目标操作指令。

s405,所述电子装置通过所述目标操作指令控制所述电子装置。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

此外,电子装置通过预设类型的用户信息作为触发条件确定用户的待执行事件后,进行脑电图的匹配操作,有利于避免没有触发条件时,脑电波图像不断的匹配计算带来的电量消耗,有利于降低电子装置的功率消耗。

与上述图2a、图3、图4所示的实施例一致的,请参阅图5,图5是本申请实施例提供的一种电子装置的结构示意图,如图所示,该电子装置包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令;

通过所述脑电波传感器采集用户的脑电波信号;

获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

在一个可能的示例中,所述预设类型的用户信息为肌电信号,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述程序中的指令具体用于执行以下操作:根据所述脑电波信号形成脑电图;以及用于根据所述肌电信号形成肌电图;以及用于根据预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令。

在这个可能的示例中,在所述根据预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令方面,所述程序中的指令具体用于执行以下操作:通过频率归一化处理将所述脑电图的第一振幅组和第一频率组以及所述肌电图的第二振幅组、第二频率组形成目标振幅频谱图;以及用于确定与所述目标振幅频谱图匹配的振幅频谱图模板对应的操作指令为所述目标操作指令,所述振幅频谱图模板是通过所述脑电图模板和所述肌电图模板形成的。

在一个可能的示例中,所述预设类型的用户信息为手势信息,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述程序中的指令具体用于执行以下操作:根据所述手势信息确定用户的待执行事件;以及用于根据所述脑电波信号确定与所述待执行事件对应的所述目标操作指令。

在一个可能的示例中,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述程序中的指令具体用于执行以下操作:确定与所述脑电波信号对应的第一操作指令;以及用于确定与所述预设类型的用户信息对应的第二操作指令;以及用于当检测到所述第一操作指令与所述第二操作指令相同时,确定所述第一操作指令或所述第二操作指令为所述目标操作指令。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

图6是本申请实施例中所涉及的操作控制装置600的功能单元组成框图。该操作控制装置600应用于电子装置,所述电子装置包括脑电波传感器,该操作控制装置600包括采集单元601、获取单元602和确定单元603,其中,

所述采集单元601,用于通过所述脑电波传感器采集用户的脑电波信号;

所述获取单元602,用于获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号;

所述确定单元603,用于根据所述采集单元601采集的所述脑电波信号和所述获取单元602获取的所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。

可以看出,本申请实施例中,电子装置首先通过所述脑电波传感器采集用户的脑电波信号,其次,获取预设类型的用户信息,所述预设类型的用户信息包括手势信息和肌电信号,最后,根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令,并通过所述目标操作指令控制所述电子装置。可知,电子装置通过采集用户的脑电波以及获取用户的手指信息和肌电信号,可以实现对电子装置自动化的操作控制,有利于提升控制操作电子装置的智能性,而且,由于脑电波和肌电信号为同种类型的数据,可以通过同一设备同时获取,因此,通过脑电波和肌电信号控制电子装置,有利于提升控制的便捷性,较少硬件开销,提升控制速度,此外,由于手势信息可以通过用户控制准确无误的表达,而非心率、眼神等不完全可以控制的数据,因此,手势信息可以准确表达用户的需求,有利于提升控制电子装置的准确性。

在一个可能的示例中,所述预设类型的用户信息为肌电信号,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述确定单元603具体用于:根据所述脑电波信号形成脑电图;以及用于根据所述肌电信号形成肌电图;以及用于根据预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令。

在这个可能的示例中,在所述根据预设的脑电图模板、肌电图模板与操作指令之间的映射关系确定与所述脑电图和所述肌电图对应的操作指令为所述目标操作指令方面,所述确定单元603具体用于:通过频率归一化处理将所述脑电图的第一振幅组和第一频率组以及所述肌电图的第二振幅组、第二频率组形成目标振幅频谱图;以及用于确定与所述目标振幅频谱图匹配的振幅频谱图模板对应的操作指令为所述目标操作指令,所述振幅频谱图模板是通过所述脑电图模板和所述肌电图模板形成的。

在一个可能的示例中,所述预设类型的用户信息为手势信息,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述确定单元603具体用于:根据所述手势信息确定用户的待执行事件;以及用于根据所述脑电波信号确定与所述待执行事件对应的所述目标操作指令。

在一个可能的示例中,在所述根据所述脑电波信号和所述预设类型的用户信息确定目标操作指令方面,所述确定单元603具体用于:确定与所述脑电波信号对应的第一操作指令;以及用于确定与所述预设类型的用户信息对应的第二操作指令;以及用于当检测到所述第一操作指令与所述第二操作指令相同时,确定所述第一操作指令或所述第二操作指令为所述目标操作指令。

其中,采集单元601可以是脑电波传感器,获取单元602可以是肌电传感器或者摄像头,确定单元603可以是处理器。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-onlymemory,简称:rom)、随机存取器(英文:randomaccessmemory,简称:ram)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1