生活辅助系统及生活辅助方法与流程

本申请涉及物联网技术领域，特别涉及一种生活辅助系统及生活辅助方法。

背景技术：

随着社会老龄化的进一步加剧，老年人口日益增多，其中的失能、半失能老人占有很大比例。该社会群体人数较多，且丧失行动能力，急需相关的辅助设备来改善他们的生活。

随着科技进步，例如脑机接口技术、机器人技术、多模态感知技术的成熟，通过技术辅助行动不便人士的生活成为一种可能。然而，目前市面上的一些养老辅助设备和系统，结构较为简单，功能较为单一，不能满足相应需求。

技术实现要素：

有鉴于此，本申请提供了一种生活辅助系统及生活辅助方法，用于帮助行动不便人士，以提高他们的生活质量。

第一方面，本申请实施例提供了一种生活辅助系统，包括：增强现实模块、脑机接口模块、智能物联平台以及多个被控对象；增强现实模块、脑机接口模块和多个被控对象分别与所述智能物联平台信号连接；其中，

所述增强现实模块内部存储有每个所述被控对象的控制模型，所述增强现实模块用于在用户眼前显示多级菜单；该多级菜单包括控制模型选择菜单以及每个控制模型对应的命令菜单，每个命令菜单由多个控制指令组成；

所述脑机接口模块，用于在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至所述智能物联平台；

所述智能物联平台，用于接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助系统中，所述脑机接口模块，包括：依次信号连接的采集单元、处理单元和分析单元；其中，

所述采集单元，用于在用户注视所述多级菜单时，采集用户的生物电信号，并发送至处理单元；

所述处理单元，用于对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号并发送至分析单元；

所述分析单元，用于采用脑机接口范式和预设算法对处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助系统中，所述生物电信号包括脑电信号eeg和肌电信号emg；所述脑机接口范式为稳态视觉诱发电位ssvep，所述预设算法为典型相关分析cca。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助系统中，所述被控对象为智能家居模块、机械臂模块或轮椅模块。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助系统中，所述系统还包括：红外信号发送模块；其中，

所述红外信号发送模块与所述智能物联平台信号连接，用于发送控制指令至采用红外遥控方式的被控对象。

第二方面，本申请实施例提供了一种生活辅助方法，所述方法基于上述任一项所述的系统，所述方法包括：

增强现实模块在用户眼前显示多级菜单；所述增强现实模块内部存储有每个被控对象的控制模型，该多级菜单包括控制模型选择菜单以及每个控制模型对应的命令菜单，每个命令菜单由多个控制指令组成；

脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台；

所述智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台，包括：

在用户注视所述多级菜单时，采集用户的生物电信号；

对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号；

采用脑机接口范式和预设算法对所述处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述生物电信号包括脑电信号eeg和肌电信号emg；所述脑机接口范式为稳态视觉诱发电位ssvep，所述预设算法为典型相关分析cca。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述被控对象为智能家居模块、机械臂模块或轮椅模块。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，还包括：

红外信号发送模块发送控制指令至采用红外遥控方式的被控对象。

与现有技术相比，本申请提供的生活辅助系统及生活辅助方法中，该生活辅助系统包括增强现实模块、脑机接口模块、智能物联平台以及多个被控对象。增强现实模块在用户眼前显示多级菜单，脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台，智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。本方案中，以智能物联平台为基础，利用脑机接口等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。

附图说明

图1示出了本申请实施例提供的一种生活辅助系统的结构图；

图1a示出了本申请实施例提供的一种脑机接口模块的结构图；

图2示出了机械臂模块的工作流程示意图；

图3示出了智能家居模块的工作流程示意图；

图4示出了轮椅模块的工作流程示意图；

图5示出了本申请实施例提供的一种生活辅助方法的流程图；

图6示出了本申请实施例提供的一种模块选择用户界面；

图7示出了本申请实施例提供的一种智能家居用户选择界面；

图8示出了本申请实施例提供的一种机械臂用户控制界面；

图9示出了本申请实施例提供的一种轮椅自我控制用户选择界面；

图10示出了本申请实施例提供的一种用户确认界面。

具体实施方式

下面结合附图，对本申请的具体实施方式进行详细描述，但应当理解本申请的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

为了能够更好地理解本申请，下面首先对本申请中涉及的一些专有名词进行介绍。

脑机接口(brain-computerinterface，bci)，有时也称作“大脑端口”或者“脑机融合感知”，它是在人脑与计算机或其它电子设备之间建立的直接交流和控制通道，通过这种通道，人就可以直接通过脑来表达想法或操纵设备，而不需要语言或动作，这可以有效增强身体严重残疾的患者与外界交流或控制外部环境的能力，以提高患者的生活质量。脑机接口技术是一种涉及神经科学、信号检测、信号处理、模式识别等多学科的交叉技术，是区别于键盘、触屏的一种人机交互手段，用户可以脱离传统的手动等控制方式，实现对设备的控制，非常适合存在行动障碍的群体使用。

机器人软件平台(robotoperatingsystem，ros)可以将多个设备连接在一起，简化用户对生活电器的操作和使用。ros能为异质计算机集群提供类似操作系统的功能。它提供了操作系统应有的服务，包括硬件抽象，底层设备控制，常用函数的实现，进程间消息传递，以及包管理。它也提供用于获取、编译、编写、和跨计算机运行代码所需的工具和库函数。ros的首要目标是提供一套统一的开源程序框架，用以在多样化的现实世界与仿真环境中实现对机器人的控制。

肌电信号(electromyography，emg)是众多肌纤维中运动单元动作电位(muap)在时间和空间上的叠加。它的使用方式与脑电信号(electroencephalogram，eeg)类似。

稳态视觉诱发电位(steady-statevisualevokedpotentials，ssvep)是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应，这个响应是被称为ssvep。

机械臂是一种近些年出现的一种工业设备，它是一种高精度，多输入多输出、高度非线性、强耦合的复杂系统。用来主要应用在工业流水线上。随着技术的发展，它的灵活性、安全性越来越高，它与人的“距离”也越来越近。在生活辅助领域开始崭露头角。

智能家居不同于普通家居孤立的存在，它是通过物联网技术将家中的各个设备联接在一起，操作方式不同于以往的手动输入，可利用脑机信号输入，实现远程控制。并且它可以通过多种传感器自我判断并做出相应的反应。

请参考图1，其示出了本申请实施例提供的一种生活辅助系统的结构图。该生活辅助系统10，包括：增强现实模块110、脑机接口模块120、智能物联平台130以及多个被控对象140；增强现实模块110、脑机接口模块120和多个被控对象140分别与所述智能物联平台120信号连接。其中，被控对象140具体可以为智能家居模块、机械臂模块或轮椅模块。

所述增强现实模块110内部存储有每个所述被控对象140的控制模型，所述增强现实模块110用于在用户眼前显示多级菜单；该多级菜单包括控制模块选择菜单以及每个控制模块对应的命令菜单，每个命令菜单由多个控制指令组成。

所述脑机接口模块120，用于在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至所述智能物联平台130。具体的，在本申请的一些实施方式中，所述生物电信号可以包括脑电信号eeg和肌电信号emg。

在本申请的一些实施实施方式中，如图1a所示，所述脑机接口模块120，可以具体包括：依次信号连接的采集单元121、处理单元122和分析单元123。其中，所述采集单元121，用于在用户注视所述多级菜单时，采集用户的生物电信号，并发送至处理单元122；所述处理单元122，用于对所述生物电信号以预设时间长度(例如1000ms)进行分段，分段后进行带通滤波，滤波后进行降采样，完成数据预处理，得到处理信号并发送至分析单元123。所述分析单元123，用于采用脑机接口范式和预设算法对处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。具体的，在本申请的一些实施方式中，所述脑机接口范式可以为稳态视觉诱发电位ssvep数据范式，所述预设算法可以为典型相关分析cca。

所述智能物联平台130，用于接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制对应的被控对象进行相应操作。在智能物联平台上，控制指令经过分类处理，准确发送到被控对象，从而实现点对点的控制。实际应用中，该智能物联平台130可以采用ros平台，ros智能物联平台是一个能够整合资源的框架和接口，使得资源之间能够共享使用，使得各种功能、各种软件的重复利用率增加。

本实施例中，以智能物联平台为基础，利用脑机接口和传感器等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。

在本申请的一些实施方式中，上述生活辅助系统10中，还可以包括：红外信号发送模块150；其中，所述红外信号发送模块150与所述智能物联平台130信号连接，用于发送控制指令至采用红外遥控方式的被控对象。例如，智能家居模块在遥控方面采用红外遥控的方式，则可以通过红外信号发送模块发送控制指令至智能家居模块。本实施方式，有利于扩展生活辅助系统的功能，从而更好地满足用户需求。

为了更好地理解本申请，下面以被控对象为智能家居模块、机械臂模块和轮椅模块为例详细进行说明。

本申请实施例中，生活辅助系统，包括脑机接口模块、智能家居模块、机械臂模块、轮椅模块和增强现实模块五部分，五个模块全部以ros智能物联平台为信息交汇中心。

脑机接口模块同时采集用户的eeg信号和emg信号。采集的emg信号主要由牙齿咬合产生的。该脑机接口模块同时还负责将采集到的信号进行放大，滤波和降采样处理。利用多级菜单，脑机接口模块可以将用户注视叠加在控制模块选择菜单以及每个被控对象所对应的命令菜单上的视觉刺激时所诱发的脑电特征信号转化成计算机控制指令。脑机接口范式采用ssvep数据范式。由emg信号转换来的控制信号首先可以作为确认信号，即确认使用者所作出的选择，该确认环节存在于控制模块选择窗口以弹窗的形式显现。咬合一次牙齿为“确认”，两次为“取消”。其次，连续三次咬合牙齿可以作为强制退出信号，即停止当前指令返回上一级菜单。图6示出了本申请实施例提供的一种模块选择用户界面；图7示出了本申请实施例提供的一种智能家居用户选择界面；图8示出了本申请实施例提供的一种机械臂用户控制界面；图9示出了本申请实施例提供的一种轮椅自我控制用户选择界面；图10示出了本申请实施例提供的一种用户确认界面。

具体的，视觉刺激亮度控制为矩形波调制，发光颜色采用白色。在第一级菜单，刺激范式包括3个目标。分别是：智能家居模块、机械臂模块、轮椅模块。三个目标的3d模型会由增强现实(ar)模块显示在用户眼前。三个目标的模型以10-11hz的频率闪烁，频率间隔为0.5hz。

智能家居模块之下有两级菜单，这两级菜单最多可以提供三十个选项，它们的模型闪烁频率为9-13.5hz，频率间隔为0.2hz。脑电信号采集通道主要使用14个，分别是：p1,pz,p2,po7,po5,po3,poz,po4,po6,po8,o1,oz,o2,m2。处理和分析采集到的信号，首先将采集到的信号以1000ms的时间长度分段，然后经过带通滤波，最后经过降采样完成数据预处理。分析信号时，采用的方法是典型相关分析方法(cca)。该方法是研究多个变量与多个变量之间相关性的算法。本实施例使用14通道采集信号，该方法可以满足使用，其基本思想是找到两组变量x和y在整体上的相关系数ρ，并使其最大。定义多通道ssvep信号为xn，将xn分解为n个xnfm信号，n为通道编号，xnfm是原始ssvep脑电信号经过小波包分解重构的fm频点的信号。建立相应的参考信号矩阵，然后求得最大的相关系数ρm。将ssvep信号进行小波包分解之后得到重构信号，根据cca算法计算出各个通道的xn和y的最大相关系数ρm，然后比照判断ssvep刺激信号的频点fm。然后根据频点fm与图标的一一对应关系，找到用户所选的控制命令。

在增强现实模块中，图标由unity开发工具设计完成并在增强现实眼镜上的虚拟屏幕上显示。

机械臂模块主要包括两部分：控制部分和活动部分。控制部分包括：信号接收设备，控制计算机，关节电机驱动，关节限位开关和压力传感器。活动部分主要包括：基座、肩部、上臂、前臂、手腕和夹指以及连接各部分的七个关节组成，内部设有控制各个部分相应的直流电机。信号接收设备主要接收来自ros智能物联平台的控制信号。控制计算机负责处理控制信号，并输出对应的电机的控制信号。压力传感器负责反馈机械臂的位置，方便计算机及时调整。将机械臂的运动简化为几个简单动作，包括：前伸，回缩，上抬，下方，夹取和松开。命令的选择方式是通过上文所述的利用ssvep范式获取用户的选择。并且本实施例适当降低机械臂速度，以满足用户需求。并且机械臂模块配有压力传感器，一是判断夹指力度大小，二是反馈机械臂活动是否已到极限。

请参考图2，其示出了机械臂模块的工作流程示意图。如图所示，包括：

系统初始化，判断是否接收到控制命令；

若是，获取控制命令序列后，执行相应命令；

判断命令是否终止或运动到关节极限；

若是，返回判断是否接收到控制命令的步骤。

智能家居模块主要包括：信号接收部分，控制计算机部分，室内检测传感器部分和红外遥控部分。信号接收部分主要检测是否有来自于ros智能物联平台的控制信号。控制计算机部分主要识别控制命令并作出相应反应。当智能家居控制接口模块未接收到相关控制命令时，根据传感器实时传回的数据，控制计算机按照预设方案自动调节相关设备。红外遥控部分：将室内常用电器(诸如：电灯，空调和电视等)按照一定顺序排列控制序列，保证接口规格一致。将家用电器的传统红外遥控器的功能内置于该模块。内检测传感器部分包括：湿度传感器，温度传感器，数字光强传感器和气体传感器；

湿度传感器用于实时检测室内湿度情况；温度传感器用于实时检测室内温度情况；数字光强传感器用于实时检测室内光照强度情况；气体传感器用于实时检测室内污染气体的浓度。

请参考图3，其示出了智能家居模块的工作流程示意图。如图所示，包括：

系统初始化，判断是否接收到控制信息；

若是，接收脑电信号后，控制计算机分析处理；若否，接收传感器信号后，控制计算机分析处理；

确定控制n号设备工作，n号设备开始工作；

继续判断是否退出当前流程；若是，返回判断是否接收到控制信息的步骤。

轮椅模块由控制计算机、前进电机、转向电机、电机驱动、超声波测距传感器和rgbd景深摄像头组成。上述轮椅模块有两种控制模式：

第一种，完全以用户的命令做出相应的反应。在轮椅上，用户会感知周围的环境并根据自身的需求做出相应的反应。控制命令经ros智能物联平台传递到轮椅，控制轮椅的具体移动；第二种，首先将用户常在区域地图存储在控制计算机中，并利用路径规划技术改善轮椅行驶轨迹。当用户选定目的地时，轮椅按照地图自动行驶模式自动行走。在行驶过程中，利用超声波传感器和rgbd摄像头探索障碍物并实现避障。在行驶过程中，如用户需要，可以随时终止自动行驶，转换为第一种控制模式。轮椅模块的自我控制与上述相同，同样是利用了ssvep范式获取用户的指令，系统采用连续采集信号的方式驱动轮椅运动。并且同机械臂一样，其速度也必须控制在一定范围内。轮椅模块的自动控制主要依赖于路径规划技术。在使用前，已载入使用环境的地图，所以属于离线路径规划问题，本实施例主要使用人工势场法。在定位方面本实施例采用相对定位的方式，在已给地图的情况下更新定位。

请参考图4，其示出了轮椅模块的工作流程示意图。如图所示，包括：

系统初始化，判断是否接收到控制命令；

若是，判断是否选择自我控制；

若是，接收控制命令，按指令行走，直至到达目的地；若否，则路径自动规划，直至到达目的地。

本实施例中，以ros智能物联平台为基础，利用脑机接口和传感器等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。

如图5所示，本申请实施例还提供了一种生活辅助方法，所述方法基于上述任一实施例中的系统，包括以下步骤：

步骤s101：增强现实模块在用户眼前显示多级菜单；所述增强现实模块内部存储有每个被控对象的控制模型，该多级菜单包括控制模块选择菜单以及每个控制模块对应的命令菜单，每个命令菜单由多个控制指令组成；

步骤s102：脑机接口模块在用户注视所述多级菜单时，获取用户的生物电信号，并根据所述生物电信号确认控制指令，将所述控制指令发送至智能物联平台；

步骤s103：所述智能物联平台接收所述控制指令，并对所述控制指令进行分类处理后发送至对应的被控对象，以控制所述被控对象进行相应操作。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述步骤s402，包括：

在用户注视所述多级菜单时，采集用户的生物电信号；

对所述生物电信号以预设时间长度进行分段，分段后进行带通滤波，滤波后进行降采样，得到处理信号；

采用脑机接口范式和预设算法对所述处理信号进行分析以确认控制指令，将所述控制指令发送至所述智能物联平台。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述生物电信号包括脑电信号eeg和肌电信号emg；所述脑机接口范式为稳态视觉诱发电位ssvep，所述预设算法为典型相关分析cca。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，所述被控对象为智能家居模块、机械臂模块或轮椅模块。

在一种可能的实现方式中，在本申请实施例提供的上述生活辅助方法中，还包括：

红外信号发送模块发送控制指令至采用红外遥控方式的被控对象。

以上系统一侧执行的实施例中的相关阐述均适用于本方法实施例，此处不再赘述。

本实施例中，以智能物联平台为基础，利用脑机接口和传感器等技术针对失能和半失能老人的需求，对轮椅、机械臂和智能家居等生活用具做出相应的控制，从而满足了他们的基本生活需求，提高了他们的生活质量。

前述对本申请的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本申请限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本申请的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本申请的各种不同的示例性实施方案以及各种不同的选择和改变。本申请的范围意在由权利要求书及其等同形式所限定。