一种基于脑机接口的机械臂自主辅助系统及方法与流程

本发明涉及脑机接口应用研究领域，具体涉及一种基于脑机接口的机械臂自主辅助系统及方法。

背景技术：

世界上有许多严重瘫痪的病人，他们只能通过他人的帮助来完成一些日常生活所必需的活动，如喝水等。随着人工智能和机器人技术的不断发展，越来越多的研究成果被应用于辅助此类人群，以便改善他们的生活质量，其中，脑机接口(Brain Computer Interface，BCI)领域作为神经工程领域的一个分支，其发展迅速，前景广泛，激起了人们对脑机接口领域研究热潮。

脑机接口(BCI)是一种全新的人-机交互技术，它能够不通过常规大脑输出通路(外周神经和肌肉组织)而直接实现人脑与计算机之间的通信，为瘫痪病人提供了一种与外界进行信息交流和控制的新途径，BCI系统可分为侵入式和非侵入式，侵入式系统将会把电极植入到脑壳内，非侵入式系统则只采集头皮脑电信号。由于非侵入式脑机接口无需做手术，相比于侵入式更加安全简单，而且随着信号处理方法和技术的不断进步，对头皮脑电(electroencephalogram，EEG)的处理已经能够达到一定的水平，使脑机接口进入实际生活应用成为可能，本发明所采用的是非侵入式脑机接口技术。

目前，也有部分已有研究试图将脑机接口技术和机器人技术相结合，公开号为CN102198660A，发明名称为《基于脑-机接口的机械手臂控制系统及动作命令控制方案》的中国专利申请，基于运动想象的脑机接口实现了机械臂上、下、左、右、前、后和手指的抓与放等八个指令的控制；公开号为CN102309365A，发明名称为《一种可穿戴的脑控智能假肢》的中国专利申请，实现了脑电检测识别的穿戴式检测与计算，并结合智能感知技术对假肢实现了精密自适应的智能控制，提高了假肢动作的效率与精度，较理想的实现人手功能；公开号为CN105425963A，发明名称为《一种脑电波控制机械臂的系统》的中国发明专利利用脑电波信号获取注意力及放松度参数，来完成预设的机械臂动作。

以上所述发明专利，都只通过脑电信号完成一些简单的甚至是预设的机械臂动作控制，没有充分地发挥出脑机接口与机械臂自主控制技术相结合的特点及优势，基于脑机接口的机械臂自主辅助系统及方法，能够综合脑机接口与机械臂两者的优势，更好的利用脑机接口改善瘫痪病人的生活质量，提高他们自主生活的能力。

技术实现要素：

本发明的目的是针对上述现有技术的不足，提供了一种基于脑机接口的机械臂自主辅助系统。

本发明的另一目的在于提供一种基于脑机接口的机械臂自主辅助方法。

本发明的目的可以通过如下技术方案实现：

一种基于脑机接口的机械臂自主辅助系统，该系统按照感知层、决策层、执行层三层结构来搭建，感知层包括脑电采集与检测模块和视觉识别与定位模块，所述脑电采集与检测模块用于采集脑电信号，分析识别出用户意图，所述视觉识别与定位模块用于根据用户意图，识别与定位出相应的杯子及用户嘴部的位置；执行层包括机械臂控制模块，所述机械臂控制模块为在实际中对人进行辅助操作的载体，根据从决策模块接收来的执行指令，对机械臂进行轨迹规划及控制；决策层包括决策模块，所述决策模块用于连接脑电采集与检测模块、视觉识别与定位模块和机械臂控制模块，实现脑电信号、定位位置及机械臂状态等数据的采集和传输，机械臂执行指令的发送。

优选的，所述脑电采集与检测模块包括脑电采集的电极帽、脑电采集仪和第一计算机，其中使用电极帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十个通道，放置的位置遵循国际标准10-20系统；所述第一计算机用来实现P300信号的检测和屏幕中功能键闪烁的视觉刺激，所述闪烁的视觉刺激的功能键按2*2行列形式规则分布于计算机屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能键，并以200ms的时间间隔进行随机顺序的黑、绿两种颜色变化闪烁。

优选的，所述视觉识别与定位模块包括两个Microsoft Kinect视觉传感器和第二计算机，所述两个Microsoft Kinect视觉传感器分别放置在所需抓取的杯子前和用户面前，用于识别、定位所需抓取的杯子和用户的嘴部；所述第二计算机用于实现杯子轮廓检测算法、杯子定位算法、模板匹配识别算法以及嘴部识别定位算法。

优选的，所述决策模块是基于TCP通信协议，通过定义统一的传输数据变量，包括用户的脑电意图、杯子及嘴部的位置信息，架设客户端与服务端服务代码框架，实现脑电意图、定位位置及机械臂状态数据的采集和传输，机械臂执行指令的发送。

优选的，所述机械臂控制模块采用一个多自由度机械臂作为执行机构。

本发明的另一目的可以通过如下技术方案实现：

一种基于脑机接口的机械臂自主辅助方法，所述方法包括以下步骤：

1)用户坐在第一计算机屏幕前，调整好位置，佩戴好脑电采集的电极帽，打开脑电采集仪和第一计算机，确认信号采集状态良好；

2)启动基于脑机接口的机械臂自主辅助系统，确认识别、定位用户嘴部的Microsoft Kinect视觉传感器能够正确捕捉到用户的嘴部，确认所要抓取的三个预设的杯子被正确放在用于识别、定位所需抓取的杯子的Microsoft Kinect视觉传感器的视野内；

3)第一计算机屏幕进入闪烁的视觉刺激的功能键界面，该功能键界面包括“cup1”，“cup2”，“cup3”以及“back”四个功能键；

4)用户注视“cup1”，“cup2”或者“cup3”三个功能键的其中一个，即选择出三个预设的杯子中的其中一个，一旦功能键被选定，将得出用户关于杯子选择的脑电意图，并发送到视觉识别与定位模块和决策模块；

5)视觉识别与定位模块根据步骤4)中的脑电意图，识别与定位出相应杯子的位置与用户的嘴部的位置，并利用TCP通信协议，将用户所选杯子及用户嘴部的位置信息，发送到决策模块；

6)决策模块根据步骤5)中获得的杯子及用户嘴部的位置信息和步骤4)中获得的脑电意图，生成相应的机械臂执行指令并发送给机械臂控制模块；

7)机械臂控制模块根据机械臂执行指令，进行轨迹规划，并按照所规划的轨迹，控制机械臂抓取用户所选杯子及将杯子传送到用户的嘴边；

8)喝水结束后，用户注视“back”功能键，一旦功能键被选定，将得出用户关于送返杯子的脑电意图并发送到决策模块；

9)决策模块，根据步骤8)中获得的送返杯子的脑电意图，生成相应的机械臂执行指令并发送给机械臂控制模块；

10)机械臂控制模块根据机械臂执行指令，进行轨迹规划，并按照所规划的轨迹，控制机械臂将用户所选杯子放回原来位置并恢复到机械臂初始位置状态，实现机械臂自主辅助用户喝水功能。

优选的，所述步骤4)和步骤8)中功能键的选定具体通过以下过程实现：用户注视第一计算机的功能键界面中的某个功能键，脑电信号通过电极帽和脑电采集仪进行采集、放大、滤波、模数转换处理后，再将数据传输给第一计算机进行P300信号检测，然后实现某个功能键的选定，所述P300信号检测具体通过以下步骤实现：

(一)、将EEG信号经过0.1～20Hz的带通滤波去噪处理；

(二)、以EEG信号幅值作为特征，截取P300功能键闪烁后的600ms时间窗的数据，并采用贝叶斯模型进行状态分类，从而实现P300信号检测。

优选的，步骤5)中，所述识别与定位相应杯子的位置具体通过以下步骤实现：

(1)、通过区域生长算法，在Microsoft Kinect视觉传感器的三维点云中，提取出杯子所摆放在的水平面；

(2)、去除步骤(1)提取的水平面，对剩下的三维点云进行物体的提取和分割；

(3)、选用模板匹配算法，将步骤(2)中获得的各物体点云集合对应的彩色图像与库中预设图像分别进行匹配，识别出用户所选杯子对应的点云集合；

(4)、将步骤(3)中获得的所选杯子对应的点云集合进行均值计算，实现杯子在Microsoft Kinect视觉传感器坐标系中的定位，并转换到机械臂坐标系上。

优选的，步骤5)中，所述识别与定位用户的嘴部的位置，具体通过以下步骤实现：运用Microsoft Kinect视觉传感器本身所提供的软件开发工具包进行人体检测，获取用户嘴部在Microsoft Kinect视觉传感器坐标系中的坐标位置，并转换到机械臂坐标系上。

优选的，步骤7)和步骤10)中，所述机械臂轨迹规划及控制，具体通过以下过程实现：将预设的关键轨迹点与用户嘴部及所选杯子在机械臂坐标系上的坐标点相结合，规划出机械臂运行轨迹，通过调用机械臂相应的API，控制机械臂按所规划轨迹运行，实现机械臂自主辅助用户喝水功能。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明基于P300的脑机接口技术与自主控制决策功能的机械臂辅助技术相结合，只需用户提供脑电意图，剩下的机械臂动作控制为系统自动规划控制完成，对用户产生的负担较小，便于应用。

2、本发明将视觉识别与定位技术、脑机接口和机械臂相结合，实现用户所选饮料可以在一定范围内任意放置的效果。

3、本发明将视觉识别与定位技术、脑机接口和机械臂相结合，综合发挥三者的优势；用户可以通过使用本发明系统中的脑机接口，对所喝饮料进行自主选择；再通过发明系统中的机械臂与视觉识别与定位技术，对用户所选饮料进行定位识别及抓取并送到用户嘴边，为瘫痪病人提供自主喝水的便利，改善瘫痪病人的生活质量，提高他们自主生活的能力。

附图说明

图1为本发明的基于脑机接口的机械臂自主辅助系统的结构框图。

图2为本发明的基于脑机接口的机械臂自主辅助系统的流程图。

图3为本发明的识别与定位相应杯子位置的流程图。

图4为本发明的机械臂轨迹规划及控制的示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

如图1所示，本实施例提供了一种基于脑机接口的机械臂自主辅助系统，该系统按照感知层、决策层、执行层三层结构来搭建，感知层包括脑电采集与检测模块和视觉识别与定位模块，所述脑电采集与检测模块用于采集脑电信号，分析识别出用户意图，所述视觉识别与定位模块用于根据用户意图，识别与定位出相应的杯子及用户嘴部的位置；执行层包括机械臂控制模块，所述机械臂控制模块为在实际中对人进行辅助操作的载体，根据从决策模块接收来的执行指令，对机械臂进行轨迹规划及控制；决策层包括决策模块，所述决策模块用于连接脑电采集与检测模块、视觉识别与定位模块和机械臂控制模块，实现脑电信号、定位位置及机械臂状态等数据的采集和传输，机械臂执行指令的发送。

其中，所述脑电采集与检测模块包括脑电采集的电极帽、脑电采集仪和第一计算机，其中使用电极帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十个通道，放置的位置遵循国际标准10-20系统；所述第一计算机用来实现P300信号的检测和屏幕中功能键闪烁的视觉刺激，所述闪烁的视觉刺激的功能键按2*2行列形式规则分布于计算机屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能键，并以200ms的时间间隔进行随机顺序的黑、绿两种颜色变化闪烁。

其中，所述视觉识别与定位模块包括两个Microsoft Kinect视觉传感器和第二计算机，所述两个Microsoft Kinect视觉传感器分别放置在所需抓取的杯子前和用户面前，用于识别、定位所需抓取的杯子和用户的嘴部；所述第二计算机用于实现杯子轮廓检测算法、杯子定位算法、模板匹配识别算法以及嘴部识别定位算法。

其中，所述决策模块是基于TCP通信协议，通过定义统一的传输数据变量，包括用户的脑电意图、杯子及嘴部的位置信息，架设客户端与服务端服务代码框架，实现脑电意图、定位位置及机械臂状态数据的采集和传输，机械臂执行指令的发送。

其中，所述机械臂控制模块采用一个多自由度机械臂作为执行机构。

实施例2：

本实施例提供了一种基于脑机接口的机械臂自主辅助方法，如图2所示，该方法包括以下步骤：

1)用户坐在第一计算机屏幕前，调整好位置，佩戴好脑电采集的电极帽，打开脑电采集仪和第一计算机，确认信号采集状态良好；

2)启动基于脑机接口的机械臂自主辅助系统，确认识别、定位用户嘴部的Microsoft Kinect视觉传感器能够正确捕捉到用户的嘴部，确认所要抓取的三个预设的杯子被正确放在用于识别、定位所需抓取的杯子的Microsoft Kinect视觉传感器的视野内；

3)第一计算机屏幕进入闪烁的视觉刺激的功能键界面，该功能键界面包括“cup1”，“cup2”，“cup3”以及“back”四个功能键；

4)用户注视“cup1”，“cup2”或者“cup3”三个功能键的其中一个，即选择出三个预设的杯子中的其中一个，一旦功能键被选定，将得出用户关于杯子选择的脑电意图，并发送到视觉识别与定位模块和决策模块；

5)视觉识别与定位模块根据步骤4)中的脑电意图，识别与定位出相应杯子的位置与用户的嘴部的位置，并利用TCP通信协议，将用户所选杯子及用户嘴部的位置信息，发送到决策模块；

6)决策模块根据步骤5)中获得的杯子及用户嘴部的位置信息和步骤4)中获得的脑电意图，生成相应的机械臂执行指令并发送给机械臂控制模块；

7)机械臂控制模块根据机械臂执行指令，进行轨迹规划，并按照所规划的轨迹，控制机械臂抓取用户所选杯子及将杯子传送到用户的嘴边；

8)喝水结束后，用户注视“back”功能键，一旦功能键被选定，将得出用户关于送返杯子的脑电意图并发送到决策模块；

9)决策模块，根据步骤8)中获得的送返杯子的脑电意图，生成相应的机械臂执行指令并发送给机械臂控制模块；

10)机械臂控制模块根据机械臂执行指令，进行轨迹规划，并按照所规划的轨迹，控制机械臂将用户所选杯子放回原来位置并恢复到机械臂初始位置状态，实现机械臂自主辅助用户喝水功能。

其中，所述步骤4)和步骤8)中功能键的选定具体通过以下过程实现：用户注视第一计算机的功能键界面中的某个功能键，脑电信号通过电极帽和脑电采集仪进行采集、放大、滤波、模数转换处理后，再将数据传输给第一计算机进行P300信号检测，然后实现某个功能键的选定，所述P300信号检测具体通过以下步骤实现：

(一)、将EEG信号经过0.1～20Hz的带通滤波去噪处理；

(二)、以EEG信号幅值作为特征，截取P300功能键闪烁后的600ms时间窗的数据，并采用贝叶斯模型进行状态分类，从而实现P300信号检测。

其中，步骤5)中，如图3所示，所述识别与定位相应杯子的位置具体通过以下步骤实现：

(1)、通过区域生长算法，在Microsoft Kinect视觉传感器的三维点云中，提取出杯子所摆放在的水平面；

(2)、去除步骤(1)提取的水平面，对剩下的三维点云进行物体的提取和分割；

(3)、选用模板匹配算法，将步骤(2)中获得的各物体点云集合对应的彩色图像与库中预设图像分别进行匹配，识别出用户所选杯子对应的点云集合；

(4)、将步骤(3)中获得的所选杯子对应的点云集合进行均值计算，实现杯子在Microsoft Kinect视觉传感器坐标系中的定位，并转换到机械臂坐标系上。

其中，步骤5)中，所述识别与定位用户的嘴部的位置，具体通过以下步骤实现：运用Microsoft Kinect视觉传感器本身所提供的软件开发工具包进行人体检测，获取用户嘴部在Microsoft Kinect视觉传感器坐标系中的坐标位置，并转换到机械臂坐标系上。

其中，步骤7)和步骤10)中，如图4所示，所述机械臂轨迹规划及控制，具体通过以下过程实现：将预设的关键轨迹点与用户嘴部及所选杯子在机械臂坐标系上的坐标点相结合，规划出机械臂运行轨迹，通过调用机械臂相应的API，控制机械臂按所规划轨迹运行，实现机械臂自主辅助用户喝水功能。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。