一种基于脑机接口的机械臂自主辅助系统及方法与流程

文档序号:11880062阅读:来源:国知局

技术特征:

1.一种基于脑机接口的机械臂自主辅助系统,其特征在于:所述系统按照感知层、决策层、执行层三层结构来搭建,感知层包括脑电采集与检测模块和视觉识别与定位模块,所述脑电采集与检测模块用于采集脑电信号,分析识别出用户意图,所述视觉识别与定位模块用于根据用户意图,识别与定位出相应的杯子及用户嘴部的位置;执行层包括机械臂控制模块,所述机械臂控制模块为在实际中对人进行辅助操作的载体,根据从决策模块接收来的执行指令,对机械臂进行轨迹规划及控制;决策层包括决策模块,所述决策模块用于连接脑电采集与检测模块、视觉识别与定位模块和机械臂控制模块,实现脑电信号、定位位置及机械臂状态数据的采集和传输,机械臂执行指令的发送。

2.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统,其特征在于:所述脑电采集与检测模块包括脑电采集的电极帽、脑电采集仪和第一计算机,其中使用电极帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十个通道,放置的位置遵循国际标准10-20系统;所述第一计算机用来实现P300信号的检测和屏幕中功能键闪烁的视觉刺激,所述闪烁的视觉刺激的功能键按2*2行列形式规则分布于计算机屏幕中,包括“cup1”、“cup2”、“cup3”以及“back”功能键,并以200ms的时间间隔进行随机顺序的黑、绿两种颜色变化闪烁。

3.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统,其特征在于:所述视觉识别与定位模块包括两个Microsoft Kinect视觉传感器和第二计算机,所述两个Microsoft Kinect视觉传感器分别放置在所需抓取的杯子前和用户面前,用于识别、定位所需抓取的杯子和用户的嘴部;所述第二计算机用于实现杯子轮廓检测算法、杯子定位算法、模板匹配识别算法以及嘴部识别定位算法。

4.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统,其特征在于:所述决策模块是基于TCP通信协议,通过定义统一的传输数据变量,包括用户的脑电意图、杯子及嘴部的位置信息,架设客户端与服务端服务代码框架,实现脑电意图、定位位置及机械臂状态数据的采集和传输,机械臂执行指令的发送。

5.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统,其特征在于:所述机械臂控制模块,采用一个多自由度机械臂作为执行机构。

6.一种基于脑机接口的机械臂自主辅助方法,其特征在于:所述方法包括以下步骤:

1)用户坐在第一计算机屏幕前,调整好位置,佩戴好脑电采集的电极帽,打开脑电采集仪和第一计算机,确认信号采集状态良好;

2)启动基于脑机接口的机械臂自主辅助系统,确认识别、定位用户嘴部的MicrosoftKinect视觉传感器能够正确捕捉到用户的嘴部,确认所要抓取的三个预设的杯子被正确放在用于识别、定位所需抓取的杯子的Microsoft Kinect视觉传感器的视野内;

3)第一计算机屏幕进入闪烁的视觉刺激的功能键界面,该功能键界面包括“cup1”,“cup2”,“cup3”以及“back”四个功能键;

4)用户注视“cup1”,“cup2”或者“cup3”三个功能键的其中一个,即选择出三个预设的杯子中的其中一个,一旦功能键被选定,将得出用户关于杯子选择的脑电意图,并发送到视觉识别与定位模块和决策模块;

5)视觉识别与定位模块根据步骤4)中的脑电意图,识别与定位出相应杯子的位置与用户的嘴部的位置,并利用TCP通信协议,将用户所选杯子及用户嘴部的位置信息,发送到决策模块;

6)决策模块根据步骤5)中获得的杯子及用户嘴部的位置信息和步骤4)中获得的脑电意图,生成相应的机械臂执行指令并发送给机械臂控制模块;

7)机械臂控制模块根据机械臂执行指令,进行轨迹规划,并按照所规划的轨迹,控制机械臂抓取用户所选杯子及将杯子传送到用户的嘴边;

8)喝水结束后,用户注视“back”功能键,一旦功能键被选定,将得出用户关于送返杯子的脑电意图并发送到决策模块;

9)决策模块,根据步骤8)中获得的送返杯子的脑电意图,生成相应的机械臂执行指令并发送给机械臂控制模块;

10)机械臂控制模块根据机械臂执行指令,进行轨迹规划,并按照所规划的轨迹,控制机械臂将用户所选杯子放回原来位置并恢复到机械臂初始位置状态,实现机械臂自主辅助用户喝水功能。

7.根据权利要求6所述的一种基于脑机接口的机械臂自主辅助方法,其特征在于:所述步骤4)和步骤8)中功能键的选定具体通过以下过程实现:用户注视第一计算机的功能键界面中的某个功能键,脑电信号通过电极帽和脑电采集仪进行采集、放大、滤波、模数转换处理后,再将数据传输给第一计算机进行P300信号检测,然后实现某个功能键的选定,所述P300信号检测具体通过以下步骤实现:

(一)、将EEG信号经过0.1~20Hz的带通滤波去噪处理;

(二)、以EEG信号幅值作为特征,截取P300功能键闪烁后的600ms时间窗的数据,并采用贝叶斯模型进行状态分类,从而实现P300信号检测。

8.根据权利要求6所述的一种基于脑机接口的机械臂自主辅助方法,其特征在于:步骤5)中,所述识别与定位相应杯子的位置具体通过以下步骤实现:

(1)、通过区域生长算法,在Microsoft Kinect视觉传感器的三维点云中,提取出杯子所摆放在的水平面;

(2)、去除步骤(1)提取的水平面,对剩下的三维点云进行物体的提取和分割;

(3)、选用模板匹配算法,将步骤(2)中获得的各物体点云集合对应的彩色图像与库中预设图像分别进行匹配,识别出用户所选杯子对应的点云集合;

(4)、将步骤(3)中获得的所选杯子对应的点云集合进行均值计算,实现杯子在Microsoft Kinect视觉传感器坐标系中的定位,并转换到机械臂坐标系上。

9.根据权利要求6所述的一种基于脑机接口的机械臂自主辅助方法,其特征在于:步骤5)中,所述识别与定位用户的嘴部的位置,具体通过以下步骤实现:运用Microsoft Kinect视觉传感器本身所提供的软件开发工具包进行人体检测,获取用户嘴部在Microsoft Kinect视觉传感器坐标系中的坐标位置,并转换到机械臂坐标系上。

10.根据权利要求6所述的一种基于脑机接口的机械臂自主辅助方法,其特征在于:步骤7)和步骤10)中,所述机械臂轨迹规划及控制,具体通过以下过程实现:将预设的关键轨迹点与用户嘴部及所选杯子在机械臂坐标系上的坐标点相结合,规划出机械臂运行轨迹,通过调用机械臂相应的API,控制机械臂按所规划轨迹运行,实现机械臂自主辅助用户喝水功能。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1