一种面向多任务的脑控复合机器人控制系统与方法

本发明属于机器人控制，具体涉及一种面向多任务的脑控复合机器人控制系统与方法。

背景技术：

1、随着科技发展和创新驱动政策的推动，脑控机器人作为人工智能与神经科学的交叉领域，被认为是未来科技发展的重要方向之一。国家政策倡导通过脑控技术延伸人类感知、运动和处理能力，从而在医疗、军事、服务行业等方方面面实现革命性的突破。在医疗领域，脑控机器人可用于康复治疗，帮助恢复运动能力受损的患者。在军事领域，脑控机器人可以用于远程操作和危险任务执行，增强军队的作战能力。士兵可以通过脑控技术控制机器人完成复杂任务，减少风险并提高作战效能。在服务领域，脑控机器人可以通过大脑信号来控制智能家居设备，如灯光、空调、电视等。在某些培训领域，如飞行员培训和远程教育，脑控机器人可以提供虚拟实验，模拟任务用于提高专业化程度。随着技术的不断发展，将有更多创新的应用出现。脑控机器人的发展将为医疗领域，军事领域、生活服务领域带来更多的可能性，提高生活质量和效率。

2、目前的机械手臂一般通过直接电脑编程的方式实现各种功能，但这要求操作对象工作在相对固定的位置，并且类型一致，这种机械手臂控制方式对环境适应能力较差，升级与维护成本高，虽然可以通过传统示教再现方式来对机械手臂的运动轨迹进行定义，但应用示教器不够灵活，且操作复杂。

技术实现思路

1、针对上述机械手臂控制方式对环境适应能力较差的技术问题，本发明提供了一种面向多任务的脑控复合机器人控制系统与方法，使用者通过注视多级刺激界面的不同任务，脑电帽获取使用者的脑电信号，电信号通过程序翻译为指令通过tcp套接字发送给上位机，上位机翻译为ros话题并发布出去，相机节点、机械臂节点、底盘机器人节点、末端执行器节点通过订阅上位机的话题来执行对应的任务，通过这种方法机器人可以完成抓取移动等多种任务。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种面向多任务的脑控复合机器人控制系统，包括脑电帽、笔记本电脑、机械臂、底盘机器人、上位机、末端执行器、深度相机，所述脑电帽佩戴在使用者头部，所述脑电帽通过有线连接方式与笔记本电脑相连接，所述笔记本电脑测试脑电信号后运行刺激界面程序；所述机械臂与底盘机器人均通过局域网与上位机连接，所述笔记本电脑与上位机连接，所述深度相机与机械臂电性连接，所述机械臂与末端执行器电性连接。

4、一种面向多任务的脑控复合机器人控制方法，包括下列步骤：

5、s1、使用者佩戴好脑电帽后，眨眼三次后启动刺激闪烁，使用者可以通过注视任务刺激块，从而产生脑电信号，脑电帽通过识别眼睛注视的功能频率，即可将对应的控制信号通过tcp套接字方式传给上位机，上位机获取到命令后翻译为ros话题通信将命令发布出去，机械臂和底盘机器人节点通过订阅话题的方式实现指令接收，从而控制执行不同任务；

6、s2、在进行抓取任务时，深度相机部件进行环境判断和物体位姿识别，通过ros的话题通信机制将深度相机获取的位置信息发送给机械臂的订阅节点，可以更加灵活地让机械臂执行抓取任务，无需提前设置抓取位置和轨迹，机械臂在到达指定夹取/放置位置后上位机控制机械臂节点会发送到达话题，机械臂节点通过订阅该话题向pico板发送指令，pico板通过高低电频来控制末端执行器的开闭；

7、s3、在执行移动任务时，底盘机器人会接收到来自上位机的工作地图中的目的坐标，通过激光雷达和imu部件实现机器人自主感知、定位、避障并移动到目的位置。

8、所述s2中机械臂执行抓取任务的方法为：

9、机械臂与深度相机复合实现对物体的自动识别位姿并抓取功能需要对机械臂与深度相机进行手眼标定，通过标定好的转换矩阵将深度相机的像素坐标变换到机械臂的空间坐标系中，机械臂末端执行的位姿通过end_positon方法将tcp位姿话题发送给手眼标定算法，相机识别的物体位姿通过aruco_ros功能包中的方法发送名为/aruco_single/pose的位姿话题，手眼标定算法订阅tcp与aruco话题；手眼标定首先需要找几个不变的量，相机与机械手臂末端的旋转平移关系不变为标定板与机械臂底座关系不变求出的旋转平移关系后，就可将从相机获取到的位姿转换为以机械臂基坐标系为参照的位姿信息，以便机械臂进行准确抓取。

10、所述求出的旋转平移关系的方法为：

11、根据两个不变关系有以下公式：

12、

13、改变机械臂姿态为：

14、

15、

16、其中是已知的是机械臂基座到机械臂末端执行器的关系，通过机械臂手眼标定得到；是标定板到深度相机之间的关系，通过张氏标定得到，就是相机的外参；将联立公式(1)(2)得：

17、

18、

19、那么化简为a*x＝x*b，求解这个矩阵方程，未知数是矩阵就是手眼之间的关系；

20、上面求解手眼关系是以机器人基座标为世界坐标系，将标定板坐标系转为机器人坐标系，因此最终关系化简为：a*x＝x*b，从而求出的旋转平移关系。

21、所述s3中通过激光雷达和imu部件实现机器人自主感知、定位、避障并移动到目的位置的方法为：

22、使用gmapping算法实现全局地图构建辅助机器人实现避障和导航，机器人通过激光雷达扫描任务区域，通过rbpf粒子滤波算法，绘制二维栅格地图；生成的地图与自适应蒙特卡洛定位算法匹配，提供高精度的定位结果，imu与里程计融合用于更精准的估计机器人在空间中的位置变化，使用扩展卡尔曼滤波器算法实现，通过ros提供的robot_localization包中的ekf_lacalization_node节点提供的扩展卡尔曼滤波算法融合两种传感器数据用于对机器人运动中精准定位，通过dijkstra算法做全局规划，dwa算法做局部路径规划，实现机器人自主移动。

23、所述通过rbpf粒子滤波算法绘制二维栅格地图的方法为：

24、通过rbpf粒子滤波算法，用粒子群来描述估算机器人位姿与地图的可能性；其中每个粒子中包含了机器人一种可能的历史轨迹，以及所关联的相应地图，这些粒子集合在不断的更新与重采样过程中，能够收敛到少数几个权重系数较高的粒子上，绘制二维栅格地图。

25、所述二维栅格地图与自适应蒙特卡洛定位算法amcl匹配，针对已有地图使用粒子滤波器跟踪一个机器人的姿态，提供高精度的定位结果，使用ros中的amcl包可以估计及机器人在地图坐标系/map下的位姿信息，提供/base,/odom,/map之间的tf转换。

26、所述估计机器人在空间中的位置变化的方法为：imu与里程计融合用于更精准的估计机器人在空间中的位置变化，通过ros提供的robot_localization包实现多传感器的融合，包中的ekf_lacalization_node节点提供的扩展卡尔曼滤波算法融合两种传感器数据用于对机器人运动中精准定位，ekf通过对非线性函数进行线性化来逼近真实状态，并将观测数据和运动模型结合起来进行状态估计；通过ros run来运行该功能包，将扩展卡尔曼滤波节点的配置参数通过.yaml文件存储；设置完参数后，robot_localization输出融合后的数据，经robot_localization输出的话题叫做/odometry/filtered，机器人的状态由(x,y,z,roll,pitch,yaw,x˙,y˙,z˙,roll˙,pitch˙,yaw˙,x¨,y¨,z¨)来表示。

27、所述通过dijkstra算法做全局规划的方法为：在构建好的栅格地图中，通过dijkstra算法做全局规划，设置目标终点的位置后通过dijkstra算法可以找到单源最短路径：每次从未求出最短路径的点中取出距离距离起点最小路径的点，以这个点为桥梁刷新未求出最短路径的点的距离。

28、所述dwa算法做局部路径规划的方法为：

29、dwa算法在全局路径规划算法完成后，能够根据当前机器人位置、障碍物、终点的位置进行控制空间的采用，从而完成局部路径规划；根据移动机器人当前的位置状态和速度状态在速度空间(v,ω)中确定一个满足移动机器人硬件约束的采样速度空间，然后预测移动机器人在这些速度情况下移动一定时间内的轨迹，并通过评价函数对该轨迹进行评价，最后选出评价最优的轨迹所对应的速度来作为移动机器人运动速度，如此循环直至移动机器人到达目标点；因此首先通过设置机器人速度采样空间vs，该限制主要分为三大类：速度限制vm、加速度限制vd、环境障碍物限制va，最终的移动机器人速度采样空间是三个速度空间的交集vs＝vm∩vd∩va，在确定速度采样空间vs后，dwa算法以一定的采样间距在该空间均匀采样，采样速度组的个数为：

30、n＝[(vhigh―vlow)/ev]·[(whigh―wlow)/ew]

31、式中的vhigh,vlow,whigh,wlow是速度空间的上下限，ew、ev表示采样分辨率；在采样了一组vs后通过移动机器人的运动学模型进行轨迹预测，对采样得到的多组轨迹进行评价，评价函数为：

32、g(v,ω)＝σ(α·heading(v,ω))+σ(β·dist(v,ω))+σ(γ·velocity(v,ω))

33、heading是方位角评价函数，dist是距离评价函数，velocity是速度评价函数，α、β和γ均为评价函数的系数，其中σ表示归一化，由此得出一条满足避开障碍物并朝着目标点快速行进的路径。

34、本发明与现有技术相比，具有的有益效果是：

35、本发明设计了多级刺激界面，使任务处理更加多样，能够使用者在当前环境中做出更加灵活多样的任务选择。本发明加入底盘机器人模块和深度相机模块，加入底盘机器人模块后，能够移动执行任务并在执行过程中实现避障和导航，而不仅仅限于机械臂的简单抓取；深度相机可以获取物体的位姿，能够让机械臂自主实现灵活抓取，而非人为规定抓取位置固定抓取路径；底盘机器人的激光雷达和深度相机获取的多模态数据可以更好的让机器人感知外部环境，从而更好的执行任务。本发明的机械臂末端执行器通过上位机-pico板-控制板的指令传输路径设计，成本更低地实现了机械臂末端执行器的可控控制。