基于自发式脑机接口的机器人绘画系统及方法与流程

本发明涉及一种绘画系统及方法，特别是涉及一种基于自发式脑机接口的机器人绘画系统及方法。

背景技术：

脑机接口(braincomputerinterface,bci)是一种不依赖于人体常规外周神经肌肉通路，而通过直接采集脑电信号并利用该信号实现对外部环境的控制和交互的技术。bci是一门典型的交叉学科，涉及神经科学、医学、心理学、计算机科学、机械工程等多个学科领域。

目前已知的诸多疾病，如肌萎缩侧索硬化症、脑干中风、大脑瘫痪等，均会使人体的神经肌肉通路受到损伤，从而使患者的大脑失去对外周肌肉的控制能力，最终导致患者丧失部分或者全部的运动功能。bci正是在这种背景下被提出，其被认为是重建相关患者运动功能的一种重要方法。自bci技术问世以来，世界范围内的众多研究机构都对bci领域给予了关注与投入，且已取得了丰硕的成果。根据有关文献的报道，残疾人已经可以通过bci实现打字输入、浏览网页、控制机械臂等功能，这为他们完成独立的日常生活提供了重要的辅助。与此同时，随着世人对bci领域关键问题的认识逐步深入，该技术也将在未来为正常人群在教育、娱乐等诸多人机交互领域提供丰富的可能性。

经文献检索发现，一项中国专利公告号为cn105137830a、名称为“一种基于视觉诱发脑机接口的国画机器手及其绘图方法”的专利实现了通过脑机接口控制机械臂完成绘制国画的功能。但由于该系统的脑电特征由稳态视觉刺激诱发，因此使用者需要在一个提供专门视觉刺激的结构化环境中完成该任务。此外，该专利没有提及用于作画的机械手设计。

技术实现要素：

本发明所要解决的技术问题是提供一种基于自发式脑机接口的机器人绘画系统及方法，其通过采集使用者的自主脑电信号而非外界刺激的诱发脑电实现，能够同时绘制多个通道的脑电波形，提高了绘画效率，并为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣。

本发明是通过下述技术方案来解决上述技术问题的：一种基于自发式脑机接口的机器人绘画系统，其特征在于，其包括脑电信号采集模块、信号无线传输模块、脑电信号处理模块、控制指令生成模块、指令无线传输模块、绘画机器人以及使用者；其中，脑电信号采集模块用于采集使用者的实时脑电信号，信号无线传输模块将采集得到的脑电信号传输至上位机以作进一步处理，上位机包括脑电信号处理模块和控制指令生成模块，脑电信号处理模块用于对脑电信号进行平滑滤波，控制指令生成模块将处理之后的脑电信号幅值转化为绘画机器人各支画笔的径向位置控制指令，指令无线传输模块将最终的位置控制指令传输至绘画机器人，绘画机器人将得到的控制指令转化为画笔的轨迹最终呈现在画板上。

优选地，所述脑电信号采集模块采用头戴式脑电信号采集仪器。

优选地，所述信号无线传输模块通过蓝牙无线通讯协议进行脑电信号传输。

优选地，所述脑电信号处理模块通过matlab编程实现，利用matlab信号处理工具箱对脑电信号进行平滑滤波，避免画笔在运动过程中出现剧烈抖动，最大化地保证输出图形的美观性。

优选地，所述控制指令生成模块采用c++编程实现，通过一个线性函数变换将平滑滤波后的脑电信号幅值转化为绘画机器人各支画笔的径向位置，基于此生成绘画机器人三根画笔的径向运动位置控制指令。

优选地，所述指令无线传输模块通过蓝牙通讯协议将最终的运动控制位置指令传输至绘画机器人以控制其画笔的径向运动，完成最终绘画任务。

优选地，所述绘画机器人具有四个运动自由度，其中一个自由度用于驱动绘画机器人绕中心轴线作旋转运动，另外三个自由度用于驱动绘画机器人的三支画笔同时作径向直线运动。

本发明还提供一种基于自发式脑机接口的机器人绘画方法，其特征在于，包括如下步骤：脑电信号采集模块通过头戴式脑电信号采集仪器记录下使用者的实时脑电信号，信号无线传输模块将采集的脑电信号通过蓝牙无线通信协议发送至上位机，在上位机内脑电信号处理模块对脑电信号作平滑滤波处理，紧接着控制指令生成模块将滤波后的脑电信号映射成各支画笔的径向运动位置控制指令，指令无线传输模块将生成的运动控制指令通过蓝牙无线通信协议发送至绘画机器人，然后绘画机器人根据运动控制指令驱动各支画笔完成相应的动作，使用者通过视觉反馈可以观察到整个绘画过程。

优选地，所述使用者根据自身实际情况及兴趣从诸多信号采集通道中选择三个完成绘制。

优选地，所述使用者通过想象肢体运动，做算数运算等自主大脑活动来调节其自身的大脑节律与波形，从而改变绘画机器人画笔的输出轨迹，以此实现人机交互。

本发明的积极进步效果在于：本发明通过采集使用者的自发脑电完成绘画，无需提供外界刺激以诱发使用者特定模式的脑电信号，即该系统无需在一个提供外界刺激的结构化环境下工作；在本发明的使用过程中，使用者可根据自身实际情况及兴趣自由选择三个信号采集通道完成绘画，为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣；本发明通过将画笔环绕绘画机器人的旋转中心均匀布置，可以同时绘制多个通道的脑电波形，提高了绘画效率。此外再辅以特定的色彩搭配，使得整个绘画过程更具视觉冲击力。

附图说明

图1是本发明系统组成框图；

图2是本发明绘画场景示意图；

图3是本发明绘画机器人结构示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，本发明基于自发式脑机接口的机器人绘画系统包括脑电信号采集模块、信号无线传输模块、脑电信号处理模块、控制指令生成模块、指令无线传输模块、绘画机器人以及使用者；其中，脑电信号采集模块用于采集使用者的实时脑电信号，信号无线传输模块将采集得到的脑电信号传输至上位机以作进一步处理，上位机包括脑电信号处理模块和控制指令生成模块，脑电信号处理模块用于对脑电信号进行平滑滤波，控制指令生成模块将处理之后的脑电信号幅值转化为绘画机器人各支画笔的径向位置控制指令，指令无线传输模块将最终的位置控制指令传输至绘画机器人，绘画机器人将得到的控制指令转化为画笔的轨迹最终呈现在画板上。

所述脑电信号采集模块采用头戴式脑电信号采集仪器(型号可以是emotivepoc)，该仪器的优点是可穿戴，携带方便，使用简单，拥有十六个采集通道。

所述信号无线传输模块通过蓝牙无线通讯协议进行脑电信号传输，将采集得到的实时脑电信号传输至上位机以对其作进一步处理，这样方便进行传输，确保信号传输的稳定性。

所述脑电信号处理模块利用matlab软件信号处理工具箱编程实现，对采集得到的脑电信号作平滑滤波处理，避免画笔在运动过程中出现剧烈抖动，最大化地保证输出图形的美观性。

所述控制指令生成模块利用c++编程语言实现，具体地，通过一个线性函数变换将所选通道的信号幅值映射为对应画笔的径向运动位置控制指令，这样使用方便。随着信号幅值的增大，画笔将向着远离绘画机器人旋转中心的方向运动；随着信号幅值的减小，则画笔将向着靠近绘画机器人旋转中心的方向运动。如若由信号幅值转化得到的位置控制指令超出了径向轨道的极限范围，则画笔将停滞于径向轨道的极限位置并最终画出一段圆弧。

所述指令无线传输模块通过蓝牙无线通讯协议将位置控制指令传输至绘画机器人，具体来说，所述指令无线传输模块通过蓝牙通讯协议将最终的运动控制位置指令传输至绘画机器人以控制其画笔的径向运动，完成最终绘画任务，这样方便传输。

所述绘画机器人具有四个运动自由度，其中一个自由度用于驱动绘画机器人绕中心轴线作旋转运动，另外三个自由度用于驱动绘画机器人的三支画笔同时作径向直线运动，三支画笔环绕旋转中心均匀布置，这样最大程度地提高绘画效率，改善用户使用体验。

使用者通过视觉反馈可观察绘画机器人的实时绘制情况。基于此，使用者可自主调节大脑节律从而实时调节绘画机器人画笔的运动轨迹。

本发明基于自发式脑机接口的机器人绘画方法包括如下步骤：脑电信号采集模块通过头戴式脑电信号采集仪器记录下使用者的实时脑电信号，信号无线传输模块将采集的脑电信号通过蓝牙无线通信协议发送至上位机，在上位机内脑电信号处理模块对脑电信号作平滑滤波处理，紧接着控制指令生成模块将滤波后的脑电信号映射成各支画笔的径向运动位置控制指令，指令无线传输模块将生成的运动控制指令通过蓝牙无线通信协议发送至绘画机器人，然后绘画机器人根据运动控制指令驱动各支画笔完成相应的动作，使用者通过视觉反馈可以观察到整个绘画过程。

使用者可根据自身实际情况及兴趣从诸多信号采集通道中选择三个完成绘制，为其提供较大的发挥空间，最大程度满足使用者的个性化需求。

使用者可通过想象肢体运动，做算数运算等自主大脑活动来调节其自身的大脑节律与波形，从而改变绘画机器人画笔的输出轨迹，以此实现人机交互。

图2所示为本发明的一个绘画场景示意图，具体包括头戴式脑电信号采集仪器1、使用者2、上位机3、支架4、绘画机器人5、绘画轨迹曲线6、画板7。下面具体描述如下：使用者2静坐于座椅，由服务人员帮助使用者佩戴头戴式脑电信号采集仪器1。佩戴完成后询问使用者舒适性，如若感觉不适，则作相应移动调整。打开上位机3中的软件观察采集得到的信号波形，确保信号采集的稳定性，必要情况下可注射导电膏以改善信号采集性能。将通道波形展示给使用者2，询问其决定采用哪三个通道来最终用于绘画输出，同时服务人员根据使用者的选择在上位机3中的软件作相应设置。头戴式脑电信号采集仪器1通过蓝牙无线传输设备将采集得到的脑电信号传输至用于进一步处理脑电信号的上位机3。绘画机器人5通过支架4放置于地面，画板7距离使用者2的距离大约为1-2米，便于使用者2清楚地观察到画笔描绘出的实际轨迹。使用者2可根据自主的意愿通过想象肢体运动，进行算数运算等方式调节自身大脑的节律波形，随后将该变化通过画笔呈现于画板7，最终完成拥有个人特色的绘画作品。

图3所示为本发明绘画机器人结构示意图，绘画机器人5具体包括滚珠丝杠9、马克笔夹持器10、马克笔11、第一驱动电机12、第二驱动电机13、第三驱动电机14、第四驱动电机15。绘画机器人本体被固定于支架4上，用于绘画的马克笔11被固定于马克笔夹持器10，第一驱动电机12、第二驱动电机13、第三驱动电机14分别用于驱动三支画笔沿着导轨槽作径向直线运动，第四驱动电机15用于驱动绘画机器人绕中心轴线作旋转运动。当绘画机器人收到位置控制指令后，第一驱动电机12、第二驱动电机13、第三驱动电机14开始转动并带动滚珠丝杠9一起旋转。随后，套在滚珠丝杠上的马克笔夹持器10连同马克笔11便能够沿着导轨槽作径向直线运动，最终便能在画板上绘画出相应的轨迹曲线。

综上所述，本发明能够同时绘制多个通道的脑电波形，提高了绘画效率，并为使用者提供了较大的发挥空间，充分满足了使用者的创作需求，从而使得该创作过程更为有趣。本发明实现了基于自发式脑机接口完成绘画的任务。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。