一种水下电动机械臂人机交互控制集成系统

1.本发明属于机械臂机电控制技术，具体涉及水下电动机械臂人机交互控制集成系统。


背景技术：

2.水下电动机械臂是特种环境机器人的一类，在水下训练、潜水作业、深海探测中有所应用。随着科技和社会的快速发展，计算机软件工程变得越来越重要，各行各业的机械自动化、智能化控制、互联网、物联网等等对软件开发的效率、控制或运行速度等要求越来越多。
3.在水下电动机械臂操作过程中，需要在以安全为前提下，进行多种控制模式操作，操作过程中需要满足安全、防止误操作、摄像监视要求、机械臂运动的平滑性、机械臂运动和状态参数显示功能、末端避障距离、速度限制功能、运动急停功能、控制命令记忆功能、摄像监视并存储功能。
4.水下电动机械臂也可以用于辅助航天员进行水下失重模拟训练，从而节省航天员训练时间，提高航天员训练效率。为保障操作员对水下电动机械臂进行安全、流畅操作使用，在满足这些功能基础上，需要对操作台人机交互各个操作、控制、监视等模块进行系统集成。现有的传统机械臂操作复杂，人机交互体验差。


技术实现要素：

5.为了解决上述技术问题，本发明提供了一种水下电动机械臂人机交互控制集成系统，其特征在于，其按功能模块划分，包括人机交互控制模块和机械臂运动控制模块，所述人机交互控制模块负责人机交互功能，包括主端控制子模块、任务规划子模块、场景仿真子模块和安全监控子模块，所述机械臂运动控制模块包括机械臂伺服控制模块和运动控制硬件，
6.所述的主端控制子模块负责机械臂的位置控制、指令的输入功能；所述的任务规划子模块负责预编程中任务的创建、编辑和执行；所述的虚拟场景仿真模块负责显示虚拟3d机械臂水下工作环境，对运动控制指令进行仿真分析，并能与实际机械臂本体实时匹配相应的位置及动作；所述的安全监控子模块负责安装在机械臂上的相机实时数据显示，机械臂关节的连接状态、使能状态、位置的数据显示，漏水、碰撞、绝缘、接地检测的安全状态反馈及水下相关设备的管理工作，
7.所述机械臂伺服控制模块负责机械臂的运动控制实施，包括运动接口程序，运动规划系统，以及运动学计算，所述运动控制硬件包括机械臂本体和传感器。
8.进一步的是，所述人机交互控制模块与机械臂运动控制模块选用ethercat通信接口。
9.进一步的是，其进一步包括人机交互界面，使用者在所述人机交互界面上输入控制参数，通过点击各个功能按钮，实现参数设置、模型仿真及运动控制。
10.进一步的是，其进一步包括人机交互控制操作台，所述人机交互控制操作台包括显示屏、控制操作台、平动手控器、转动手控器、电柜电源指示灯、操作台电源指示灯、急停按钮、屏幕切换器。
11.进一步的是，所述人机交互控制操作台的人机交互指令操作按键都有二次确认功能，对各参数值都有限值保护。
12.进一步的是，所述位置控制实现机械臂末端从a点到b点自动控制，包括直线、圆弧、自由的轨迹方式，到达位置可分为粗调与精调，在执行前在人机交互界面可进行路径仿真；所述预编程控制实现预先控制机械臂末端进行相应任务的轨迹规划，使用者沿该路径程序自动执行；手控模式实现末端手柄控制，包括三自由度平动和三自由度转动。
13.进一步的是，主端控制子模块的控制界面分为三级，一级为用户使用界面，二级为标定设置界面，三级为专业维护界面，分别设置不同的管理权限，分配给不同权限的操作人员；主端控制子模块的控制界面包括笛卡尔空间操作界面、预编程操作界面、单关节/多关节界面。
14.进一步的是，所述笛卡尔空间操作界面为主界面，当系统开机时自动进入该界面，具有用户使用的笛卡尔空间、预编程设置和手柄链接按钮。
15.进一步的是，所述预编程操作界面实现仿真模式和实物模式切换，并高亮显示选择的模式，设定速度与加速度百分比，并对速度大小进行设定，点击预编程模式界面下的预编程流程新建，进入预编程流程新建下的新界面。
16.进一步的是，所述单关节/多关节界面下实现对机械臂单关节的控制，调节右下角的速度大小，在角度框下输入数值，实现机械臂对应关节的运动。
17.本发明用于水下作业训练的六自由度机械臂人机交互控制模块集成系统，完善了水下电动机械臂功能，降低水下电动机械臂的控制难度，实现水下电动机械臂与航天员的训练配合。该系统具有易操作、高安全性、高可靠性的优点，具有很高的应用价值。
附图说明
18.图1是本发明的一种水下电动机械臂人机交互控制集成系统的示意图；
19.图2是本发明的一种水下电动机械臂人机交互控制集成系统的硬件结构图；
20.图3是本发明的一种水下电动机械臂人机交互控制集成系统的系统功能模块划分图；
21.图4是本发明的一种水下电动机械臂人机交互控制集成系统的操作界面屏幕功能划分图；
22.图5是本发明的一种水下电动机械臂人机交互控制集成系统的人机交互控制模块子系统工作流程图；
23.图6是本发明的一种水下电动机械臂人机交互控制集成系统的操作和控制主要界面图；
24.图7是本发明的一种水下电动机械臂人机交互控制集成系统的笛卡尔空间模式用户界面；
25.图8是本发明的一种水下电动机械臂人机交互控制集成系统的预编程操作图；
26.图9是本发明的一种水下电动机械臂人机交互控制集成系统的单关节/多关节操
作图；
27.图10是本发明的一种水下电动机械臂人机交互控制集成系统的手柄操作模式图；
28.图11是本发明的一种水下电动机械臂人机交互控制集成系统的手柄控制模式图；
29.图12是本发明的一种水下电动机械臂人机交互控制集成系统的笛卡尔控制模式图；
30.图13是本发明的一种水下电动机械臂人机交互控制集成系统的位置控制算法流程图；
31.图14是本发明的一种水下电动机械臂人机交互控制集成系统的预编程模块控制流程图。
具体实施方式
32.下面将将结合附图对本发明作进一步的详细说明。
33.本发明的一种水下电动机械臂人机交互控制集成系统以操作简单、安全可靠、控制灵活为基本设计原则，使用者在人机交互界面上输入控制参数，通过点击各个功能按钮，实现参数设置、模型仿真及运动控制。
34.图1是本发明的一种水下电动机械臂人机交互控制集成系统的人机交互控制操作台。
35.参见图1，本发明的一种用于水下电动机械臂人机交互控制集成系统的人机交互控制操作台包括水下电动机械臂控制模块3、四块显示屏4、控制操作台1、平动手控器2、转动手控器11、电柜电源指示灯5、操作台电源指示灯6、电柜供电钥匙按钮7、操作台供电钥匙按钮8、急停按钮9、屏幕切换器10等。
36.本发明的人机交互指令操作按键都有二次确认功能，对各参数值都有限值保护。
37.在人机交互界面设计过程中，主要遵循准则包括：主界面最简化、信息分屏显示、降低误操作。除此之外，还需要满足适度作业负荷水平要求、高绩效操作要求和用户体验要求等。以操作简单、安全可靠、控制灵活的基本设计原则对水下电动臂控制系统进行了详细设计。
38.图2是本发明的一种水下电动机械臂人机交互控制集成系统的系统硬件结构。
39.参见图2，本发明的一种水下电动机械臂人机交互控制集成系统的系统硬件结构由集成在操作台内5台显示器，2台计算机、2台手控器和集成在配电柜内的1台中央控制器等主要部件组成。1台计算机和3台显示器用于显示水下摄像机视频；另一台计算机和2台显示器用于人机交互和系统辅助状态显示。1台中央控制器用于机器人控制。
40.本发明的一种水下电动机械臂人机交互控制集成系统的系统功能模块包括主端控制、任务规划、虚拟场景仿真、安全监控、机械臂伺服控制。图3是本发明的一种水下电动机械臂人机交互控制集成系统的系统功能模块划分图。参见图3系统功能模块划分依据要求，主要分为人机交互控制模块和机械臂运动控制模块两部分。人机交互控制模块与机械臂运动控制模块选用高速实时安全可靠的ethercat通信接口。
41.人机交互控制模块负责人机交互功能，包括主端控制子模块、任务规划子模块、场景仿真子模块和安全监控子模块，模块主要功能包括通信、空间变换和逆变换、系统加减速控制、笛卡尔和关节空间轨迹规划、直线插补、圆弧插补和样条插补、系统逻辑控制、对电机
的控制等。
42.主端控制子模块主要负责机械臂的位置控制、预编程控制、手动控制等模式的人机操作界面中指令的输入功能，实现机械臂的运动记录以及回放控制等功能。位置控制实现机械臂末端从a点到b点自动控制，包括直线、圆弧、自由等轨迹方式，到达位置可分为粗调与精调，在执行前在人机交互界面可进行路径仿真；预编程控制实现预先控制机械臂末端进行相应任务的轨迹规划，使用者沿该路径程序自动执行；手控模式实现末端手柄控制，包括三自由度平动和三自由度转动。
43.主端控制子模块的控制界面分为三级，一级为用户使用界面，二级为标定设置界面，三级为专业维护界面，分别设置不同的管理权限，分配给不同权限的操作人员。用户使用界面包括笛卡尔操作模式、关节操作模式、预编程操作模式和手控制器操作模式；标定设置界面，通过对机械臂末端安装立方块，并通过机械臂末端位姿调节将立方块与舱体对应立方体空间进行配合，运动学反解运算标定机械臂基座坐标值；专业维护界面，包含舱体初始位姿设置、雷达/灯具的开关设置、状态信息在正常/报警/故障的触发阈值设置等。
44.任务规划子模块主要负责预编程中任务的创建、编辑和执行。任务创建包括任务名称设置，运动模式如直线运动、圆运动、关节运动的选择，路径点命名，关节速度及对应加速度设置；任务编辑包括路径添加或插入、删除、重命名等；任务执行则按照已有任务的路径顺序，自动控制机械臂运动。
45.场景仿真模块主要负责显示虚拟3d机械臂水下工作环境，对运动控制指令进行仿真分析，并能与实际机械臂本体实时匹配相应的位置及动作。具体而言，该场景仿真模块通过计算机图形技术，提供一个和机械臂进行交互作用的虚拟环境，将机械臂的运动结果以3d图形的方式显示出来，直观的显示机器人的运动情况。使用者能在计算机屏幕上看到机械臂的运动方式和轨迹规划的结果。
46.安全监控子模块主要负责实时数据显示、漏水、碰撞、绝缘、接地检测等状态反馈及水下相关设备的管理工作。具体而言，该安全监控子模块能够监控水下相机、水下传感器、水下设备的所有状态，对任务运行过程进行全面监控。对安装在机械臂上的监控相机实时视频显示，防止发生碰撞风险；对机械臂关节的连接状态、运动状态、关节位置/速度/电流/温度、末端位姿等机械臂本体数据显示；对漏水、碰撞、绝缘、接地检测等安全状态的反馈及告警信息；对主电源的电压、电流计故障情况的监控；对水下云台、水下警灯、水下开关等水下设备的监控及管理。
47.机械臂运动控制模块包括机械臂伺服控制模块和运动控制硬件。该机械臂伺服控制模块主要负责机械臂的运动控制实施，包括运动接口程序，运动规划系统，以及运动学计算等。运动控制硬件包括机械臂本体和传感器。
48.本发明的机械臂伺服控制模块的负责总线通信、指令解析、运动学正逆解、笛卡尔和关节空间轨迹规划、直线插补、圆弧插补和样条插补，最终实现对机械臂的运动控制。
49.本发明的一种水下电动机械臂人机交互控制集成系统，系统软硬件设计都采用模块化设计思想，减少各功能模块的耦合度，降低系统的复杂度；选用成熟的软硬件模块，进一步减少系统故障，从而从设计方法上来提高系统的可靠性。
50.对机械臂的几种操作模式具体定义如下：
51.(1)位置控制模式：机械臂末端从a点到b点自动控制，包括直线、圆弧、自由等轨迹
方式，到达位置可分为粗调与精调，在执行前在人机交互界面可进行路径仿真；
52.(2)预编程模式：手动控制机械臂末端进行路径规划，再沿原路径程序自动执行；
53.(3)手控模式：末端手动控制模式，包括手柄控制、笛卡尔遥操作及含单关节遥操作模式。
54.机械臂运动控制模块主要负责机械臂的运动控制实施。包括运动接口程序，实现从人机交互控制模块的指令系统到运动控制器运动功能的转换；机械臂的运动规划系统，负责实现机械臂轨迹规划，点动，以及运动学计算等；以及外围安全电路的逻辑程序。
55.图4是本发明的一种水下电动机械臂人机交互控制集成系统的操作界面屏幕功能划分图。
56.参见图4，人机交互控制柜使用两台计算机实现人机交互控制功能，包括场景显示功能、信息(连接信息、任务信息、发送信息、反馈数据等)显示功能、视频(全局与局部视频)显示功能等，交互外设与场景功能计算机的相应接口进行连接。显示屏幕由五块屏幕构成，分别实现场景仿真及控制界面、辅助信息及状态反馈界面、腕部视频界面、肘部视频反馈界面、肩关节相机视频界面。
57.本发明的人机交互控制系统主界面最简化、信息分屏显示、降低误操作。显示屏幕由五块显示器构成，包括场景仿真及控制界面、辅助信息及状态反馈界面、腕部视频界面、肘部视频反馈界面、肩关节相机视频界面。操控台上设置两个急停按钮，可以实现水下电动机械臂以及控制电柜分别通断。
58.本发明的人机交互控制系统提供故障管理和日志文件存储功能。故障的定义设计为故障码、故障描述和解决方法三个字段。故障数据存储于本地的xml文件中，当软件启动时系统自动装载故障数据。日志文件存储可实时将相关指令数据保存于缓存中并更新至硬盘文件。
59.本发明的一种水下电动机械臂人机交互控制集成系统，人机交互计算机(人机交互控制模块)和机械臂控制器(机械臂运动控制模块)选用高可靠性工业控制计算机，增强了控制系统的可靠性。
60.本发明的一种水下电动机械臂人机交互控制集成系统，安全监控模块各子模块与plc通信，采用成熟的rs485和modebus协议；机械臂与安全监控模块的通信采用标准的以太网和modebus tcp协议，具有数据crc校验功能，确保数据传输的可靠性。
61.本发明的一种水下电动机械臂人机交互控制集成系统，对系统及其各功能模块进行严格的测试和实验，对设备进行200小时连续常温老炼试验和公路运输试验(二级公路连续运输350公里，试验后确保测试设备工作正常)，其中常温老练连续加电期间动作次数不小于60次。
62.图5是本发明的一种水下电动机械臂人机交互控制集成系统的人机交互控制模块子系统工作流程图。
63.参考图5，所述人机交互控制模块子系统具有对水下电动机械臂操作控制、运动仿真和水下安全状态监控的功能。人机交互控制模块在启动交互程序后，系统将自动进行初始化，并读取系统的配置文件。开启控制器交互线程则可以连接系统操作界面位置控制、笛卡尔控制和单关节控制的交互控制器；开启3d环境线程后可以读取机械臂系统的3d模型，并实时刷新渲染该模型，从而实现虚拟仿真功能；开启手柄交互线程后则可以通过读取手
柄运动命令用于系统仿真和驱动，从而按照控制水下电动机械臂按照操作者的操作意图实现手动控制和预编程控制。
64.图6是本发明的一种水下电动机械臂人机交互控制集成系统的操作和控制主要界面图。
65.参考图6，所述系统操作主要分为手动操作(触摸屏操作)模式、预编程操作模式、手控器操作模式；系统界面主要分为模型装载界面(专业维护界面)、用户使用界面、标定设置界面，分别设置不同的管理权限，分配给不同权限的操作人员。
66.图7是本发明的一种水下电动机械臂人机交互控制集成系统的笛卡尔空间模式用户界面。
67.参考图7，笛卡尔空间操作界面为水下电动机械臂人机交互控制集成系统的主界面，当系统开机时自动进入该界面，如图7所示，该界面具有下拉框式的选择页面切换功能，可以从用户使用界面切换到专业维护界面和标定设置界面。同时具有用户使用的笛卡尔空间、预编程设置和手柄链接按钮，点击这些按钮可进入相应的用户使用界面。笛卡尔空间操作模式下，可以以末端笛卡尔空间坐标来操作机械臂，通过鼠标拖拽图中相应方向的箭头来实现操作。可以用仿真模式和实物执行模式进行操作，界面上左侧有水下虚拟场景显示区，当为实物控制模式时，动态显示水下电动机械臂的状态；当为仿真模式时，在虚拟场景里只显示虚拟机械臂的位姿，以检验运动指令的正确性。当点击存储按钮是，系统自动保存已运行的轨迹。机械臂的运动速度可以通过界面上的“滑动条”来设置额定速度的百分比来控制。系统界面上设置“急停”按钮，以防水下电动机械臂出现意外的情况，紧急停机。
68.图8是本发明的一种水下电动机械臂人机交互控制集成系统的预编程操作图。
69.参考图8的预编程操作界面，仿真模式和实物模式切换，并高亮显示选择的模式，设定速度与加速度百分比，并对速度大小进行设定，点击预编程模式界面下的预编程流程新建，进入预编程流程新建下的新界面，在该界面下可以进行运动模式的选择，比如直线运动、圆运动等；对路径点进行命名，设置关节速度以及对应加速度，不设置时为默认值；点击添加，该路径建立，然后点击返回，进入主界面下的笛卡尔控制模式界面或者标定设置界面进行机械臂单关节或者末端位姿调节；也可以点击手柄连接，借助手控器实现机械臂末端位姿的调整；以上三种方式都可以先通过仿真模式进行模拟仿真确认安全无误，然后点击实物执行实现机械臂的运动，调整完毕，重新进入预编程界面点击位置保存，添加下一路径点重复执行上述该动作，整个操作流程执行完毕，点击右下角保存，新命名xxxxxx，操作完毕。
70.图9是本发明的一种水下电动机械臂人机交互控制集成系统的单关节/多关节操作图。
71.参考图9，在该单关节/多关节界面下可以实现对机械臂单关节的控制，调节右下角的速度大小，在角度框下输入数值，可以实现机械臂对应关节的运动；手动模式可以通过左右箭头实现各个关节的单自由度方向的偏转，在左侧可以实时观察机械臂模型运动状态，上述几种操作都可以点击仿真模式或者实物执行，仿真模式安全执行便可点击实物执行。
72.图10是本发明的一种水下电动机械臂人机交互控制集成系统的手柄操作模式图。参考图10，当点击手柄连接时，会直接进入手控器连接操纵状态，机械臂运动过程中在右下
方框中可以显示机械臂末端位姿坐标，再次点击时会断开手控器连接，手控器连接会与其他模式独立开，运动前选择运动模式，并对运动速度进行设定，然后在不同模式下开始运动。
73.图11是本发明的一种水下电动机械臂人机交互控制集成系统的手柄控制模式图。参考图11，点击手柄连接，进入手控器连接操纵状态，先进行判断是否进入手控模式，在手控模式下不接受计算机操控，该模式下进行判断是否计算出解进入笛卡尔模式，否则进入关节模式解算出结果。
74.图12是本发明的一种水下电动机械臂人机交互控制集成系统的笛卡尔控制模式图。参考图12，笛卡尔空间操作模式下，可以以末端笛卡尔空间坐标来操作机械臂，通过鼠标拖拽图中相应方向的箭头来实现操作。可以用仿真模式和实物执行模式进行操作，界面上左侧有水下场景显示区，当为实物控制模式时，动态显示水下机械臂的状态；当为仿真模式时，在场景里只显示虚拟机械臂的位姿，以检验运动指令的正确性。当点击存储按钮是，系统自动保存已运行的轨迹。机械臂的运动速度可以通过界面上的“滑动条”来设置额定速度的百分比来控制。
75.图13是本发明的一种水下电动机械臂人机交互控制集成系统的位置控制算法流程图，根据期望角度指令来规划出关节路径，控制单关节或多关节模式移动到期望位置；
76.图14是本发明的一种水下电动机械臂人机交互控制集成系统的预编程模块控制流程图。
77.参考图14，点击用户使用界面中的预编程模式界面，进入该界面，右侧是已经预编程设定好的预编程xx流程，点击对应预编程流程，可以看到对应运功路径点以及运动模式，预编程流程较多的话可以通过导入功能选择已经设置好的预编程流程，界面下方的操作执行功能以及速度的选择与主界面相同，可以点击仿真模式或者实物执行，仿真模式安全执行便可点击实物执行。