基于人机交互的移动机器人实时远程控制系统的制作方法

本发明属于远程无人操作电子控制技术领域，涉及一种基于人机交互的移动机器人实时远程控制系统。

背景技术：

目前，随着人工智能技术的快速发展，各种机械设备的控制正在由远程遥操作控制向机器自主操作控制转变，大数据、云计算、数据挖掘、机器学习等技术迅速发展，且智能制造已上升为国家战略，成为全球热点。但是，在很多情况下利用机器自主执行具有很大缺陷，仍需要人工远程参与，远程遥操作技术仍然占据着无法被取代的地位，在一些高危环境作业，如抗震救灾、抗洪抢险、高空吊物作业、深井挖掘作业、深海捕捞作业等作业场景以及一些娱乐场合，如水族观光、浅海拍摄等场景都离不开远程遥操作。目前，现有的技术，实现方法复杂，不易于维修，且成本较高，存在一定的缺陷。

技术实现要素：

针对现有技术的不足，本发明提供一种易于硬件实现的低成本、嵌入性强、实时性好，适合应用于多种环境下的嵌入式实时远程无人操作控制系统，通过本地主控机与远端主控机间的实时的双向信息传送，使得操作人员在本地主控终端就可以通过图像、声音与传感器数据信息实时地监视远端工作现场的状况，并作出判断，利用手中的控制手柄对远端现场的四驱平台的运动以及机械手的动作进行实时的精确的控制，从而实现更加便捷准确的可视化、可交互、低成本的远程无人操作。

本发明是这样实现的：

一种基于人机交互的移动机器人实时远程控制系统，其包括本地主控终端、通信系统和远端执行器，所述通信系统分别与所述本地主控终端和所述远端执行器连接，从而实现所述本地主控终端与所述远端执行器间的实时双向通信；所述通信系统包括有线通信和无线通信；所述本地主控终端包括本地主控机、头戴vr显示器、头部姿态传感器、耳机与外置声卡和控制手柄，所述头戴vr显示器、头部姿态传感器、耳机与外置声卡和控制手柄分别与所述本地主控机相连；所述远端执行器包括远端主控机、视频音频采集机构、运动机构、机械手执行机构以及现场环境与器件状态传感机构，所述视频音频采集机构、运动机构、机械手执行机构以及现场环境与器件状态传感机构分别与所述远端主控机相连，所述视频音频采集机构包括摄像头、摄像头姿态控制板卡、两自由度机械臂以及拾音器与外置声卡，所述运动机构包括运动控制板卡、惯性传感器和四驱平台，所述机械手执行机构包括机械手动作控制板卡和机械手，所述机械手包括机械臂和机械爪，所述现场环境与器件状态传感机构包括现场环境信息传感器、器件状态信息传感器以及数据采集与处理板卡；所述头部姿态传感器安装于操作人员所戴的头盔上，将多传感器信息融合得到精确的操作人员头部的姿态信息通过所述通信系统发送至所述远端执行器，所述远端主控机传输至所述摄像头姿态控制板卡进行处理后，生成所述两自由度机械臂的姿态控制信号，所述两自由度机械臂的摆动姿态与操作人员的头部姿态保持一致；所述控制手柄上设有用于控制所述远端执行器的运动机构和机械手执行机构的控制摇杆与旋钮，所述控制手柄给出的控制信号经所述本地主控机通过所述通信系统发送至所述远端主控机，并分别发送给所述运动控制板卡和机械手动作控制板卡，所述控制摇杆给出运动机构的运动控制信号，所述旋钮给出所述机械手执行机构的机械臂摆动角度与机械爪张合角度控制信号，所述运动机构的运动控制板卡接收到控制摇杆给定的运动控制信号后，将其转化为相应的四路pwm波，对所述四驱平台的四个直流电机的转速与正反转进行控制，同时，连接在所述运动控制板卡上的惯性传感器采集所述四驱平台运动的直线加速度与转弯角速度信息并反馈，进而实现对所述四驱平台的前进、后退以及转向的闭环控制；所述机械手执行机构的机械手动作控制板卡接收到所述旋钮给定的角度控制信号后，将其转化为相应的三路pwm波，对所述机械手的机械臂和机械爪的三个舵机进行控制，进而实现对所述机械臂摆动角度以及机械爪张合角度的控制；所述数据采集与处理板卡将所述现场环境信息传感器采集的现场环境信息和器件状态传感器采集的设备状态信息数据进行处理后，由所述远端主控机通过所述通信系统发送到所述本地主控机，在所述头戴vr显示器内进行显示；所述摄像头固定于所述两自由度机械臂的顶端，所述摄像头拍摄的现场画面经所述远端主控机压缩后传输至所述本地主控机进行解压，并通过所述头戴vr显示器进行显示，所述两自由度机械臂的底端和所述远端主控机固定在减震平台上，所述减震平台安装在所述四驱平台上，所述远端主控机通过所述拾音器与外置声卡采集现场的音频数据，通过通信系统发送到所述本地主控机，由所述耳机与外置声卡进行播放。

优选的，所述通信系统通过一对无线网桥实现无线通信，通过电力载波模块和电力载波线实现有线通信。

优选的，所述头部姿态传感器固定在头盔的顶端和两侧。

优选的，所述摄像头为能夜视的免驱高清红外单目摄像头。

优选的，所述数据采集与处理板卡外接多种传感器，包括环境温湿度传感器、气压高度传感器、光照强度传感器、油箱液位传感器、电机负载电流传感器和振动传感器。

与现有技术相比，本发明具有以下有益效果：

本发明的基于人机交互的移动机器人实时远程控制系统，包括本地主控终端、远端执行器和通信系统。本地主控终端的头部姿态传感器对操作人员的头部俯仰和水平转动信息进行采集，经本地主控机接收并通过通信系统发送至远端执行器，由视频音频采集机构的摄像头姿态控制板卡生成两自由度机械臂的控制信号，使两自由度机械臂动作姿态与操作人员的头部动作姿态保持一致，安装在两自由度机械臂顶端与两自由度机械臂一起随动的摄像头实时地拍摄工作现场画面，图像信息经远端执行器的远端主控机通过通信系统发送至本地主控终端的本地主控机，在操作人员的头戴vr显示器上进行显示。远端执行器的视频音频采集机构通过拾音器与外置声卡采集工作现场的声音信息，经远端主控机通过通信系统发送至本地主控机，由与本地主控机相连的耳机与外置声卡进行播放，可实现对远端工作现场进行音频采集的功能。与远端主控机连接的数据采集与处理板卡，可以根据实际需要连接多种传感器，实现对现场环境信息以及设备自身工作状态信息的实时检测，传感器信息被处理后经远端主控机通过通信系统发送回本地主控机，在界面上进行显示。同时，本地操作人员可以根据实时传回的远端现场的视频﹑音频以及传感信息，利用手中的控制手柄对远端现场的四驱平台的运动以及机械手的动作进行实时的精确的控制。本发明在远程无人操作设备上安装有多信息采集功能的ar随动平台，通过对现场的图像、声音、设备状态与环境参数等多种信息的采集以及在本地主控终端的头戴vr显示器上的显示，实现更加便捷准确的可视化、可交互、低成本、低延时的远程无人操作，使得操作人员可以安全、准确、高效的进行远程无人操作。

附图说明

图1为本发明的基于人机交互的移动机器人实时远程控制系统的结构示意图；

图2为本发明的实时远程控制系统的接线图；

图3为本发明的头部姿态传感器在头盔上的位置；

图4为本发明的运动机构控制方框图。

具体实施方式

以下将参考附图详细说明本发明的示例性实施例、特征和性能方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

如图1所示，一种基于人机交互的移动机器人实时远程控制系统，其包括本地主控终端1、通信系统2和远端执行器3，通信系统2分别与本地主控终端1和远端执行器3连接，从而实现本地主控终端1与远端执行器3之间的实时双向通信；通信系统2包括有线通信和无线通信，通过一对无线网桥实现无线通信，通过电力载波模块和电力载波线实现有线通信；本地主控终端1包括本地主控机11、头戴vr显示器13、头部姿态传感器12、耳机与外置声卡14和控制手柄15，头戴vr显示器13、头部姿态传感器12、耳机与外置声卡14和控制手柄15分别与本地主控机11相连，远端执行器3包括远端主控机31、视频音频采集机构、运动机构、机械手执行机构以及现场环境与器件状态传感机构，视频音频采集机构、运动机构、机械手执行机构以及现场环境与器件状态传感机构分别与远端主控机31相连，视频音频采集机构包括摄像头32、两自由度机械臂33、摄像头姿态控制板卡34以及拾音器与外置声卡35，运动机构包括运动控制板卡38、惯性传感器37和四驱平台36，机械手执行机构包括机械手动作控制板卡40和机械手43，机械手43包括机械臂和机械爪，现场环境与器件状态传感机构包括现场环境信息传感器41、器件状态信息传感器44以及数据采集与处理板卡39；头部姿态传感器12安装于操作人员所戴的头盔上，将多传感器信息融合得到精确的操作人员头部的姿态信息通过通信系统2发送至远端执行器3，远端主控机31传输至摄像头姿态控制板卡34进行处理后，生成两自由度机械臂33的姿态控制信号，两自由度机械臂33的摆动姿态与操作人员的头部姿态保持一致；控制手柄15上设有用于控制远端执行器3的运动机构和机械手执行机构的控制摇杆与旋钮，控制手柄给出的控制信号经本地主控机11通过通信系统2发送至远端主控机31，并分别发送给运动控制板卡38和机械手动作控制板卡40，控制摇杆给出运动机构的运动控制信号，旋钮给出机械手执行机构的机械臂摆动角度与机械爪张合角度控制信号，运动机构的运动控制板卡38接收到控制手柄15给定的运动信号后，将其转化为相应的四路pwm波，对四驱平台36的四个直流电机的转速与正反转进行控制，同时，连接在运动控制板卡38上的惯性传感器37采集四驱平台36的运动的直线加速度与转弯角速度信息并反馈，进而实现对四驱平台36的前进、后退以及转向的闭环控制；机械手执行机构的机械手动作控制板卡40接收到控制手柄15给定的角度控制信号后，将其转化为相应的三路pwm波，对机械手43的机械臂和机械爪的三个舵机进行控制，进而实现对机械臂摆动角度以及机械爪张合角度的控制；数据采集与处理板卡39将现场环境信息传感器41采集的现场环境信息和器件状态信息传感器44采集的设备状态信息数据进行处理后，由远端主控机31通过通信系统2发送到本地主控机11，在头戴vr显示器13内进行显示；摄像头32固定于两自由度机械臂33的顶端，摄像头32拍摄的现场画面经远端主控机31压缩后传输至本地主控机11进行解压，并通过头戴vr显示器13进行显示，两自由度机械臂33的底端和远端主控机31固定在四驱平台36上，远端主控机31通过拾音器与外置声卡35采集现场的音频数据，通过通信系统2发送到本地主控机11，由耳机与外置声卡14进行播放。

优选的，摄像头32为能夜视的免驱高清红外单目摄像头，使得机器人在夜间或无光的条件下也能正常进行工作。

优选的，数据采集与处理板卡39外接多种传感器，包括环境温湿度传感器、气压高度传感器、光照强度传感器、油箱液位传感器电机负载电流传感器和振动传感器等，对现场环境信息和设备工作状态信息进行采集，各个传感器可以灵活的嵌入到远端执行器的各个设备内，传感器可根据具体的现场工作需要进行选择性使用，具有灵活性。

优选的，本发明的本地主控机与远端主控机中运行的均为在linux系统下利用qt平台自行开发的人机交互软件系统。远程控制系统的硬件部分具有很好的抗震特性以及防尘防爆特性，所有的固定螺钉全部采用高强度厌氧型螺纹锁固剂进行加固，所有的元器件均采用环氧树脂进行密封。

在本实施例中，如图2所示，本地主控终端1的本地主控机11与远端执行器3的远端主控机31均采用第3代加强型树莓派，通过本地主控机11与远端主控机31间的双向信息传送，使得操作人员在本地主控终端1就可以通过图像、声音与传感器数据信息实时地监视远端工作现场的状况，并作出判断，利用手中的控制手柄对远端现场的四驱平台的运动以及机械手的动作进行实时的精确的控制，从而实现更加便捷准确的可视化﹑可交互﹑低成本﹑低延时的远程无人操作。本地主控机11与远端主控机31均设有100mb带宽网线接口，根据此系统应用场景不同，通信系统2可以采用有线或无线的通信方式，其中，无线通信方式由一对5.8ghz的无线网桥实现，有线通信方式由电力载波模块和电力载波线实现，在两种通信方式中，通信系统均通过网线与本地主控机11和远端主控机31相连接。本地主控机11通过hdmi接口外接头戴vr显示器13，通过3.5mm音频接口外接外置声卡与耳机，通过两个usb接口分别外接头部姿态传感器12与控制手柄15。本地主控机11和远端主控机31参与数据处理与传输；头戴vr显示器13负责图像与数据的显示；耳机与外置声卡14对远端主控机31通过拾音器与外置声卡35采集的现场音频数据进行播放；头部姿态传感器12安装于操作人员所戴头盔的不同位置，采用多传感器信息融合技术得到精确的操作人员头部姿态信息，通过usb转ttl串口线ch340将采集的操作人员头部姿态信息传输至本地主控机11，并存储至本地主控机11发送数据缓冲区中，通过通信系统2发送到远端主控机31后，发送给视频音频采集机构的摄像头姿态控制板卡34。控制手柄15上具有远端执行器运动机构以及机械手执行机构的控制摇杆与旋钮，通过adc对摇杆与旋钮中电位器端电压进行采样，将其转化为运动机构以及机械手执行机构控制所需的原始数字量，进而，本地操作人员可以通过控制手柄上的两个摇杆给出远端运动机构的前进、后退、左转与右转等控制信号，通过旋转控制手柄15上的三个电位器的旋钮给出远端机械手执行机构的机械臂摆动角度与机械爪张合角度的控制信号，控制手柄15给出的控制信号也通过usb转ttl串口线ch340传输至本地主控机11，并存储至本地主控机11发送数据缓冲区中。

在远端执行器3部分，远端执行器中的摄像头姿态控制板卡34、运动控制板卡38与机械手动作控制板卡40均采用嵌入式stm32开发板，各个板卡与远端主控机31间均通过usb转ttl串口线ch340进行通信，拾音器与外置声卡35与远端主控机31间直接通过usb接口进行连接，数据采集与处理板卡39利用远端树莓派自带的串口进行数据的上传。

远端执行器视频音频采集机构中，摄像头姿态控制板卡34接收到本地主控机11发送数据缓冲区中的头部姿态传感器数据后，将其转化为两自由度机械臂电机的控制信号，控制两自由度机械臂水平和俯仰方向的旋转，使得两自由度机械臂33的动作实时模仿操作人员头部的动作。摄像头32采用树莓派配套的csi接口摄像头，通过15针的csi排线直接与远端树莓派csi接口连接，通过远端树莓派直接进行视频采集；拾音器与外置声卡与远端树莓派的usb接口直接相连，通过远端树莓派直接进行音频的采集。

远端执行器运动机构中，采用adrc控制器，运动控制板卡38接收到本地主控机11发送数据缓冲区中的控制手柄15给定的运动信号后，对其进行量化与相应处理，转化为相应的四路pwm波，对四驱平台36的四个直流电机的转速与正反转进行控制，同时，连接在运动控制板卡38上的惯性传感器37采集四驱平台36运动的直线加速度与转弯角速度信息并反馈，进而实现对四驱平台36的前进、后退以及转向的精确闭环控制。

远端执行器机械手执行机构中，机械手动作控制板卡40接收到本地主控机11发送数据缓冲区中的控制手柄给定的动作信号后，同样对其进行量化与相应处理，将其转化为相应的三路pwm波，对机械手43的机械臂和机械爪的三个舵机进行控制，进而实现对机械臂摆动角度以及机械爪张合角度的控制。

远端执行器现场环境与器件状态传感机构中，数据采集与处理板卡39将采集的环境信息与设备状态信息数据进行处理后，通过串口发送至远端主控机31的数据发送缓冲区中，由通信系统发送到本地主控机11，在头戴vr显示器13内进行显示。

在通信系统2部分，本地主控机11与远端主控机31均设有100mb带宽网线接口，采用的是tcp/ip协议，实现本地主控机的数据发送与接收缓冲区和远端主控机的数据发送与接收缓冲区间的数据双向传输。此外，根据此系统应用场景不同，通信系统可以选择性的采用有线或无线的通信方式，如用在陆地上，可以采用5.8ghz的无线网桥进行通信，若用在水下，则采用一对电力载波模块通过零浮力电力载波线进行通信，具体采用哪种通信方式需要根据实际情况自行选择，有较强的灵活性。

如图3所示，头部姿态传感器12固定在头盔的顶端和两侧，操作人员的头部姿态的精确获得由三个头部姿态传感器通过数据融合以及卡尔曼滤波算法实现。其中，头盔顶端的2号头部姿态传感器作为主传感器，两端的1号与3号头部姿态传感器作为辅助传感器。每个头部姿态传感器均由嵌入式stm32开发板与惯导模块gy-901组成，二者间采用iic同步通信方式进行通信，其中gy-901模块包括三轴的陀螺仪传感器，三轴的加速度计传感器和三轴磁力计传感器。对于主传感器与辅助传感器中三轴陀螺仪传感器的三个轴的方向的设定为：2号主传感器中，z轴垂直指向上方，x轴水平指向正前方，y轴垂直于x轴与z轴，水平指向左端，利用z轴进行头部水平转动角度的测量，利用y轴进行头部俯仰角度的测量；1号辅助传感器中，z轴垂直指向下方，y轴水平指向后方，x轴垂直于z轴与y轴，水平指向右端，利用z轴得到与主传感器z轴测得的符号相反的头部水平转动的角度值，利用x轴得到与主传感器y轴测得的符号相反的头部俯仰角度值；3号辅助传感器中，z轴垂直指向下方，y轴水平指向前方，x轴垂直于z轴与y轴，水平指向左端，利用z轴得到与主传感器z轴测得的符号相反的头部水平转动的角度值，利用x轴得到与主传感器y轴测得的符号相同的头部俯仰角度值；在三个头部姿态传感器中，利用陀螺仪输出值进行四元数姿态解算得到三个方向上的欧拉角，利用磁力计与加速度计配合使用得到三个方向上的另外一组欧拉角，提取其中可表征头部姿态的有效角度，再对得到的两组头部姿态数据进行互补融合处理。辅助传感器的stm32开发板分别对相应的子模块数据进行采集滤波以及对不同计算方式得到的头部姿态角度进行互补融合处理,利用iic通信将数据汇总至主传感器的stm32开发板并融合处理后，再通过ch340串口线将处理后的头部姿态角度数据发送至本地主控机的数据发送缓冲区，并通过通信系统2向远端执行器3进行发送。

如图4所示，为系统运动机构控制方框图，在系统运动机构控制算法的设计中，控制器采用adrc控制器，针对四驱平台直线速度控制以及转弯角度控制的两个二阶子系统分别采用三阶扩张状态观测器(eso)对两个状态量以外的变量以及总扰动进行估计并在控制器中进行补偿，实现系统快速响应以及扰动自动抑制的目的。

本地主控终端的控制手柄15上有两个相互独立的摇杆电位器，其中一个负责四驱平台直线运动速度信号的给定，另外一个负责四驱平台左右转向角度信号的给定，两个控制信号均为使用adc对电位器端电压进行采样后的原始数字信号。

本地主控机接收到两个摇杆给出的四驱平台原始控制信号后，通过通信系统2发送至远端主控机31，再由ch340串口线传输至运动控制板卡。

在系统运动机构控制算法的设计中，控制器的设计过程具体如下：

在运动控制板卡中对接收到的原始控制信号进行量化与限幅处理，将信号转换为四驱平台控制器的运动速度给定信号u1^*(t)与转弯角度给定信号u2^*(t)，下面简称速度给定与角度给定。系统的输出量——四驱平台运动转弯角度a与直线速度u均采用安装在四驱平台上的惯导传感器通过姿态解算与数据处理获得，下面简称当前转弯角度与当前直线速度。

进而，对于四驱平台直线速度控制部分，为速度给定u1^*(t)安排过渡过程u11(t)并提取其微分信号u12(t)，在此，取四驱平台直线运动的速度与加速度作为直线运动的两个状态变量x1与x2，将四驱平台直线运动时所受到的干扰量扩张为第三个状态变量x3,根据四驱平台直线速度输入信号u1(t)与当前直线速度信号u估计出四驱平台直线运动三个状态的估计值z11、z12与z13，其中，估计值z11、z12作为当前直线速度与加速度的反馈值，与u11(t)和u12(t)分别做差，得到直线速度与加速度误差信号e11(t)与e12(t)，再通过对e11(t)与e12(t)的非线性组合得到误差反馈律，进而得到误差反馈控制量u01(t)，接着利用扰动估计值z13对u01(t)进行补偿，得到平台作直线运动时作用在四驱平台上的最终控制量。四驱平台转弯角度的控制与上述的直线运动速度控制的过程原理相同。此外，图中控制信号融合环节保证了速度控制与转弯控制互不影响，即当转弯角度给定为零，运动速度给定不为零时，四驱平台单独做速度可控的直线运动；当运动速度给定为零，转弯角度给定不为零时，四驱平台单独做角度可控的原地旋转运动；当运动速度给定不为零，转弯角度给定也不为零时，四驱平台做大弧度的转弯运动。

综上，本发明的基于人机交互的移动机器人实时远程控制系统在具体工作时，本地主控终端的头部姿态传感器对操作人员的头部俯仰和水平转动信息进行采集，经本地主控机接收并通过通信系统发送至远端执行器，由视频音频采集机构的摄像头姿态控制板卡生成两自由度机械臂的控制信号，使两自由度机械臂动作姿态与操作人员的头部动作姿态保持一致，安装在两自由度机械臂顶端与两自由度机械臂一起随动的摄像头实时地拍摄工作现场画面，图像信息经远端执行器的远端主控机通过通信系统发送至本地主控终端的本地主控机，在操作人员的头戴vr显示器上进行显示。远端执行器的视频音频采集机构通过拾音器与外置声卡采集工作现场的声音信息，经远端主控机通过通信系统发送至本地主控机，由与本地主控机相连的耳机与外置声卡进行播放，可实现对远端工作现场进行音频采集的功能。与远端主控机连接的数据采集与处理板卡，可以根据实际需要连接多种传感器，实现对现场环境信息以及设备自身工作状态信息进行检测，传感器信息被处理后经远端主控机通过通信系统发送回本地主控机，在界面上进行显示。同时，本地操作人员可以根据实时传回的远端现场的视频﹑音频以及传感信息，利用手中的控制手柄对远端现场的四驱平台的运动以及机械手的动作进行实时的精确的控制。本发明在远程无人操作设备上安装有多信息采集功能的ar随动平台，通过对现场的图像、声音、设备状态与环境参数等多种信息的采集以及在本地主控终端的头戴vr显示器上的显示，实现更加便捷准确的可视化、可交互、低成本、低延时的远程无人操作，使得操作人员可以安全、准确、高效的进行远程无人操作。

最后应说明的是：以上所述的各实施例仅用于说明本发明技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。