一种带电作业机器人作业监控系统的制作方法

本发明属于电力技术领域，具体涉及一种输电线路带电作业机器人的作业监控系统。

背景技术：

目前，我国高压带电作业主要为人工作业。即便已经出现代替人工作业的机器人，其安全性也不能得到保障，仍然需要人工对其作业进行监控。由于输电线路机器人一般采用高空作业，操作人员在地面上通过目视无法及时有效地发现机器人作业过程中发生的故障。我国带电作业机器人起步较晚，目前没有针对输电线路带电作业机器人的监控方案，电网、机器人和操作人员的安全不能得到保障。为避免或减小机器人作业引发的安全事故，需要针对输电线路带电作业机器人设计专用的监控系统。

技术实现要素：

本发明解决的技术问题为，作业人员可通过监控系统远程监控机器人带电作业，保障了作业人员的安全。

为了解决上述技术问题，本发明提供一种带电作业机器人作业监控系统，包括带电作业机器人和监控系统；所述带电作业机器人包括绝缘斗臂车，搭载在绝缘斗臂车上的机器人平台，安装在机器人平台上的机械臂，数据采集系统以及数据处理和控制系统；所述机械臂包括第一机械臂、第二机械臂和辅助机械臂，所述摄像机包括双目摄像头、深度摄像头和全景摄像头，所述第一机械臂、第二机械臂和辅助机械臂上均搭载有双目摄像头；所述第一机械臂、第二机械臂和辅助机械臂均为多自由度机构，多自由度机构中各个关节均具有相应的正交旋转编码器和伺服驱动电机，正交旋转编码器用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；所述数据采集系统包括设置在机器人平台上的摄像机，摄像机用于采集机械臂作业场景图像，并将所述作业场景图像发送给数据处理和控制系统；所述数据处理和控制系统根据所述作业场景图像生成3D虚拟作业场景或者规划出机械臂空间路径，包括第一工控机、第二工控机；所述监控系统的监控对象为：第一机械臂、第二机械臂、辅助机械臂、蓄电池以及作业场景；所述监控系统中的监控设备为：温湿度传感器、压力传感器、电流采集器、电压采集器、数据采集卡、全景摄像头、双目摄像头、深度摄像头；温湿度传感器置于机器人平台上，用于采集作业环境温湿度；压力传感器安装在各机械臂末端，用于采集机械臂与环境的接触力；电压采集器与机械臂各关节的伺服驱动电机相连，用于采集伺服驱动电机的电流的大小；数据采集卡用于各项采集数据转换为数据处理和控制系统所识别的格式；全景摄像头、双目摄像头和深度摄像头拍摄的图像传递给显示器显示；所述监控系统中的人机交互设备为：第二工控机、显示器。

进一步，所述第一工控机将温湿度传感器、压力传感器、电流采集器和电压采集器采集的数据与相应的安全范围值进行比较，如果当前采集的数据在相应的安全范围内，则认为带电机器人作业正常，如果当前采集的数据不在相应的安全范围内，则向第二工控机发送相应的告警信息；第二工控机将相应的告警信息显示在显示器上，操作人员根据显示器显示的告警信息，通过第二工控机做出机械臂动作指令，第二工控机向第一工控机发送机械臂动作指令，第一工控机根据机械臂动作指令控制机械臂动作。

进一步，所述第一工控机将温湿度传感器、压力传感器、电流采集器和电压采集器采集的数据与相应的安全范围值进行比较，如果当前采集的数据在相应的安全范围内，则认为带电机器人作业正常，如果当前采集的数据不在相应的安全范围内，则向第二工控机发送相应的告警信息；第二工控机将相应的告警信息显示在显示器上，同时，第一工控机根据告警信息类型控制机械臂动作。

进一步，全景摄像头、双目摄像头、深度摄像头将图像数据发送给第二工控机，第二工控机将图像数据显示在显示器上，操作人员根据显示器显示的图像监控机器人作业过程，当发现异常情况时，操作人员通过第二工控机做出机械臂动作指令，第二工控机向第一工控机发送机械臂动作指令，第一工控机根据机械臂动作指令控制机械臂动作。

进一步，第二工控机内置图像处理器和带电作业动作序列库，所述带电作业动作序列库中预先存储有各项带电作业对应的动作序列数据；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的机械臂与作业对象之间的相对位置关系，第二工控机所述相对位置关系以及具体带电作业所对应的动作序列规划机械臂的空间路径，并将所述机械臂的空间路径数据发送给第一工控机；第一工控机根据所述机械臂的空间路径控制机械臂动作。

进一步，所述绝缘斗臂车上设置有控制室，所述第一工控机、第二工控机和显示屏设置在控制室内，控制室内还设置有主操作手，主操作手与机械臂为主从操作关系，通过改变主操作手的姿态控制机械臂运动；所述摄像机采集的作业场景图像发送给第二工控机，图像处理器对作业场景图像进行处理后获的3D虚拟作业场景，并送显示器显示。

进一步，所述机械臂或者主操作手为六自由度机构，包括基座，旋转轴方向与基座平面垂直的腰关节，与腰关节连接的肩关节，与肩关节连接的大臂，与大臂连接的肘关节，与肘关节连接的小臂，与小臂连接的腕关节，腕关节由三个旋转关节组成，分别为腕俯仰关节、腕摇摆关节和腕旋转关节；所述六自由度机构中各个关节均具有相应的正交旋转编码器和伺服驱动电机，正交旋转编码器用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；第一工控机根据机械臂各关节角度的期望值，通过控制伺服驱动电机控制按机械臂各关节运动。

本发明与现有技术相比，其显著优点在于，本发明带电作业机器人的作业监控系统同时采集作业现场视频图像数据、机器人自身数据等监控数据，可从多个角度监控机器人作业；当机器人作业出现故障时，作业监控系统能够根据监控数据发现故障并根据故障采取相应的应急措施，作业人员也可以根据视频及机器人数据提前发现可能出现的故障。

附图说明

图1为本发明带电作业机器人一种实施例的整体结构示意图；

图2为本发明中绝缘斗臂车的系统组成框图；

图3为本发明中机器人平台的结构示意图；

图4为本发明中机械臂的结构示意图；

图5是带电作业机器人作业监控系统组成示意图。

图中，1为绝缘斗臂车、2为控制室、3为伸缩臂、4为机器人平台，46为绝缘子、43为第一机械臂、44为第二机械臂、42为辅助机械臂、48为第一工控机、45为双目摄像头、41为全景摄像头、410为深度摄像头、49为蓄电池、47为专用工具箱，431为基座、432为腰关节、433为肩关节、434为大臂、435为肘关节、436为小臂、437为腕关节。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明带电作业机器人作业监控系统的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合附图，监控系统所应用的带电作业机器人包括绝缘斗臂车1、控制室2、伸缩臂3、机器人平台4。其中，绝缘斗臂车1上架设控制室2和伸缩臂3，伸缩臂3末端连接机器人平台4，机器人平台4与控制室2之间采用光纤以太网通信或者无线网络通信。

绝缘斗臂车1可供操作人员驾驶，从而将机器人平台4运输到作业现场。绝缘斗臂车1上装有支撑腿，支撑腿可以展开，从而将绝缘斗臂车1与地面稳固支撑。绝缘斗臂车1上装有发电机，从而给控制室2及伸缩臂3供电。

伸缩臂3设有沿伸缩方向的驱动装置，操作人员可以通过控制驱动装置，从而将机器人平台4升降到作业高度。该伸缩臂3由绝缘材料制成，用于实现机器人平台4与控制室2的绝缘。在本发明中，伸缩臂3可有由剪叉式升降机构或其他机构代替。

控制室2中设置有第二工控机、显示屏、第一主操作手、第二主操作手、辅助主操作手以及通信模块等。

机器人平台4包括绝缘子46、第一机械臂43、第二机械臂44、辅助机械臂42、第一工控机48、双目摄像头45、全景摄像头41、深度摄像头410、蓄电池49、专用工具箱47、通信模块。

机器人平台4的绝缘子46用于支撑第一机械臂43、第二机械臂44、辅助机械臂42，将这三个机械臂的外壳与机器人平台4绝缘。

蓄电池49为第一工控机48、第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410、通信模块供电。

作为一种实施方式，双目摄像头45一共有三个，分别安装在第一机械臂43、第二机械臂44和辅助机械臂42的腕关节437上，负责采集作业场景的图像数据，并将图像数据发送给第二工控机。双目摄像头45由两个光轴平行的工业相机组成，平行光轴之间的距离固定。

深度摄像头410安装在机器人平台4正对作业场景的侧面，负责采集作业场景的景深数据，将景深数据发送给第二工控机。

全景摄像头41通过支架安装在机器人平台4的上方，负责采集作业场景的全景图像数据，将图像数据发送给第二工控机，并显示在显示器上，作业人员可以通过全景图像监控作业场景。

专用工具箱47是放置抓具、扳手等作业工具的场所。机械臂末端安装有工具快换装置。机械臂根据作业任务的类型到专用工具箱47中使用工具快换装置获取作业工具。

控制室2中第一主操作手、第二主操作手以及辅助主操作手是一种用于人工远程操作机械臂的操作装置，他们与第一机械臂43、第二机械臂44和辅助机械臂42构成主从操作关系。机械臂和主操作手具有相同的结构，只是主操作手尺寸规格比机械臂小，以便于操作人员操作。机械臂和主操作手拥有六个关节，每个关节都有光电编码器采集角度数据，各主操作手的微型控制器通过串口将六个关节的角度数据发送给第二工控机。

作为一种实施方式，所述机械臂为六自由度机构，包括基座431，旋转轴方向与基座平面垂直的腰关节432，与腰关节432连接的肩关节433，与肩关节433连接的大臂434，与大臂434连接的肘关节435，与肘关节435连接的小臂436，与小臂436连接的腕关节437，腕关节437由三个旋转关节组成，分别为腕俯仰关节、腕摇摆关节和腕旋转关节；所述六自由度机构中各个关节均具有相应的正交旋转编码器31和伺服驱动电机，正交旋转编码器31用于采集各个关节的角度数据，伺服驱动电机用于控制各关节的运动；第一工控机根据所述机械臂的空间路径解算出各关节的运动角度，控制伺服驱动电机按照所述运动角度控制机械臂各关节运动。

作为一种实施方式，机器人平台4与控制室2之间的数据传输通过光纤有线传输，或者使用无线网络传输。机器人平台4上的通信模块是光纤收发器，光纤收发器用于实现光纤中的光信号与双绞线中的电信号的相互转换，从而在通信上实现机器人平台4与控制室2的电气隔离。控制室2中的通信模块是光纤收发器，光纤收发器用于实现光纤中的光信号与双绞线中的电信号的相互转换，从而在通信上实现机器人平台4与控制室2的电气隔离。

作为一种实施方式，第二工控机可以完成以下任务：

建立动作序列库。预先将各项带电作业任务分解为作用序列，组成动作序列库，存储在第二工控机中，用于机械臂路径规划。

建立作业对象模型库。预先制作各项带电作业任务所涉及的作业对象的三维模型和目标识别模型，例如，根据电力塔杆、电线、耐张绝缘子、隔离刀闸、避雷器等器件实物，制作三维模型和目标识别模型，用于带电作业机器人自动识别作业对象，构建作业场景三维虚拟场景。

建立机械臂和专用工具模型库。预先制作机械臂和专用工具的三维模型和目标识别模型，例如，扳手等，用于带电作业机器人自动构建作业场景三维虚拟场景，规划机械臂空间路径。

获取图像数据。获取全景图像、深度图像和双目图像的数据信息。

根据图像数据识别和跟踪作业目标。

获取主操作手的角度、角速度和角加速度数据，获取机械臂的角度、角速度和角加速度数据。

对相关图像数据进行处理和计算，获取机械臂位置，获取作业对象的位置，获取机械臂与作业对象之间的相对位置，并根据相对位置和作业任务规划机械臂的空间路径。

根据图像数据构建作业对象三维场景，根据机械臂角度信息和作业对象三维场景获得机械臂与作业对象的相对位置，并根据相对位置和作业任务规划机械臂的空间路径。

对相关图像数据进行处理和计算，构建3D虚拟作业场景，送显示器显示，操作人员根据3D虚拟作业场景监控作业过程。与全景图像相比，3D虚拟作业场景综合和深度图像信息和双目图像信息，对机器臂与作业对象之间、机械臂之间、作业对象与作业环境之间的相对位置的判断更精确，且不会存在视觉死角。因此，操作人员通过3D虚拟作业场景进行作业监控，操作精度更高，可以防止碰撞发生，提高了安全性。同时，3D虚拟作业场景显示在控制室2中的显示器上，远离机械臂作业现场，提高了人作业人员的人身安全。

作为一种实施方式，第一工控机可以完成以下任务：

根据第二工控机发送的主操作手各关节的角度信息，控制机械臂各关节的运动。

获取第二工控机发送的机械臂的空间路径数据，根据作业任务的动作序列，解算出机械臂各关节的角度数据运动量，并控制机械臂各关节运动。

本发明中，第一机械臂和第二机械臂相互配合，可以模仿人的两个手的作业顺序完成带电作业。考虑到灵活性，可以再增加一个强壮的辅助机械臂，此时，辅助机械臂专司器件夹持等力道大的动作，第一机械臂和第二机械臂则进行相关业务操作。

根据第二工控机和第一工控机完成的不同任务的组合，本发明带电作业机器人既可以由作业人员进行远程摇操作以完成带电作业，又可以进行自主带电作业。在进行带电作业之前，作业人员先通过观察全景图像，将机器人平台4移动至作业对象附近。

如果选择人工远程摇操作，则由第二工控机根据数目图像和深度图像构建3D虚拟作业场景并送显示器显示，作业人员通过3D虚拟作业场景监控操作过程，通过主操作手控制机械臂的动作，以完成带电作业。在此过程中，作业人员改变主操作手姿态后，主操作手中各关节的光电编码器采集各关节角度，各主操作手的微型控制器通过串口将各关节的角度数据发送给第二工控机。第二工控机将主操作手各关节的角度数据作为机械臂各关节角度的期望值发送给第一工控机，第一工控机根据角度期望值通过伺服电机控制机械臂各关节的运动，已完成带电作业。

如果选择自主作业，则由第二工控机根据数目图像和深度图像计算获取作业对象和机械臂之间的相对位置关系，然后依据作业任务所对应的动作序列进行机械臂空间路径规划，并将空间路径发送给第一工控机，第一工控机解算出机械臂各关节需要转动的角度数据作为机械臂各关节角度的期望值，通过伺服电机控制机械臂各关节的运动，已完成带电作业。

在本发明中，被监控对象包括：第一机械臂43、第二机械臂44、辅助机械臂42、和蓄电池；

在本发明中，监控数据获取设备包括：温湿度传感器、压力传感器、电流采集器、电压采集器、全景摄像头41、双目摄像头45、深度摄像头410、数据采集卡；

在本发明中，监控数据收集设备包括：第一工控机；

人机交互设备包括：第二工控机、显示器。

温湿度传感器安装在机器人平台4上，用于采集作业环境的温度和湿度。

压力传感器安装在第一机械臂43、第二机械臂44和辅助机械臂42的腕关节437末端，用于采集机械臂与环境的接触力。

电流采集器与第一机械臂43、第二机械臂44和辅助机械臂42的每个关节的伺服驱动电机相连，用于采集驱动电机的电流的大小。

电压采集器与蓄电池的正负极连接，用于采集蓄电池的电压的大小。

数据采集卡安装在第一工控机48上，用于获取温湿度传感器、压力传感器、电流采集器以及电压采集器采集的采集数据，并将这些数据转换成计算机容易处理的数据格式。

第一工控机将各个传感器的数据与其安全范围的数据相比较，如果当前采集到某一传感器的数据在安全范围内，则不处理，如果当前采集到某一传感器的数据在安全范围外，则将对应数据的错误指令发送到第二工控机。

具体故障分类及措施：

环境温度过低：第一工控机48获取温湿度传感器采集的温度数据，将该温度数据的值与存储在第一工控机48内的温度数据的安全范围的值的大小进行比较，若该温度数据的值小于安全范围的值，则发生环境温度过低故障。第一工控机48将环境温度过低的故障指令发送给第二工控机，第二工控机将环境温度过低的故障信息显示在显示屏上。操作人员输入全平台停止工作指令，第二工控机将该指令发送给第一工控机48，第一工控机48依次控制第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410关闭。

环境温度过高：第一工控机48获取温湿度传感器采集的温度数据，将该温度数据的值与存储在第一工控机48内的温度数据的安全范围的值的大小进行比较，若该温度数据的值大于安全范围的值，则发生环境温度过高故障。第一工控机48将环境温度过高的故障指令发送给第二工控机，第二工控机将环境温度过高的故障信息显示在显示屏上。操作人员输入全平台停止工作指令，第二工控机将该指令发送给第一工控机48，第一工控机48依次控制第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410关闭。

环境湿度过高：第一工控机48获取温湿度传感器采集的湿度数据，将该湿度数据的值与存储在第一工控机48内的湿度数据的安全范围的值的大小进行比较，若该湿度数据的值大于安全范围的值，则发生环境湿度过高故障。第一工控机48将环境湿度过高的故障指令发送给第二工控机，第二工控机将环境湿度过高的故障信息显示在显示屏上。操作人员输入全平台停止工作指令，第二工控机将该指令发送给第一工控机48，第一工控机48依次控制第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410关闭。

机械臂接触压力过大：第一工控机48获取压力传感器采集的压力数据，将该压力数据的值与存储在第一工控机48内的压力数据的安全范围的值的大小进行比较，若该压力数据的值大于安全范围的值，则发生机械臂接触压力过大故障。第一工控机48将机械臂接触压力过大的故障指令发送给第二工控机，第二工控机将机械臂接触压力过大的故障信息显示在显示屏上。操作人员输入机械臂停止工作指令，若第二工控机处于自主工作模式，第二工控机将退出自主工作模式并将机械臂停止工作指令发送给第一工控机48，第一工控机48控制第一机械臂43、第二机械臂44、辅助机械臂42停止工作。

机械臂负载过大：第一工控机48获取电流采集器采集的电流数据，将该电流数据的值与存储在第一工控机48内的电流数据的安全范围的值的大小进行比较，若该电流数据的值大于安全范围的值，则发生机械臂负载过大故障。第一工控机48将机械臂负载过大的故障指令发送给第二工控机，第二工控机将机械臂负载过大的故障信息显示在显示屏上。操作人员输入机械臂停止工作指令，若第二工控机处于自主工作模式，第二工控机将退出自主工作模式并将机械臂停止工作指令发送给第一工控机48，第一工控机48控制第一机械臂43、第二机械臂44、辅助机械臂42停止工作。

蓄电池欠压：第一工控机48获取电压采集器采集的电压数据，将该电压数据的值与存储在第一工控机48内的电压数据的安全范围的值的大小进行比较，若该电压数据的值小于安全范围的值，则发生蓄电池欠压故障。第一工控机48将蓄电池欠压的故障指令发送给第二工控机，第二工控机将蓄电池欠压的故障信息显示在显示屏上。操作人员输入全平台停止工作指令，第二工控机将该指令发送给第一工控机48，第一工控机48依次控制第一机械臂43、第二机械臂44、辅助机械臂42、全景摄像头41、双目摄像头45、深度摄像头410关闭。操作人员为蓄电池充电。该监控系统的工作过程分为自动检测监控和人工远程监控两个部分。

自动检测监控按照以下步骤进行：

步骤1，数据采集卡采集温湿度传感器、压力传感器、电流采集器、电压采集器测量得到的数据；

步骤2，根据湿度传感器、压力传感器、电流采集器、电压采集器各自的标定数据表，第一工控机48将步骤1采集得到的数据转换成便于人类识别的数据；

步骤3，第一工控机48将步骤2得到的数据与安全范围数据表对比，如果步骤2得到的数据超出安全数据表范围，第一工控机48将超出安全数据表范围的数据的错误指令发送给第二工控机；

步骤4，第二工控机接收错误指令，将错误指令显示在显示屏上；

步骤5，操作人员根据错误指令决定是否需要输入紧急停止指令。

人工远程监控按照以下步骤进行：

步骤1，全景摄像头41、双目摄像头45、深度摄像头410将图像数据发送给第二工控机；

步骤2，第二工控机将步骤1中的图像数据显示在显示屏上。

步骤3，操作人员根据显示的图像监控机器人作业过程，发现其中可能出现的故障，决定是否需要输入紧急停止指令。