本发明属于工业机器人技术领域，具体涉及基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统及其控制方法。
背景技术：
作为人类开发利用资源和进行基础建设的有力工具之一，采掘装载机在能源开发，交通建设，设施修建，抢险救灾等方面一直发挥着极其重要的作用。但采掘装载机的作业环境比较恶劣，如存在有害毒气体、瓦斯、高温、易崩塌等情况，操作人员的安全和健康都受到严重的威胁。因此，长期以来，人们一直在谋求更省力、更高效，智能化和实现精确轨迹控制的采掘作业模式，实现工程机械的智能控制和无人化运行。目前国际工程机械的发展正逐步向机、电、液一体化及信息化的方向发展。机器人化的采掘装载机即采掘装备将是替代人在繁重、危险、恶劣环境下作业必不可少的工具，也是国家重点发展的关键技术装备。但是从整体上看，无论从单机智能化工程机械种类，还是研究和开发的深度，与技术先进国家相比都还存在很大的差距。对工程机械产品进行信息化智能化改造升级，加快我国工程机械产品的升级换代与产品结构调整，实现新一代工程机械的自主创新性设计，提高我国工程机械产品的国际竞争力，促进产业化的形成，将是我国工程机械达到国际先进水平的必由之路。
立体视觉技术的开创性工作是从六十年代中期开始的。美国mit的robert完成的三维景物分析工作，把过去的二维图形分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随后的二十年中迅速发展成为一门新的学科。特别是七十年代末，marr创立的视觉计算理论对立体视觉的发展产生了巨大影响，现已形成了从图像获取到最终的景物可视表面重建的完整体系。经过二十多年的研究，立体视觉技术在机器人视觉、航空测绘、军事应用、医学诊断及工业检测中的应用越来越广泛，研究方法从早期的以统计理论为基础的相关匹配，发展到具有很强生理学背景的特征匹配，从串行到并行，从直接依赖于传输信号的低层次处理到依赖于特征、结构、关系和知识的高层次处理，性能不断提高，其理论正处于不断发展与完善之中。但我国的立体视觉技术发展较晚，与国外相比，尤其是智能装备制造方面存在不小的差距。
技术实现要素：
为解决以上问题，本发明的目的在于提供基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统及其控制方法，该多功能无人操作智能巷道采掘装备系统及其控制方法克服了现有技术的不足，能实现多功能采掘装备的自动行走与定位，并能通过无线通信实现远程操作，无需操作人员进入现场，解决了危险环境下采掘、装载难题，同时也可对巷道内环境进行实景监控，将现场图像数据实时、准确传输到地面监控室，保证了人员的安全。
本发明基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统及其控制方法的技术方案是：一种基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统，包括驾驶室、输送机构、行走移动单元，其特征在于：所述智能巷道采掘装备系统还包括巷道采掘装备臂作业控制单元、三目视觉识别系统、机器人控制系统、无线数据传输系统、状态参数监测系统、上位机控制系统、声光报警系统和状态信息显示单元；
所述巷道采掘装备臂作业控制单元包括机器人臂和巷道采掘装载工具；所述机器人臂为五轴结构；所述巷道采掘装载工具包括采掘工具、钻机和空气锤，用于对物料采掘和装载；
所述机器人控制系统包括微处理器和外围接口电路；所述外围接口电路包括电平转换电路、can总线和use接口电路；所述机器人控制系统分别与驾驶室、输送机构、行走移动单元、机器人臂作业控制单元、三目视觉识别系统、状态参数监测系统、无线数据传输系统、声光报警系统、状态信息显示单元连接，用于接收各部件单元采集的数据，并经微处理器分析处理后，再发出指令到各部件单元进行控制；
所述三目视觉识别系统包括arm图像处理系统、前置摄像机和后置摄像机；所述前置摄像机有两台，安装在智能巷道采掘装备系统前部，所述后置摄像机有一台，安装在输送机构后部的下端，所述前置摄像机和后置摄像机对现场图像的实时拍摄，并分别通过usb接口与机器人控制系统连接；所述arm图像处理系统通过两台前置两台摄像机和后置摄像机对现场图像的实时拍摄，利用双目立体成像技术对两台前置摄像机拍摄的图像进行立体建模，获取目标物三维坐标值，通过can总线将三维坐标值数据传送至机器人控制系统，机器人控制系统通过无线数据传输系统将三维坐标值数据送至上位机控制系统；
所述无线通信数据传输系统包括上位机无线通信系统、井下无线通信系统、无线发射接收系统；用于多功能无人操作巷道采掘装备与地面的实时数据通信，所述无线通信数据传输系统通过can总线与与机器人控制系统连接；
所述状态参数监测系统包括角度传感器、温湿度传感器、电流传感器、电压传感器、瓦斯传感器、障碍感知传感器、有害气体传感器；用于对多功能无人操作巷道采掘装载系统的运行状态进行监测，所述角度传感器、温湿度传感器、电流传感器、电压传感器、瓦斯传感器、障碍感知传感器、有害气体传感器分别通过can总线与机器人控制系统连接；所述角度传感器主要实现采掘装备移动距离的测定；所述电流传感器、电压传感器、温湿度传感器主要用于采掘装备的运行状态进行监测；所述瓦斯传感器和有害气体传感器用于对巷道内气体含量进行监测；所述障碍感知传感器用于对巷道内采掘装备前方障碍物进行监测；
所述上位机控制系统包括数据服务器和管理计算机；所述上位机控制系统通过无线通信数据传输系统与机器人控制系统连接，实时获得井下现场数据，通过虚拟技术重建现场三维场景，控制采掘装备的行走轨迹和机器人臂的运动轨迹，并将新的运动轨迹数据通过无线数据传输系统将数据传送至机器人控制系统。
所述前置摄像机中两台前置摄像机之间的距离为1.0-1.5m，且光轴平行放置，通过usb接口与arm控制器连接，用于作业现场图像的拍摄。
所述微处理器可采用高性能arm微处理器或者stm32高性能单片机。
所述声光报警系统包括声音报警器和光电报警器，实现多功能无人操作巷道采掘装备异常状况的声光报警。
所述行走移动单元包括电机控制单元、伺服电机和行走机构；所述电机控制单元通过can总线与机器人控制系统连接，接收机器人控制系统发送过来的行走轨迹数据，启动伺服电机驱动行走机构，完成移动动作并到达指定的位置；所述的伺服电机与电机控制单元连接；所述行走机构与伺服电机连接，伺服电机控制行走机构按照指定的轨迹移动。
所述状态信息显示单元包括显示屏，用于显示显示井下现场三维虚拟场景图和采掘装备的移动轨迹和机器人臂的运动轨迹数据。
一种基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统的控制方法，包括以下步骤：
（1）基于双目立体成像技术的三维场景建模；利用两台前置摄像机，从不同的角度同时获取同一景物的两幅图像，根据同一景物在两个摄像机上成像视差恢复出景物深度的方法，得到了空间中物体特征点的坐标与图像平面的坐标之间的关系，通过计算空间点在两幅图像中的视差来获取其三维坐标值构建三维场景；
（2）目标物的识别与相对位置确定；物体识别的特征大部分基于图像中的区域或边界。目标物识别方法是通过建立目标物体模型，然后使用各种匹配算法从真实的图像中识别出与物体模型最为近似的物体。对象物相对位置的确定方法为：由于左摄影机中心与基坐标原点重合，则θ为对象物相对于左摄像机的方位角，在xoy坐标系中即为对象物与左摄像机中心连线与y轴的夹角，l为相对距离，由此即获得了作业对象物相对于挖掘机机器人的方位角θ和相对距离l，实现对作业对象物相对位置的确定；
（3）多功能无人操作巷道采掘装备的行走控制；当多功能无人操作巷道采掘装备在通过三目视觉识别系统完成对作业对象物的识别、相对位置和体积计算后，将对象物相对位置和体积计算结果通过无线数据传输系统传送到上位机控制系统，由上位机控制系统分析处理后得到采掘装备控制参数，再通过无线数据传输系统传送到机器人控制系统，机器人控制系统通过can总线将相关数据传送到行走移动单元，启动伺服电机驱动采掘装备行走机构，采掘装备接近对象物，最终到达作业位置；在发现对象物时，便可获得对象物相对于左摄像机的方位角θ，由于角θ只能在-90o到90o之间，当对象物位于采掘装备的左前方时θ位于0o到90o之间，则先驱动采掘装备的右侧履带轮，使机身向左转过一定角度，当采掘装备正面面对对象物后，再直线向前行驶到达作业位置；当对象物位于采掘装备的右前方，时θ位于-90o到0o之间，则需先驱动采掘装备向右转，然后直行；当对象物位于采掘装备正前方，即方位角为0o时，则直接直行到达作业位置；
（4）驱动机器人臂工作；后置摄像机判断物料装载车辆是否准备好以及整机状态知否正常，一切正常后，机器人控制系统通过can总线将机器人臂工作规划路径数据送至巷道采掘装备臂作业控制单元，驱动机器人臂工作，完成作业任务；采掘装备在作业期间，状态参数监测系统中的各传感器实时监测现场环境和采掘装备的状态，将监测的参数传送至机器人控制系统进行处理，控制采掘装备是否继续作业。
在上述技术方案中，本发明所采用的技术方案具有以下优点：
第一，无人驾驶模式，人员更安全。本发明设置有巷道采掘装备臂作业控制单元、三目视觉识别系统、机器人控制系统、无线数据传输系统、状态参数监测系统、上位机控制系统、声光报警系统和状态信息显示单元，可实现无人操作作业；
第二，双目视频测距，重构三维实景。通过安装在智能采掘装备前端的两台前置摄像机获得不同角度的两幅环境图像，利用高速arm处理器实施图像获取、摄像机标定、特征提取、图像匹配和三维重建五个过程，再采用立体匹配技术重构实景下的三维场景，确定对象物与挖掘机之间的距离和方位，并由此给出控制挖掘机器人行走运动的各项参数，驱动行驶机构完成机器人的移动。使得智能采掘装备能够适应复杂环境下的自主作业；
第三，后置摄像机，确保物料输送无差错。通过安装在智能采掘装备后端的后置摄像机获得后部场景状况，确保采掘装备的物料出口能够准确装载到皮带输送机或者装载车上；
第四，无线数据传输，方便快捷适应好。采用无线数据传输模式，在上位机控制系统和机器人控制系统之间实现信号的无线传输，避免由于采掘装备移动过程中需要架设数据通信线缆的难题，使得智能采掘装备控制系统的适用性进一步增强；
第五，全方位状态监测，安全有保障。设置有多个传感器，采用多传感器集成技术，实时检测智能采掘装备系统的工作状态及环境状态参数，并通过智能故障诊断系统对可能发生的故障做出诊断与预测，通过彩色指示灯和蜂鸣器实现故障信息的报警，帮助操作人员判断故障类型和位置，从而大大缩短故障维修时间，保证作业顺利完成；
第六，统一can总线结构，系统稳定可靠。采用can总线技术组建通信系统，各个控制模块之间的数据传输均通过can总线完成，进一步提高了系统的抗干扰能力和信号在各模块之间的传输效率；
第七，虚拟实景操作，真实安全方便。设置有上位机控制系统，采用虚拟化技术构建智能采掘装备实体模型，通过现场总线接收运动控制器传来的状态信息以及重构的三维实景，直接操作实体模型，可实现对智能采掘装备的操控，完成复杂环境的作业。
附图说明
图1是本发明基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统的结构示意图；
图2是本发明基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统的结构框图；
图3是本发明基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统中机器人控制系统的控制结构框图；
图4是本发明基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统的控制方法中前置摄像机的双目视频测距及三维场景建模的算法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合图及实施例，对本发明基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统及其控制方法进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
由图1、图2可看出，本实施例的基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统包括驾驶室3、输送机构4、行走移动单元、巷道采掘装备臂作业控制单元、三目视觉识别系统、机器人控制系统8、无线数据传输系统、状态参数监测系统、上位机控制系统、声光报警系统和状态信息显示单元。
本实施例的巷道采掘装备臂作业控制单元包括机器人臂2和巷道采掘装载工具1；本实施例的机器人臂2为五轴结构；所述巷道采掘装载工具1包括采掘工具、钻机和空气锤，用于对物料采掘和装载。本实施例的巷道采掘装备臂作业控制单元通过can总线与机器人控制系统8连接，用于接收机器人控制系统8传送过来的机器人臂运动轨迹数据及执行指令，驱动执行单元完成相关动作。采掘装载工具1可以依据现场需求进行自动切换使用，工具切换控制由机器人控制系统8完成，实现复杂环境下的挖掘装载动作。
由图3可见，本实施例的机器人控制系统8包括微处理器和外围接口电路，本实施例的外围接口电路包括电平转换电路、can总线和use接口电路。本实施例的机器人控制系统8分别与驾驶室3、输送机构4、行走移动单元、机器人臂作业控制单元、三目视觉识别系统中的前置摄像机和后置摄像机、状态参数监测系统、无线数据传输系统、声光报警系统、状态信息显示单元连接。本实施例的微处理器可采用型号为s3c6410的高性能arm微处理器或者stm32高性能单片机，用于接收机器人臂作业控制单元、三目视觉识别系统、状态参数监测系统、驾驶室、输送机构、行走移动单元的实时检测数据，进行分析处理，将处理后的数据通过无线数据传输系统送至上位机控制系统进行进一步数据处理，形成现场三维虚拟场景图和机器人的移动轨迹和机器人臂的运动轨迹数据，并在状态信息显示单元中进行显示，同时上位机将形成的轨迹数据通过无线数据传输系统送至机器人控制系统，机器人控制系统依据处理后的轨迹数据控制机器人移动机构、机器人臂完成相应的作业动作，如处理后的数据出现异常，将启动声光报警系统，同时停止相关作业动作，待故障排除后继续完成相关作业。
由图1、图2所示，本实施例的三目视觉识别系统包括arm图像处理系统、前置摄像机6和后置摄像机7；本实施例的前置摄像机6有两台，安装在智能巷道采掘装备系统前部，所述后置摄像机7有一台，安装在输送机构4后部的下端。本实施例的前置摄像机6和后置摄像机7对现场图像的实时拍摄，并分别通过usb接口与机器人控制系统8连接；所述arm图像处理系统通过两台前置两台摄像机6和后置摄像机7对现场图像的实时拍摄，利用双目立体成像技术对两台前置摄像机6拍摄的图像进行立体建模，通过计算空间点在两幅图像中的视差来获取目标物三维坐标值，通过can总线将三维坐标值数据传送至机器人控制系统8，机器人控制系统8通过无线数据传输系统将三维坐标值数据送至上位机控制系统，上位机控制系统通过虚拟技术重建现场三维场景，计算并获得采掘装备移动轨迹数据和机器人臂运动轨迹规划数据，再通过无线数据传输系统将相关数据传送至机器人控制系统8。
本实施例的无线通信数据传输系统包括上位机无线通信系统、井下无线通信系统、无线发射接收系统；用于多功能无人操作巷道采掘装备与地面的实时数据通信，所述无线通信数据传输系统通过can总线与机器人控制系统连接。本实施例的无线通信方式可采用wifi、gsm、nb-iot等。
本实施例的状态参数监测系统包括角度传感器、温湿度传感器、电流传感器、电压传感器、瓦斯传感器、障碍感知传感器、有害气体传感器；用于对多功能无人操作巷道采掘装载系统的运行状态进行监测，所述角度传感器、温湿度传感器、电流传感器、电压传感器、瓦斯传感器、障碍感知传感器、有害气体传感器分别通过can总线与机器人控制系统8连接；所述角度传感器主要实现采掘装备移动距离的测定；所述电流传感器、电压传感器、温湿度传感器主要用于采掘装备的运行状态进行监测；所述瓦斯传感器和有害气体传感器用于对巷道内气体含量进行监测；所述障碍感知传感器用于对巷道内采掘装备前方障碍物进行监测。
本实施例的上位机控制系统包括数据服务器和管理计算机；所述上位机控制系统通过无线通信数据传输系统与机器人控制系统8连接，实时获得井下现场数据，通过虚拟技术重建现场三维场景，控制采掘装备的行走轨迹和机器人臂的运动轨迹，并将新的运动轨迹数据通过无线数据传输系统将数据传送至机器人控制系统。
本实施例的声光报警系统包括声音报警器和光电报警器，实现多功能无人操作巷道采掘装备异常状况的声光报警。
本实施例的行走移动单元包括电机控制单元、伺服电机和行走机构5；所述电机控制单元通过can总线与机器人控制系统8连接，接收机器人控制系统8发送过来的行走轨迹数据，启动伺服电机驱动行走机构5，完成移动动作并到达指定的位置；所述的伺服电机与电机控制单元连接；所述行走机构与伺服电机连接，伺服电机控制行走机构按照指定的轨迹移动。
本实施例的状态信息显示单元包括显示屏，用于显示显示井下现场三维虚拟场景图和采掘装备的移动轨迹和机器人臂的运动轨迹数据。
本实施例的驾驶室3包括操作键盘、无人驾驶手动/自动开关、急停按钮、电源开关、状态指示灯等，实现多功能无人操作巷道采掘装载机器人的人工操作，所述驾驶室3通过can总线与机器人控制系统连接。本实施例的状态指示灯包括电源指示灯、电流电压超限指示灯、工作状态异常指示灯等，状态指示灯通过can总线与机器人控制系统连接。
图4为前置摄像机的双目视频测距及三维场景建模的算法流程图。第一步，搜索等拍摄的目标对象物；第二步，发现对象物；第三步，分别获取左右摄像机图像；第四步，进行对象物的边缘跟踪；第五步，寻找左右图像顶点；第六步，匹配图像同一点；第七步，计算该点的三维坐标；第八步，结束。本实施例利用两台前置摄像机6(可选用工业级摄像机zc301)，从不同的角度同时获取同一景物的两幅图像，根据同一景物在两个摄像机上成像视差恢复出景物深度的方法，得到了空间中物体特征点的坐标与图像平面的坐标之间的关系，通过计算空间点在两幅图像中的视差来获取其三维坐标值构建三维场景。
本实施例的一种基于三目视觉识别技术的多功能无人操作智能巷道采掘装备系统的控制方法，包括以下步骤：
（1）基于双目立体成像技术的三维场景建模；利用两台前置摄像机，从不同的角度同时获取同一景物的两幅图像，根据同一景物在两个摄像机上成像视差恢复出景物深度的方法，得到了空间中物体特征点的坐标与图像平面的坐标之间的关系，通过计算空间点在两幅图像中的视差来获取其三维坐标值构建三维场景；
（2）目标物的识别与相对位置确定；物体识别的特征大部分基于图像中的区域或边界。目标物识别方法是通过建立目标物体模型，然后使用各种匹配算法从真实的图像中识别出与物体模型最为近似的物体。对象物相对位置的确定方法为：由于左摄影机中心与基坐标原点重合，则θ为对象物相对于左摄像机的方位角，在xoy坐标系中即为对象物与左摄像机中心连线与y轴的夹角，l为相对距离，由此即获得了作业对象物相对于挖掘机机器人的方位角θ和相对距离l，实现对作业对象物相对位置的确定；
（3）多功能无人操作巷道采掘装备的行走控制；当多功能无人操作巷道采掘装备在通过三目视觉识别系统完成对作业对象物的识别、相对位置和体积计算后，将对象物相对位置和体积计算结果通过无线数据传输系统传送到上位机控制系统，由上位机控制系统分析处理后得到采掘装备控制参数，再通过无线数据传输系统传送到机器人控制系统，机器人控制系统通过can总线将相关数据传送到行走移动单元，启动伺服电机驱动采掘装备行走机构，采掘装备接近对象物，最终到达作业位置；在发现对象物时，便可获得对象物相对于左摄像机的方位角θ，由于角θ只能在-90o到90o之间，当对象物位于采掘装备的左前方时θ位于0o到90o之间，则先驱动采掘装备的右侧履带轮，使机身向左转过一定角度，当采掘装备正面面对对象物后，再直线向前行驶到达作业位置；当对象物位于采掘装备的右前方，时θ位于-90o到0o之间，则需先驱动采掘装备向右转，然后直行；当对象物位于采掘装备正前方，即方位角为0o时，则直接直行到达作业位置；
（4）驱动机器人臂工作；后置摄像机判断物料装载车辆是否准备好以及整机状态知否正常，一切正常后，机器人控制系统通过can总线将机器人臂工作规划路径数据送至巷道采掘装备臂作业控制单元，驱动机器人臂工作，完成作业任务；采掘装备在作业期间，状态参数监测系统中的各传感器实时监测现场环境和采掘装备的状态，将监测的参数传送至机器人控制系统进行处理，控制采掘装备是否继续作业。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。