基于无人机激光扫描的料场物料监控方法、系统及应用与流程

本发明属于料场物料图像信息处理，尤其涉及基于无人机激光扫描的料场物料监控方法、系统及应用。

背景技术：

1、随着近几年来沿海沿江干散货码头数量的逐渐饱和，各干散货码头面临着严峻的同质化市场竞争环境，伴随着国内劳动力成本的上升，以人为本、环境保护意识的日益提高，以前那种单纯扩大投入取得收益的粗放型生产方式和管理机制，已不能适应散货码头未来发展的需要；与此同时，云服务、移动互联网应用、传感器与物联网、大数据与人工智能等技术的出现，对港口管理提出挑战的同时也带来了新的发展契机，装卸全自动化、调度智能化等逐渐成为码头发展的刚性需求。对码头自动化装卸的迫切需求，促使现有干散货自动化码头纷纷研究转型升级措施，多个港口纷纷提出了各自的干散货自动化码头建设规划，且选取部分码头进行应用试点。大部分码头在码头前沿、水平运输、堆场和后方装卸车等部份环节实现了装卸的自动化，按照流程上多个环节统一控制的全流程化自动控制散货码头。

2、按照安全高效、稳定可靠、绿色环保要求的干散货全自动化码头建设目标，现有的散货码头仍处于半自动化阶段。“高效、安全、绿色、环保”的干散货自动化码头具有稳定高效、节能环保、安全可靠和大幅减少码头定员等优势，是干散货码头装卸技术发展的必然趋势，也是新形势下建设绿色港口和数字强港的必然要求。

3、通过上述分析，现有技术存在的问题及缺陷为：传统干散货码头不能准确获取料场内的料堆信息，以及不能实时获取船舶舱内作业环境感知数据及舱内无人流动机械定位信息，不能为无人化散货作业设备控制系统的生产组织决策提供料场管理和无人作业设备控制的基础数据。对半封闭高粉尘船舱内不能实现无人流动机械作业环境感知以及不能实现无人流机舱内实时定位及高可靠性数据传输功能。

技术实现思路

1、为克服相关技术中存在的问题，本发明公开实施例提供了基于无人机激光扫描的料场物料监控方法、系统及应用。

2、所述技术方案如下：一种基于无人机激光扫描的料场物料监控方法包括以下步骤：

3、s1，无人机激光扫描数据与堆场内固定点激光扫描数据相互结合，建设3d激光及图像分析系统，实时获取料场内的料堆信息，包括：料堆位置、占地面积、体积、物料种类、是否苫盖，实现以上功能需经过以下几个步骤：

4、（1）利用无人机对堆场内货垛进行数据采集，包括激光点云数据以及视频图像数据；

5、（2）将料垛点云数据进行识别及分割，获取独立货垛数据；

6、（3）系统对各分离货垛进行点云分析及测量，获取各料垛物理信息，包括：料垛位置、体积、面积、高度等；部分料垛分析后相关数据：料垛占地面积（m2）、体积（m3）、最大高度（m）；部分料垛分析后相关数据：料垛相对坐标（m）及经纬度坐标（°）。

7、s2，结合数字孪生技术，为料场的数字化管理提供数据依据以及可视化展示界面。

8、数字孪生技术分为料垛模型实时更新、物理数据与商务数据自动关联匹配两部分。料垛模型数据来源于无人机料垛扫描激光点云数据分析后、完成料垛识别生成3d模型，目前采用obj格式模式。物理数据为点云分析系统进行数据测量所得，每个货垛的相关物理信息放入数据库内进行存储。商务数据来源于用户生成系统，包括：货种、船名、货主等信息。系统根据货垛物理位置实现商务信息与物理信息的匹配关联。

9、在步骤s1中，无人机激光扫描数据与堆场内固定点激光扫描数据相互结合包括：利用无人机自行规划起飞和降落路径、自动充/换电，通过对堆场及其他作业区域进行扫描，进行定位料场作业料垛，并结合激光算法，实时获取料场内的料堆信息并进行提取。

10、在步骤s1中，3d激光及图像分析系统根据分割线的位置将图形上的料堆进行分割计算，计算出不同料堆的各自体积，并在三维图形上通过颜色进行区分。

11、在步骤s1中，3d激光及图像分析系统的全部测量数据包含无人机采集系统及场内固定采集系统，生成的扫描图形360度全方位旋转，并生成煤堆高度图、剖面图，以及生成三维立体料堆报表，所述扫描图形包括渲染图和网格图，用于实现现场盘料和远程控制盘料。

12、在步骤s2中，结合数字孪生技术控制设备对任意工作面、工作点范围内进行盘点作业，实现任意指定区域范围内的测量作业；在结合数字孪生技术根据测量装置获取料堆表面点云位置信息，通过构建料堆的数字模型，堆取料机对作业工况信息进行识别。

13、本发明的另一目的在于提供一种基于无人机激光扫描的料场物料监控系统包括：

14、无人机激光扫描系统，通过无人机激光扫描数据与堆场内固定点激光扫描数据相互结合，建设3d激光及图像分析系统，实时获取料场内的料堆信息；

15、数字孪生技术模块，用于结合数字孪生技术，为料场的数字化管理提供数据依据以及可视化展示界面。

16、本发明的另一目的在于提供一种计算机设备所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的基于无人机激光扫描的料场物料监控方法。

17、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的基于无人机激光扫描的料场物料监控方法。

18、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施所述的基于无人机激光扫描的料场物料监控方法。

19、本发明的另一目的在于提供一种无人机，所示无人机实施所述的基于无人机激光扫描的料场物料监控方法。

20、结合上述的所有技术方案，本发明所具备的优点及积极效果为：

21、第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：本发明在传统干散货码头采用无人机激光扫描数据与堆场内固定点激光扫描数据相互结合，并结合rtk定位技术及slam技术，建设3d激光及图像分析系统，形成舱内及料场环境感知系统。实时获取以下两种作业环境感知信息：（1）料场内的料堆信息，包括：料堆位置、占地面积、体积、物料种类、是否苫盖等；（2）实时获取船舶舱内作业环境感知数据及舱内无人流动机械定位信息，为无人化散货作业设备控制系统的生产组织决策提供料场管理和无人作业设备控制的基础数据。堆场作业区环境感知，统一大机设备、料堆、堆场坐标系，形成3d和正射影像图。根据激光扫描仪扫描形成的三维点云数据，动态生成料堆模型，并加载到3d数字化料场中，料堆位置与实际料堆位置一致，并向用户提供料垛位置推优。半封闭高粉尘船舱内实现无人流动机械作业环境感知并采用slam技术实现无人流机舱内实时定位及高可靠性数据传输功能。

22、第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：本发明实施应用场景主要是针对国内干散货码头，从自动化流机（挖掘机或者装载机等），数字化料场、全流程设备控制（门机、斗轮机、流机等）系统等多个方面，开展干散货码头环境感知与设备定位技术研究。拟在传统干散货码头采用无人机激光扫描数据与堆场内固定点激光扫描数据相互结合，并结合rtk定位技术及slam技术，建设3d激光及图像分析系统，形成舱内及料场环境感知系统。实时获取料场内的料堆信息，含料堆位置、占地面积、体积、物料种类、是否苫盖等，向用户提供料垛位置推优，为无人化散货作业设备提供料场管理数据；实时获取船舶舱内作业环境感知数据及舱内无人流动机械定位信息，研发堆场作业区环境感知系统及舱内环境感知与流机定位系统，实现无人流机舱内实时定位及高可靠性数据传输功能。同时，实现干散货码头料场内料垛信息实时获取及存放位置确认、远程实施舱内清舱作业、舱内无人流机与岸边自动化设备协同作业，完成现实场景的产业化应用。

23、第三、本发明不仅仅可以应用在干散货码头为创建智慧、绿色港口提供示范，而且广泛应用于电厂，煤场，矿山等领域，真正实现传统行业的自动化智能化升级改造，生产效率提高的同时，安全性得以确保，工人的工作环境和工作满意度也切实得到改善和提高。