一种用于智能推土机的辅助驾驶系统的制作方法

1.本发明涉及露天矿用工程技术领域，尤其是涉及一种用于智能推土机的辅助驾驶系统。


背景技术：

2.传统露天矿山以由传统型、经验型逐步向自动化、系统化、多元化以及智慧化方向发展，在实践的过程中取得了突破性进展，积累了许多技术和工程经验。露天矿山智能化改造是一个系统工程，需要将矿山现有的设计、生产、经营和管理等各系统整合统一，实现整个矿山系统的信息集成与共享。其中，工程机械的智能化改造是智慧矿山的核心技术支撑，建立智能化的工程机械设备是智能制造的战略方向，是智慧化矿山发展的必经之路。
3.传统的工程机械设备需要人为操控，在传统工程机械建设模式下，很容易因为操控失误而引发安全事故，而且运行效率也较低。智能化工程机械不仅可以减少操控人员的数量，还可以降低人为操控发生错误的可能性，提升矿区作业的质量和效率。智能化工程机械通常通过搭载各种传感器感知环境信息，具有自我感知、自主决策、自动控制的功能。
4.推土机是一种露天矿区常见的工程机械，常常作业于卸载、装载、修路等场景，驾驶路径循环往复、作业环境恶劣危险，枯燥的工作方式很容易使驾驶员产生倦怠，而疲劳驾驶会进一步增加在高危工作环境的安全风险。并且，由于缺乏全局视角，可能会出现感知盲区、推土路径不合理、推土作业区域重叠、遗漏的情况，风险大、油耗高、效率低。虽然现有推土机也能体现出一部分智能化程度，但难以在减少现场人员、提高施工质量、提高施工智能化程度、提高施工安全性等方面得到兼顾。


技术实现要素：

5.本发明的目的在于，需要提供一种能够在减少现场人员、提高施工质量、提高施工智能化程度、提高施工安全性等方面得到兼顾的智能推土机辅助驾驶系统。
6.为了解决上述技术问题，本发明实施例提供了一种用于智能推土机的辅助驾驶系统，包括：设置于云端的平整作业管理平台，其用于实现推土机端平整作业的全局调度与监控，并下发对应的作业任务；设置于推土机端的现场系统，其具备：智能传感系统，其用于实时采集推土机运行过程的全方位环境感知信息；交互终端；辅助作业子系统，其用于根据所述全方位感知信息对作业现场进行环境增强感知，并完成作业辅助；环境建模子系统，其用于根据所述全方位感知信息对作业现场进行环境建模与增强现实；安全预警子系统，其用于根据所述全方位感知信息对安全作业进行预警；生命周期管理系统，其搭载在所述交互终端上，并通过所述交互终端同时与各子系统连接，用于获得所述作业任务，基于此，通过对各子系统的控制来开展当前作业辅助任务。
7.优选地，所述平整作业管理平台包括：平整作业状态监控模块，其用于实时获取作业现场环境模型和推土机作业完成程度，并监测作业现场的停车位占用信息；平整作业调度模块，其用于根据所述作业现场环境模型、所述推土机作业完成程度和所述停车位占用
信息，构建作业区域全局地理信息并标记相应的调度指令，以对当前推土机的平整作业任务进行调度；平整作业安全监控模块，其用于根据所述作业现场环境模型，对危险作业区域进行标注，并将危险作业区域信息传输至对应的所述推土机端，以通过所述安全预警子系统来预警；平整作业评定模块，其用于根据所述作业现场环境模型和所述推土机作业完成程度，对当前平整作业是否达标进行动态监测。
8.优选地，所述辅助作业子系统包括：作业辅助部，所述作业辅助部具备：平整作业辅助模块，其用于根据所述全方位环境感知信息对现场地面进行三维建模，从而在地面三维模型上标记出路面凹凸程度、作业覆盖范围和施工难点，以对平整作业的完成程度进行监控；车身稳定模块，其用于根据车身位姿，对车身角度是否安全进行实时诊断；电子围栏模块，其用于根据来自所述平整作业管理平台的作业区域全局地理信息和所述全方位感知信息，实时规划作业区域边界；作业路径导航模块，其用于基于所述作业区域全局地理信息，构建作业现场可行驶区域地图，结合所述作业区域边界和增强感知结果，为推土机提供实时的路径导航辅助。
9.优选地，所述辅助作业子系统还包括：增强感知部，所述增强感知部具备：传感器融合感知模块，其用于对所述全方位感知信息中的各类信息进行融合并建模，形成环境融合模型；盲区预警模块，其用于根据所述环境融合模型，对推土机进行全方位的障碍物距离与语义检测，识别环境障碍物的距离与类别；后视影像模块，其用于基于所述环境融合模型为驾驶员提供倒车辅助和距离预警；扬尘预警模块，其用于根据所述全方位环境感知信息，分析作业现场的扬尘信息，并利用所述扬尘信息为所述智能传感系统内的激光雷达和相机提供置信度分析，以向用户提供扬沙预警。
10.优选地，所述环境建模子系统，其用于根据所述全方位环境感知信息，利用定位与建图技术、语义分割技术，构建动态的三维语义地图模型，以及将所述三维语义地图模型与推土机三维车辆模型和环境融合模型结合，完成对真实物理环境的数字化建模，实现增强现实，其中，基于真实环境的数字化环境模型包含动态交通参与者、静态环境信息、车道信息、车辆位置与位姿和交通控制信息。
11.优选地，所述智能传感系统，其还用于基于推土机定位信息的变化来触发所述全方位环境感知信息的采集流程。
12.优选地，安全预警子系统，其还用于对作业区域边界、车身姿态、障碍物位置及距离、推土机到达位置和视野可见度进行实时诊断与预警提示。
13.优选地，所述智能传感系统设置于所述推土机的顶部，包括：激光雷达、视觉相机、毫米波雷达、超声波雷达、组合惯导设备和uwb定位模块；所述平整作业管理平台与所述生命周期管理系统通过5g无线网络实现通信。
14.优选地，所述辅助作业子系统、所述环境建模子系统和所述安全预警子系统分别能够通过搭载在所述交互终端的所述生命周期管理系统与所述平整作业管理平台的交互，而实现各子系统与所述平整作业管理平台的交互功能。
15.优选地，所述交互终端，其用于通过所述生命周期管理系统来接收用户指令，从而根据所述用户指令来调节所述辅助作业子系统、所述环境建模子系统和所述安全预警子系统的任务进程，以在所述生命周期管理系统上展示的表征相应子系统任务进程的可视影像。
16.与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
17.本发明提出了一种用于智能推土机的辅助驾驶系统，具体包括：智能传感系统、辅助作业子系统、环境建模子系统、安全预警子系统、生命周期管理系统、交互终端和平整作业管理平台的完整方案。本发明所述的智能推土机辅助驾驶系统，可以有效促进露天矿用推土机的智能化改造，助力露天矿工程机械的智能化转型。
18.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
19.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
20.图1为本技术实施例的用于智能推土机的辅助驾驶系统的整体系统架构示意图。
21.图2为本技术实施例的用于智能推土机的辅助驾驶系统中的辅助作业子系统的功能架构示意图。
22.图3为本技术实施例的用于智能推土机的辅助驾驶系统中的辅助作业子系统与其他系统之间通信的信息流交互示意图。
23.图4为本技术实施例的用于智能推土机的辅助驾驶系统中的环境建模子系统的功能架构及信息交互示意图。
具体实施方式
24.以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
25.另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
26.传统露天矿山以由传统型、经验型逐步向自动化、系统化、多元化以及智慧化方向发展，在实践的过程中取得了突破性进展，积累了许多技术和工程经验。露天矿山智能化改造是一个系统工程，需要将矿山现有的设计、生产、经营和管理等各系统整合统一，实现整个矿山系统的信息集成与共享。其中，工程机械的智能化改造是智慧矿山的核心技术支撑，建立智能化的工程机械设备是智能制造的战略方向，是智慧化矿山发展的必经之路。
27.传统的工程机械设备需要人为操控，在传统工程机械建设模式下，很容易因为操控失误而引发安全事故，而且运行效率也较低。智能化工程机械不仅可以减少操控人员的数量，还可以降低人为操控发生错误的可能性，提升矿区作业的质量和效率。智能化工程机械通常通过搭载各种传感器感知环境信息，具有自我感知、自主决策、自动控制的功能。
28.推土机是一种露天矿区常见的工程机械，常常作业于卸载、装载、修路等场景，驾
驶路径循环往复、作业环境恶劣危险，枯燥的工作方式很容易使驾驶员产生倦怠，而疲劳驾驶会进一步增加在高危工作环境的安全风险。并且，由于缺乏全局视角，可能会出现感知盲区、推土路径不合理、推土作业区域重叠、遗漏的情况，风险大、油耗高、效率低。虽然现有推土机也能体现出一部分智能化程度，但难以在减少现场人员、提高施工质量、提高施工智能化程度、提高施工安全性等方面得到兼顾。
29.为了解决上述技术问题，本发明实施例提供了一种用于智能推土机的辅助驾驶系统。该系统所研究的推土机在排土场的工作场景具有作业路径单一往复、路面凹凸不平、靠近卸载矿坑等特点，以上的路况挑战和司机的非规范驾驶行为进一步增加了高危工作的安全风险；而且，推土机作为露天矿无人驾驶整体解决方案的重要组成部分，工作于地形频繁改变的区域，是一种优选的露天矿环境数据外业采集端以及环境建模端，可采集地图数据，进行作业环境模型的构建与更新。
30.本发明以实现功能可配置、硬件可选装的多模式、高安全保障的智能推土机辅助驾驶系统为总体目标，具体包括：(1)搭载轻量级、工业级的推土机智能集成套件硬件平台；(2)建立智能推土机辅助作业子系统，实现推土机走行安全预警、运行状态监测及预警、辅助导航等功能；(3)面向矿区无人驾驶整体解决方案，设计基于推土机平台的环境建模子系统，实现环境数据的采集、三维建模与更新；(4)设计推土机人机交互智能终端，为驾驶员提供交互、管理、控制的智能控制平台；(5)研发生命周期管理系统，实现推土机车载系统的版本迭代、系统升级、系统维护、数据上传、远程更新以及与后台系统的交互；(6)构建推土机安全预警子系统，为智能推土机平台提供稳定、可靠的安全保障。(7)研发云端平整作业管理平台，为推土机辅助驾驶系统提供的监管、控制与决策支持。
31.图1为本技术实施例的用于智能推土机的辅助驾驶系统的整体系统架构示意图。如图1所示，本发明实施例所述的用于智能推土机的辅助驾驶系统(以下简称“推土机辅助驾驶系统”)包括云端和推土机端。其中，平整作业管理平台a设置于云端。平整作业管理平台a用于实现推土机端平整作业的全局调度与监控，并根据对所有推土机端平整作业的调度与监控来向不同的推土机端下发对应的作业任务。在推土机端设置有现场系统。其中，现场系统具备：智能传感系统(即推土机智能集成套件硬件平台)b、交互终端(即推土机人机交互智能终端)c、辅助作业子系统d、环境建模子系统e、安全预警子系统f和生命周期管理系统g。
32.具体地，智能传感系统b用于实时采集推土机运行过程的全方位环境感知信息。辅助作业子系统d用于根据所采集到的全方位感知信息对作业现场进行环境增强感知，并完成作业辅助。环境建模子系统e用于根据所采集到的全方位感知信息对作业现场进行环境建模与增强现实。安全预警子系统f用于根据所采集到的全方位感知信息对安全作业进行预警。生命周期管理系统g搭载在交互终端c上，并通过交互终端c同时与辅助作业子系统d、环境建模子系统e和安全预警子系统f连接。生命周期管理系统g用于获得来自平整作业管理平台下发的作业任务，并根据当前作业任务通过对各子系统d、e、f的控制(例如：启停控制、作业命令控制等)来开展当前作业辅助任务。进一步，生命周期管理系统g用于通过用户指令与多个本地子系统的交互来开展当前推土机平整作业的作业辅助任务。
33.如图1所示，在本发明实施例中，推土机端与云端，通过5g无线通信互联。进一步，平整作业管理平台a与生命周期管理系统g通过5g无线网络实现通信互联。平整作业管理平
台a是推土机辅助驾驶系统的控制中心、数据中心和决策中心。平整作业管理平台a能够与位于不同位置处的推土机端通信，从而实现对作业现场所有推土机端设备的作业任务下发、作业辅助任务的全局调度与监控等。
34.如图4所示，平整作业管理平台a包括：平整作业状态监控模块、平整作业调度模块、平整作业安全监控模块和平整作业评定模块。平整作业状态监控模块用于实时获取作业现场环境模型和推土机作业完成程度，并监测作业现场的停车位占用信息。平整作业状态监控模块能够实时获得并监测来自各个推土机端的所构建的作业现场环境模型，并统计每个推土机端的平整作业进度并统计整个作业现场的停车位占用信息，从而利用这些信息来协助实现对推土机的平整作业调度导航。
35.平整作业调度模块用于根据相应推土机端所构建的作业现场环境模型、推土机作业完成程度和整个作业区域内的停车位占用信息，实时构建针对当前推土机端的作业区域全局地理信息，并标记相应的调度指令，以通过将调度指令下发至对应的推土机端而实现对相应推土机的平整作业任务的调度。需要说明的是，本发明实施例所述的作业区域全局地理信息，是针对当前推土机的作业任务所涉及的地理范围而构建的全局地理信息，不仅涉及当前推土机在完整作业任务下的范围，还涉及其他推土机作业区域的占用情况。
36.平整作业安全监控模块用于根据相应推土机端所构建的作业现场环境模型，对当前推土机所面临的危险作业区域进行标注，并将危险作业区域信息传输至对应的推土机端，以通过安全预警子系统f来预警。
37.进一步，平整作业评定模块用于根据相应推土机端所构建的作业现场环境模型和相应推土机端的推土机作业完成程度，对当前推土机的平整作业是否达标进行动态监测。平整作业评定模块对于给定区域作业现场的路面，例如：区域边界、路沿、挡墙、停车位以及其他感兴趣区域，依据矿场施工标准，监测并且评定当前推土机所实施的平整作业是否达标，从而实现路面平整作业评定功能。
38.由此，本发明实施例所述的平整作业管理平台a通过平整作业调度模块、平整作业状态监控模块、平整作业安全监控模块和平整作业评定模块，实现平整作业全局调度与监控，促进推土机高效作业。
39.进一步，生命周期管理系统g为搭载在人机交互智能终端c上的人机交互系统，实现人(驾驶员用户)与机(云端后台以及推土机端)的交互。生命管理周期管理系统具备接入辅助作业子系统d、环境建模子系统e、安全预警子系统f和平整作业管理平台a的接口，能够实现驾驶员与各子系统(辅助作业子系统d、环境建模子系统e、安全预警子系统f和平整作业管理平台a)的交互。另外，生命周期管理系统g为推土机辅助驾驶系统的总控系统，通过人机交互控制各个子系统d、e、f的开启、停止、数据交互、版本迭代、系统升级、系统维护、远程更新等整个生命周期的管理。
40.进一步，推土机智能集成套件(即智能传感系统)b设置于所述推土机的顶部。进一步，智能传感系统b安装于推土机驾驶舱的顶部。智能传感系统b搭载有感知设备、定位设备、网络设备和车载计算平台，具体包括：激光雷达、视觉相机、毫米波雷达、超声波雷达、组合惯导设备和uwb定位模块。除此之外，智能传感系统b搭载有两套互为冗余的供电设备：车端供电的电源模块和太阳能供电系统，从而一起保障传感系统的稳定运行。由此，将推土机智能集成套件形成为一体化、轻量级、易拆卸、可复用的工业级硬件平台。
41.推土机常常作业于卸载、装载、修路等场景，驾驶路径循环往复、作业环境恶劣危险，枯燥的工作方式很容易使驾驶员产生倦怠，而疲劳驾驶会进一步增加在高危工作环境的安全风险。并且，由于缺乏全局视角，可能会出现感知盲区、推土路径不合理、推土作业区域重叠、遗漏的情况，风险大、油耗高、效率低。为解决上述问题，本发明实施例设计了推土机辅助作业子系统d。辅助作业子系统d从推土机作业需求出发，一方面基于多源传感器，提供全天候、全方位实时的环境增强感知结果，为推土机决策、控制提供准确、鲁棒、稳定环境及交通参与者信息；另一方面，结合推土机作业的业务需求，形成适用于推土机作业性能的作业辅助功能，如辅助推土机进行平整推土作业、防止车身侧翻的车身稳定预警、提醒驾驶员注意卸载深坑的电子围栏、以及作业路径建议导航等，提供适用于推土机平台驾驶辅助，协助推土机安全、高效作业。
42.图2为本技术实施例的用于智能推土机的辅助驾驶系统中的辅助作业子系统的功能架构示意图。如图2所示，本发明实施例所述的辅助作业子系统d包括作业辅助部和增强感知部。另外，辅助作业子系统d能够通过搭载在交互终端的生命周期管理系统与平整作业管理平台的交互，而实现辅助作业子系统d与平整作业管理平台a的交互功能。驾驶员通过搭载在车载人机交互智能终端c上的生命周期管理系统g使用作业辅助、增强感知的各项功能，并且通过5g无线通信接入平整作业管理平台，实现端、网、云一体化作业。
43.进一步，参考图2，作业辅助部包括：平整作业辅助模块、车身稳定模块、电子围栏模块和作业路径导航模块。
44.平整作业辅助模块用于根据全方位环境感知信息对现场地面进行三维建模，从而在地面三维模型上标记出路面凹凸程度、作业覆盖范围和施工难点，以对平整作业的完成程度进行监控。平整作业辅助模块通过感知设备和定位设备对地面进行三维建模，将作业路面的凹凸程度、作业覆盖范围、历史作业路径和施工难点直接标记在地面三维模型上以通过交互终端的车载中控屏显示，使驾驶员可以直观地监控作业进度，确定施工难点，控制平整作业完成程度，从而实现均匀一致的平整作业。
45.车身稳定模块用于根据全方位环境感知信息中的车身位姿，对车身角度是否安全进行实时诊断。车身稳定模块实时监测推土机的位姿，在车辆接近不安全角度时，通过人机交互终端的显示屏以及语音系统发出警告，从而防止举升操作，避免推土机倾翻，使驾驶员更加了解作业期间的推土机稳定性状况，从而实施更加高效地作业。
46.电子围栏模块用于根据来自平整作业管理平台a的作业区域全局地理信息和全方位感知信息，实时规划作业区域边界。电子围栏模块通过获取云端平整作业管理平台a下发的作业区域全局地理信息，实时规划作业区域边界，从而显示于交互终端c的中控屏上，以为驾驶员提供安全边界预警。需要说明的是，本发明实施例所述的电子围栏模块所构建的作业区域边界不仅能够避免作业环境中的深坑等影响作业安全的区域，还能避免与其他周围危险障碍物的运动区域和其他推土机的作业区域。
47.作业路径导航模块用于基于作业区域全局地理信息，构建作业现场可行驶区域地图，结合作业区域边界和(下述)增强感知结果(例如实时位姿信息)，为推土机提供实时的路径导航辅助。作业路径导航模块基于所构建的作业区域可行使区域地图，结合电子围栏以及增强感知的结果，得到推土机周边可行使区域的导航路径，从而为推土机提供实时的路径导航辅助。
48.进一步，参考图2，增强感知部包括：传感器融合感知模块、盲区预警模块、后视影像模块和扬尘预警模块。
49.传感器融合感知模块用于对全方位感知信息中的各类信息进行融合并建模，形成环境融合模型。在本发明实施例中，全方位感知信息包括各类雷达设备、相机设备、惯导设备和定位设备所采集到的信息。传感器融合感知模块通过采集到的各类感知信息的融合而形成的环境融合模型，为推土机提供车身周围双冗余的360
°
的影像覆盖，为驾驶员提供全景视图。
50.盲区预警模块用于根据环境融合模型，对推土机进行全方位的障碍物距离与语义检测，识别环境障碍物的距离与类别。盲区预警模块利用环境融合模型进行推土机周围360度的障碍物距离与语义检测，获取障碍物的距离、方向角与类别信息，从而通过向生命周期管理系统g输出带有障碍物类别、距离、大小及方向信息的环形盲区预警可视化图像，继而通过人机交互智能终端向驾驶员发出提示。
51.后视影像模块用于基于环境融合模型为驾驶员提供倒车辅助和距离影像，从而将该影像发送至生命周期管理系统g，以便提供预警提示。具体地，后视影像模块基于环境融合模型，通过带有距离标志线的图像信息，为驾驶员提供图像、声音为一体的倒车辅助和距离预警。
52.扬尘预警模块用于根据全方位环境感知信息，分析作业现场的扬尘信息，并利用当前扬尘信息为智能传感系统内的激光雷达和相机提供置信度分析，从而在两种置信度分析结果均小于预设阈值的情况下通过安全预警子系统来向用户提供扬沙预警。具体地，扬尘预警模块针对矿区的环境特点，通过图像或者激光雷达感知到的扬尘信息，保障推土平整作业的视野清晰，进一步为激光雷达和相机检测提供置信度分析，以及时向驾驶员提供预警，从而最大程度避免扬沙天气对作业和行驶的影响。
53.进一步，本发明实施例中的交互终端c可采用平板电脑等便携式计算机设备来实现。交互终端c设置在推土机司机室的内部。交互终端c用于通过生命周期管理系统g来接收用户指令，从而根据用户指令来调节辅助作业子系统d、环境建模子系统e和安全预警子系统f的任务进程，以在生命周期管理系统g上展示的表征相应子系统任务进程的可视影像。
54.图3为本技术实施例的用于智能推土机的辅助驾驶系统中的辅助作业子系统与其他系统之间通信的信息流交互示意图。
55.具体地，如图3所示，辅助作业子系统d内部各个模块分别与智能传感系统b或平整作业管理平台a或生命周期管理系统g的信息流交互过程如下所示：
56.1.智能传感系统b
‑‑‑‑
》辅助作业子系统d：
57.智能传感系统b能够将包括感知数据和定位数据在内的全方位感知信息传输至辅助作业子系统d。其中，感知数据包括分别由激光雷达、视觉相机、毫米波雷达和超声波雷达采集到的数据；定位数据包括：由组合惯导测得的车辆位置和姿态数据、以及由uwb定位模块测得的相对距离和相对角度数据。
58.2.平整作业辅助模块
‑‑‑‑
》生命周期管理系统g：
59.基于感知数据和定位数据，平整作业辅助模块通过地面平整度检测、平整度地图构建单元，向生命周期管理系统g输出包含地面的凹凸程度、作业覆盖范围、历史作业路径等信息的可视化图像(带有标记的地面三维模型)。
60.3.生命周期管理系统g
‑‑‑‑
》平整作业辅助模块：
61.生命周期管理系统通过模式切换按钮、视角转换按钮、放大缩小按钮控制上述第2项中的可视化图像。
62.4.车身稳定预警模块
‑‑‑‑
》生命周期管理系统g：
63.基于定位数据，车身稳定预警模块通过位姿解算单元，向生命周期管理系统g输出车辆六个维度的位姿信息，并且通过预警单元，车辆接近不安全角度的位姿，生命管理周期系统g提供预警信息，并且显示在生命管理周期系统g的显示区，并提供声音警报。
64.5.生命周期管理系统g
‑‑‑‑
》车身稳定预警模块
65.生命周期管理系统g通过模式切换按钮，可以控制车身稳定预警模块的启动、停止。
66.6.平整作业管理平台a
‑‑‑‑
》电子围栏模块
‑‑‑‑
》生命周期管理系统g
67.平整作业管理平台a下发作业区域的高精度地图(实时更新的作业区域全局地理信息)给电子围栏模块，电子围栏模块通过计算作业区域的边界点坐标，得到作业区域边界点的坐标序列，传输至生命周期管理系统g，显示于可视化窗口中。
68.7.生命周期管理系统g
‑‑‑‑
》电子围栏模块
69.生命周期管理系统g通过模式切换按钮、放大缩小按钮控制上述第6项电子围栏可视化图像。
70.8.作业路径导航模块
‑‑‑‑
》生命周期管理系统g
71.基于感知数据和定位数据，通过作业路径导航模块内的可行驶区域计算单元计算作业路径，结合车辆的实时位姿，得到推土机周边可行使区域的导航路径，并将其传输至生命周期管理系统g，显示于可视化窗口中。
72.9.生命周期管理系统g
‑‑‑‑
》作业路径导航模块
73.生命周期管理系统g通过模式切换按钮、放大缩小按钮控制上述第8项中的作业路径导航的可视化图像。
74.10.盲区预警模块
‑‑‑‑
》生命周期管理系统g
75.基于视觉相机数据和uwb的测距、测向数据，经过障碍物检测单元，输出车身周围360度范围的障碍物距离、方向角、类别信息，并且向生命周期管理系统g输出带有距离信息的环形盲区预警可视化图像。
76.11.生命周期管理系统g
‑‑‑‑
》盲区预警模块
77.生命周期管理系统g通过模式切换按钮、放大缩小按钮控制上述第10项的盲区预警的可视化图像。
78.12.后视影像模块
‑‑‑‑
》生命周期管理系统g
79.基于后视相机，和标定好的距离标志线，后视影像模块输出带有距离标志线的倒车影像，输出到生命周期管理系统g，并且提供声音报警。
80.13.生命周期管理系统g
‑‑‑‑
》后视影像模块
81.生命周期管理系统g通过模式切换按钮、放大缩小按钮控制上述第12项倒车影像的可视化图像。
82.14.传感器融合感知模块
‑‑‑‑
》生命周期管理系统g
83.基于激光雷达与视觉相机，全景视图模块输出推土机提供车身周围双冗余的360
°
的影像到生命周期管理系统。
84.15.生命周期管理系统g
‑‑‑‑
》传感器融合感知模块
85.生命周期管理系统通过模式切换按钮、放大缩小按钮控制上述第14项全景视图的可视化图像。
86.16.扬尘预警模块
‑‑‑‑
》生命周期管理系统g
87.基于激光雷达和图像数据，扬尘预警模块感知扬尘信息，向盲区预警、倒车影像、全景视图模块提供传感器置信度用于前处理；同时向生命周期管理系统g提供扬尘预警信号与声音报警，以由安全预警子系统f相应当前预警信号。
88.17.生命周期管理系统g
‑‑‑‑
》扬尘预警模块
89.生命周期管理系统g通过模式切换按钮控制上述扬尘预警的启动、停止。
90.由于矿区地域广袤、地形地貌随着开采变化较多，给矿区的环境感知与地图构建带来了新的挑战。获取矿区的环境数据，需要大量的数据采集人员、测绘设备以及采集车，成本高，并不适用于矿区的面积大、地形变化频繁的场景。因此，现有技术需利用多个外业采集终端采集环境数据，传到云端地图服务器进行环境建模。其中，推土机作为矿区常见的工程机械，其在卸载区、作业道路上的推土平整作业，较为频繁的改变着环境的地形地貌，其作业场景是矿区地形变化更为频繁的区域。结合此种业务场景，本发明实施例提供了一种基于推土机的环境建模子系统e，通过采集作业环境数据进行作业环境三维建模。
91.图4为本技术实施例的用于智能推土机的辅助驾驶系统中的环境建模子系统的功能架构及信息交互示意图。如图4所示，环境建模子系统e能够通过搭载在交互终端c的生命周期管理系统g与平整作业管理平台a的交互，而实现环境建模子系统e与平整作业管理平台a的交互功能。
92.环境建模子系统e用于根据全方位环境感知信息，利用定位与建图技术、语义分割技术，构建动态的三维语义地图模型，以及将当前三维语义地图模型与推土机三维车辆模型和上述环境融合模型结合，完成对真实物理环境的数字化建模，实现增强现实，得到基于真实环境的数字化环境模型，从而将当前构建的基于真实环境的数字化环境模型通过生命周期管理系统来展示。其中，基于真实环境的数字化环境模型包含但不限于动态交通参与者、静态环境信息、车道信息、车辆位置与位姿和交通控制信息等信息。本发明所构建的基于真实物理环境下的数字化模型，能够通过激光雷达、视觉相机、毫米波雷达、超声波雷达等采集环境数据，利用同时定位与建图技术(slam)和语义分割技术，对环境实时感知、建模，构建动态三维语义地图模型，不仅可以展示静态环境建模、获取车道信息及车辆的位姿，还可以感知动态交通参与者信息，以及通过接入平整作业管理平台获取交通控制信息，提高驾驶员视野敏锐度，提供稳定的全景驾驶视野。此外，环境建模子系统e将所建模的关键场景与推土机三维车辆模型结合，对真实的物理环境进行数字化建模，实现增强现实，协助推土机辅助驾驶系统的智能交互和决策控制，优化作业生产流程。
93.具体地，环境建模子系统e基于采集的数据通过slam技术、语义分割技术进行静态环境的三维建模，构建细致到车道信息的三维语义地图；基于三维语义地图模型，通过多源异构融合感知技术得到动态交通参与者信息，以及通过接入平整作业管理平台获取的交通控制信息，构建多维环境模型；最后，将所构建的推土机三维车辆模型与实时位姿，映射回多维环境模型中共同构建真实物理场景的数字化模型，实现增强现实，形成基于真实环境
的数字化环境模型，从而为推土机驾驶员提供逼真、可控、可预测的决策支持。
94.另外，本发明实施例所述的智能传感系统b还用于基于推土机定位信息的变化来触发全方位环境感知信息的采集流程。基于多源异构传感器进行环境数据采集，针对推土机的作业特性，本发明的智能传感系统b还能够基于gps定位的自动触发全方位环境感知信息的采集流程，当推土机位置发生改变时触发采集流程。采集到的数据通过数据转换模块和安全性检测模块解析为易于传输的且符合规范的格式。
95.进一步，在本发明实施例中，安全预警子系统f也能够通过搭载在交互终端c的生命周期管理系统g与平整作业管理平台a的交互，而实现安全预警子系统f与平整作业管理平台a的交互功能。
96.安全预警子系统f还用于对作业区域边界、车身姿态、障碍物位置及距离、推土机到达位置和视野可见度(扬沙程度)进行实时诊断与预警提示。
97.安全预警子系统f的设计贯穿整个推土机的系统，一方面保障推土机的驾驶员以及车辆本身的安全，另一方面也为处于推土机周围的交通参与者提供安全警示。
98.具体地，在第一个实施例中，安全预警子系统f用于基于高精度地图获取的作业区域的电子围栏，可向驾驶员提供实时稳定的作业区域边界预警，使车辆在安全的区域内工作。在第二个实施例中，安全预警子系统f用于根据由障碍物预警功能融合多源异构传感器采集到的全方位环境感知信息而提供的全方位高精度的障碍物距离、语义、姿态、大小等信息，从而为推土机提供障碍物位置与距离的预警诊断。在第三个实施例中，安全预警子系统f用于根据来自车身稳定模块获得的关于当前推土机的实时车身角度的安全性的诊断结果，以向推土机提供关于车身姿态的预警。在第四个实施例中，安全预警子系统f用于根据来自扬尘预警模块获得的关于当前激光雷达和相机提供置信度分析结果是否小于阈值的诊断结果，以向推土机提供关于视野可见度的预警。
99.驾驶舱控制开关位于驾驶位旁边用于控制所安装的整套推土机智能集成套件b的通、断电，作为车载供电控制系统的冗余控制方式，保障供电安全。安装于推土机智能集成套件b不同立面的高可见度的指示灯，不仅可以指示智能集成套件b的位置以及长宽，还可以随着推土机的作业模式不同，闪烁不同颜色的灯光，提示周围的交通参与者推土机的位置以及不同的工作模式，尤其保障了夜间作业的安全性。声音警告会在系统启动、作业任务派单、障碍物预警场景下为驾驶员以及周围的行人车辆提供声音警示，连同车载人机交互系统的界面提示以及高可见度指示灯为驾驶员以及周围的交通参与者提供声、光、界面的多维方式预警。
100.另外，本发明实施例所述的平整作业管理平台a为推土机提供了另一层冗余安全保障，当监控到作业区域存在难以感知以及预料的安全风险，及时提醒对应推土机端的驾驶员以及周围的交通参与者，从而保障现场安全作业。
101.露天矿工程机械智能化改造作为智慧化矿山发展的必经之路，可有效的减员降本、提质增效，提升矿区作业的质量和安全。针对我国露天矿用推土机在排土场的作业现状和智能化需求，以实现功能可配置、硬件可选装的多模式、高安全保障系统为总体设计目标，设计了推土机智能集成套件和推土机人机交互智能终端，公开了一种面向露天矿用的智能推土机辅助驾驶系统，具体包括：智能传感系统b、辅助作业子系统d、环境建模子系统e、安全预警子系统f、生命周期管理系统g、交互终端和平整作业管理平台a的完整方案。智
能推土机辅助驾驶系统的实施应用，可以有效促进露天矿用推土机的智能化改造，助力露天矿工程机械的智能化转型。
102.具体地，推土机智能集成套件b作为系统的硬件平台，通过搭载的各类传感器与硬件设备为软件系统提供感知、定位等数据以及网络支持；辅助作业子系统d为辅助驾驶系统的核心模块，通过增强感知与作业辅助两大模块，提供平整作业辅助、车身稳定预警、辅助导航、盲区预警等功能，切实保证推土机行驶与作业安全；环境建模子系统e通过采集环境数据，实时构建推土机周围的地面三维模型，为驾驶员提供全方位的感知视角与准确的地面环境度量信息，与真实环境互为补充与增强；安全预警子系统f则通过高可见度指示灯、声音警告、电子围栏、障碍物检测预警等功能，为智能推土机提供稳定、可靠的安全保障；推土机人机交互智能终端c安装于驾驶舱，通过可触摸的中控屏实现驾驶员与推土机系统的人机交互；生命周期管理系统g为推土机辅助驾驶系统的总控系统，提供推土机车载系统管理、控制以及与平整作业管理平台a的交互。而且，平整作业管理平台a是作业现场内各个推土机端的控制中心，能够为各推土机端下发对应的作业任务、实时监测作业进程并完成全局调度。
103.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
104.应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
105.说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
106.虽然本发明所披露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。