面向智能矿山场景的数字孪生演化机理及方法与流程

本发明涉及一种面向智能矿山的数字孪生技术，属于机器视觉、计算机仿真与物联网技术领域，具体涉及面向智能矿山场景的数字孪生演化机理及方法。

背景技术：

当前，数字孪生技术广泛应用于智能制造和虚拟生产车间，并逐渐从数字化向智能化和智慧化发展。矿山无人化开采与机器学习等信息技术的深度融合，加快了矿井智能开采技术兴起并向纵深发展。数字孪生技术具有模型可视化、逻辑可控制和数据可计算的虚拟模型构建特点，其在工业智能制造和虚拟生产场景应用广泛。随着机器视觉三维建模技术以及视觉传感器测量技术在工业应用成果的不断推广，基于机器视觉的数字孪生技术将在智能矿山三维场景建模、物理信息技术以及虚拟空间数字镜像等应用方面发挥重要作用。

现有矿山应用场景采用vr或ar等虚拟现实仿真技术，物理模型与虚拟仿真的数据不同步，仿真模型的自学习、自优化能力弱，缺乏可计算性及信息交互能力，无法对智能矿山应用场景及作业设备进行智能感知、实时监控、精确定位和健康预测。因此，需要探索发明一种新的仿真模型构建方法，基于可视化三维模型进行感知分析、仿真模拟、迭代优化与决策控制，通过虚拟场景数字孪生模型实现智能矿山场景的远程可视化智能监控，以解决现有技术难题。

技术实现要素：

本发明所要解决的技术问题是：为了克服现有技术不足之处，本发明提出了一种面向智能矿山场景的数字孪生演化机理及方法，旨在通过构建物理空间智能矿山场景在虚拟空间的数字孪生模型，实现数字孪生体与物理实体之间信息交互与虚拟监控，实现对智能矿山应用场景及作业设备的智能感知、实时监控、精确定位和健康预测。

本发明的技术方案是：面向智能矿山场景的数字孪生演化机理及方法，所述方法的数字孪生模型包括物理模型、逻辑模型、仿真模型和数据模型，数字孪生模型由物理模型、逻辑模型、仿真模型相互耦合及演化而成，并通过数字孪生实现虚拟空间智能矿山场景与物理空间智能矿山场景的映射重构、数据镜像、同步反馈与信息交互，所述数字孪生包括对象孪生、过程孪生和性能孪生。

所述数字孪生数据模型包括感知层、网络层、数据层和表示层。

感知层用于感知智能矿山场景工况环境、设备运行参数和设备工作状态，为数字孪生的对象孪生提供信息流。

网络层用于智能矿山场景设备的统一组网、协议转换、边缘计算和网络传输，为感知层和数据层提供通信接口，并为数字孪生的过程孪生提供控制流。

数据层用于智能矿山场景多源数据的汇聚融合、迭代计算、分析挖掘、数据孪生和存储管理，为数字孪生的性能孪生提供数据流。

表示层为用户提供智能矿山场景数字孪生与信息交互服务，以及智能矿山场景设备的智能识别、精确定位、实时监控和可靠运维，为数字孪生提供决策流。

所述方法的数字孪生建模，包括如下步骤：

步骤1，物理模型定义：选取智能矿山场景物理实体建立三维物理模型，定义物理实体的几何属性、运动属性和功能属性，以及几何外形和机械结构，定义仿真迭代优化条件；

步骤2，逻辑模型表示：将物理模型映射到逻辑模型，通过图形化、形式化描述逻辑模型的组成要素、组织结构和运行机制，并通过逻辑模型将各要素属性和行为反馈到物理模型，实现对物理模型的优化；

步骤3，仿真模型建立：根据步骤1和步骤2，基于开源图形场景osg构建可视化的仿真模型，实现物理实体的孪生对象可视化、孪生结构可视化和孪生过程可视化；

步骤4，仿真模型优化：根据步骤3建立的仿真模型，基于多源数据，采用pareto多目标优化算法对仿真模型进行训练和优化，将仿真结果反馈到物理模型，并对物理模型优化；

步骤5，仿真模型验证：对物理模型与仿真模型进行一致性与可靠性验证，如满足仿真模型的目标函数迭代优化条件，则执行步骤6，否则，执行步骤2；

步骤6，数据模型构建：构建可计算的数据模型，采用多源数据融合和深度学习算法，以及迭代优化和智能决策方法，实现物理实体与虚拟孪生体的数据镜像和数据交换；

步骤7，数字孪生表征：集成物理模型、逻辑模型、仿真模型和数据模型，通过数据驱动与实时交互，实现物理空间智能矿山场景在虚拟空间的数字孪生。

所述数字孪生演化机理及方法，进一步地包括如下步骤：

步骤1.1，三维实体建模：利用三维建模工具建立智能矿山场景的物理实体三维模型，并采用有限元分析法求解三维模型的结构参数、几何参数、材料参数、状态参数及边界条件；

步骤1.2，模型渲染优化：根据步骤1.1所获取的三维模型，使用3dsmax三维渲染工具对模型结构透视图或点云图进行渲染、添加材质，并对其边缘部分进行修补优化；

步骤1.3，仿真场景构建：将步骤1.2渲染后的模型导入虚拟现实仿真引擎，使用其内置的物理引擎构建可视化仿真模型，实现数字孪生体可视化建模、生产过程和应用场景可视化展示与虚拟漫游；

步骤1.4，数据融合：将物理实体的多源传感器数据作为输入，经多源数据融合后输出，据此驱动数字孪生体完成信息交换，并将传感器实时数据、历史数据及物理模型存储在云数据库中；

步骤1.5，交互控制：通过opcua、tcp/udp和webservice通信接口实现数据实时采集、远程通信和多源动态数据的实时更新，通过vr或ar人机接口和数据库接口，实现智能矿山场景数字孪生体与物理实体的实时交互及虚拟现实。

所述数字孪生采用物理实体结构模型、几何模型和材料模型的多尺度、多层次集成，将物理空间中的物理实体在虚拟空间进行全要素重构，通过实时数据采集、数据融合和迭代计算，形成具有感知、分析、决策和执行能力的数字孪生体。

所述数字孪生体作为物理实体在虚拟空间的1∶1映射，采用集成的多物理、多尺度和动态概率仿真模型，基于机器视觉和深度学习算法，实现对物理实体的数字镜像和数据驱动。

所述数字孪生采用opcua服务架构和边缘计算技术，具有独立于底层通信协议的实时数据采集和边缘计算功能，支持webservice接口和odbc数据库通信接口，并实现模型分布式计算及数据低延时安全传输。

所述数字孪生基于卷积神经网络深度学习算法对多源传感器感知数据、状态数据以及历史数据进行数据挖掘，通过训练和优化实现数字孪生模型的自学习、自优化，提高所述模型的准确性和鲁棒性。

所述步骤1.1三维实体建模，进一步包括如下子步骤：

步骤1-1，参数初始化：初始化智能矿山应用场景物理实体的结构参数、几何参数、状态参数及边界条件；

步骤1-2，有限元分析：采用有限元法求解计算，获取智能矿山应用场景在三维动态优化中的结构参数、几何参数、状态参数及边界条件，得出其随状态变量变化的收敛条件；

步骤1-3，收敛性评估：如果智能矿山应用场景物理模型优化的目标函数随状态变量的变化而收敛，则获取应用场景物理模型点云图，执行步骤1-4；否则，放弃对应用场景物理模型的点云采集，修改参数，执行步骤1-1；

步骤1-4，目标函数优化：更新参数集并进行迭代计算，直至求得目标函数的局部最优解为止，获取智能矿山应用场景物理模型的点云图最优方案，计算结束。

所述步骤1.2模型渲染优化，进一步包括如下子步骤：

步骤2-1，获取三维智能矿山应用场景的物理模型透视图；

步骤2-2，定义物理模型的表面颜色、透明度、粗糙度和纹理；

步骤2-3，添加物理模型的材料参数、结构数据和几何数据及优化边界条件；

步骤2-4，导入物理模型，使用3dsmax对其渲染，并对模型边缘进行渲染优化。

所述步骤1.3仿真场景构建，进一步包括如下子步骤：

步骤3-1，采用虚拟现实仿真引擎建立智能矿山应用场景的物理模型；

步骤3-1，利用物理引擎的计算结果驱动图形渲染引擎进行渲染和绘制；

步骤3-3，对智能矿山场景的物理模型旋转、平移和姿态进行解析，求解出其倾角、夹角、位置与运动状态变量之间的关系；

步骤3-4，构建智能矿山场景可视化仿真模型，实现数字孪生体可视化建模、虚拟空间智能矿山生产过程与应用场景可视化展示。

所述数字孪生具有感知分析、仿真模拟、迭代优化与决策控制功能，通过数字孪生体实现对智能矿山物理实体的智能感知、实时监控、精确定位和健康预测。

所述数字孪生实现数字孪生体的三维建模工具包括激光扫描仪、creoparametric、ugnx或3dsmax，虚拟现实仿真引擎采用unity3d开发工具。

所述智能矿山场景包括矿井无人化综采工作面、矿井无人化综掘工作面、矿井智能化开采工作面、露天矿智能化开采工作面和矿山机器人化采矿装备作业场景，以及矿井智能化掘进、智能化提升、智能化运输、智能化辅助运输、智能化洗选、智能化原位开采和流态化开采场景。

本发明的有益效果在于：

该发明基于卷积网络深度学习算法，通过构建和集成物理模型、逻辑模型、仿真模型和数据模型，描述数字孪生演化过程及实现方法。本发明解决了现有矿山应用场景虚拟现实的仿真模型自学习、自优化能力弱、缺乏可计算性及信息交互能力，无法对智能矿山应用场景现场设备进行远程实时监控和健康状况预测等问题。本发明通过虚拟场景数字孪生实现智能矿山的远程可视化监控，解决了现有虚拟现实技术无法实现对矿山应用场景目标实时监控难题。

附图说明

图1为面向智能矿山场景的数字孪生总体框图。

图2为面向智能矿山的数字孪生演化机理及方法的演化模型。

图3为面向智能矿山的数字孪生演化机理及方法的数据模型。

图4为面向智能矿山的数字孪生演化机理及方法的流程图。

图5为面向智能矿山场景的数字孪生演化机理及方法的数据流程图。

图6为面向智能矿山场景的数字孪生演化机理及方法的仿真模型构建流程图。

图7为面向智能矿山场景的数字孪生演化机理及方法的实施例示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明的具体实施方式进行详细描述。

图1为面向智能矿山场景的数字孪生总体框图。参照图1，基于物理空间智能矿山场景与虚拟空间智能矿山场景的信息物理映射关系，建立了上述数字孪生驱动的理论架构，包括物理空间、虚拟空间和数字孪生模型。其中,物理空间元素包括智能矿山场景物理对象、智能矿山作业场景与工况状况、智能矿山生产过程和智能矿山采矿装置。虚拟空间元素包括的三维物理模型、虚拟智能矿山场景以及智能矿山场景仿真模型，数字孪生包括对象孪生、过程孪生和性能孪生,数字孪生模型通过数据驱动动态优化仿真模型,实现智能矿山场景在物理空间与虚拟空间的信息交互；采用多源数据融合和深度学习算法，并通过模型训练、迭代优化和智能决策方法，对智能矿山场景采矿装置进行数据分析与健康预测。

图2为面向智能矿山的数字孪生演化机理及方法的演化模型。参照图2，基于物理空间智能矿山场景与虚拟空间智能矿山场景的信息物理映射关系，构建了上述数字孪生演化机理及方法的演化模型，包括数字孪生模型、物理空间智能矿山场景和虚拟空间智能矿山场景及其数字孪生。数字孪生模型由三维物理模型、可控制逻辑模型、可计算数据模型和可视化仿真模型构成，通过三维物理模型、可控制逻辑模型、可视化仿真模型相互耦合与演化而成，并基于数字孪生和数据驱动实现物理实体的对象孪生、过程孪生和性能孪生。可视化仿真模型通过构建与物理空间在视觉效果上几何结构一致的虚拟场景，为数字孪生提供人机交互平台，体现模型的可交互性。逻辑模型通过对物理空间组成要素、组织结构和运行过程建模，通过对历史数据、更新数据和仿真数据等多源数据融合与分析，实现对物理模型的优化，达到与物理模型运动状态一致的虚拟场景，体现模型的可控制性。数据模型通过构建数据采集通信、数据分析、优化与决策，实现物理空间或虚拟空间的1:1镜像，体现模型的可计算性。其演化过程包括：基于感知分析和边缘计算的仿真模型验证，进行数字孪生模型仿真，基于数据驱动的数字孪生场景实时监控与生产过程控制，基于卷积神经网络的数据挖掘和模型迭代优化，实现物理空间到虚拟空间的映射重构与信息交互，即完成由智能矿井场景虚拟化到场景模型数字化、再到数字场景镜像化和镜像场景数字孪生化的全周期演化闭环过程。

图3为面向智能矿山的数字孪生演化机理及方法的数据模型。如图3所示，上述方法的数据模型为四层体系结构，包括感知层、网络层、数据层和表示层。其中，感知层作为数字孪生数据模型的最底层，用于感知智能矿山场景工况环境、设备运行参数和设备工作状态，为数字孪生的对象孪生提供信息流；网络层在数据模型的感知层之上，用于智能矿山场景设备的统一组网、协议转换、边缘计算和网络传输，为感知层和数据层提供通信接口，为数字孪生的过程孪生提供控制流；数据层在数据模型的网络层之上，用于智能矿山场景多源数据的汇聚融合、迭代计算、数据孪生、分析挖掘和存储管理，为数字孪生的性能孪生提供数据流；表示层在数据模型的最上层，为用户提供数字孪生与信息交互服务，以及智能矿山应用场景设备的智能识别、精确定位、实时监控和可靠运维，为数字孪生提供决策流。

图4为面向智能矿山的数字孪生演化机理及方法的流程图。如图4所示，面向智能矿山场景的数字孪生演化机理及方法步骤包括：(1)选取物理实体作为建立三维可视化的物理模型，定义物理实体的几何属性、运动属性和功能属性，以及几何外形和机械结构，定义仿真分析和评估优化条件。(2)建立可控制的逻辑模型，将物理模型映射到逻辑模型，通过图形化、形式化描述逻辑模型的组成要素、组织结构和运行机制，并通过逻辑模型将各要素属性和行为反馈到物理模型，实现对物理模型的优化。(3)基于开源图形场景osg构建可视化的仿真模型，实现物理实体的孪生对象可视化、孪生结构可视化和孪生过程可视化；(4)根据步骤(3)建立的仿真模型，基于实时和历史数据对仿真模型进行训练和优化，并将仿真结果反馈到物理模型。(5)利用模型相关性与相容性测量与评估算法对物理模型与仿真模型进行一致性与可靠性验证，如满足仿真模型的目标函数迭代优化条件，则执行步骤(6)，否则，返回执行步骤(2)；(6)构建可计算的数据模型，通过数据采集、数据挖掘和数据决策体系，采用多源数据融合和深度学习算法，以及迭代优化和智能决策方法，实现物理实体与虚拟孪生体的数据镜像和数据交换。(7)集成物理模型、可控制逻辑模型、可视化仿真模型和可计算数据模型，通过数据驱动与实时交互，实现智能矿山场景物理实体与数字孪生体的数字孪生、双向通信和智能监控。

图5为面向智能矿山场景的数字孪生演化机理及方法的数据流程图。如图5所示，面向智能矿山场景的数字孪生演化机理及方法的数据流程包括：(1)利用三维建模工具建立智能矿山场景的物理实体三维模型，并采用有限元分析法求解三维模型的结构参数、几何参数、材料参数、状态参数及边界条件；(2)对所获取的三维模型，使用3dsmax三维渲染工具对模型结构透视图或点云图进行渲染、添加材质，并对其边缘部分进行修补优化；(3)将渲染后的模型导入虚拟现实仿真引擎，使用其内置的物理引擎，基于开源图形场景osg构建可视化仿真模型，实现数字孪生体可视化建模、生产过程和作业场景虚拟展示；(4)将物理实体的多源传感器数据和仿真模型的监控数据作为输入，经多源数据融合后输出，据此驱动数字孪生体完成与物理实体的信息交换，并将传感器实时数据、历史数据及仿真模型的融合数据存储在云数据库中；(5)通过opcua、tcp/udp、webservice通信接口实现数据实时采集、远程通信和多源动态数据的实时更新，通过视频终端、人机接口和数据库接口，为用户提供webservice服务，实现智能矿山场景数字孪生体与物理实体的实时交互及虚拟监控。

图6为面向智能矿山场景的数字孪生演化机理及方法的仿真模型构建流程图。如图6所示，上述方法的仿真模型构建流程主要包括：(1)获取三维场景中智能矿山场景物理模型的透视图；(2)定义智能矿山场景物理模型的表面颜色、透明度、粗糙度和纹理；(3)添加智能矿山场景物理模型的材料参数、结构数据和几何数据及优化边界条件；(4)导入智能矿山场景物理模型，使用3dsmax对其渲染，并对模型边缘进行渲染优化；(5)输出渲染模型,使用unity3d物理引擎的计算结果驱动图形渲染引擎进行渲染和绘制；(6)对智能矿山场景物理模型旋转、平移和姿态进行解析，求解出其倾角、夹角、位置与运动状态变量之间的关系；(7)基于开源图形场景osg构建可视化仿真模型；(8)对仿真模型进行优化和验证，如果满足优化迭代条件，则输出仿真模型，否则，继续迭代，直到满足迭代优化条件为止。

图7为面向智能矿山场景的数字孪生演化机理及方法的实施例示意图。参照图7，物理空间综采工作面通过数字孪生实现与虚拟空间综采工作面的相互映射和信息交互。其中，实施例数字孪生包括对象孪生、过程孪生和性能孪生。数字孪生模型由物理模型、逻辑模型、数据模型和仿真模型演化集成，并通过数据驱动方式实现物理实体与数字孪生体之间的对象孪生、过程孪生和性能孪生。基于综采智能监控系统设计理论和数据模型，通过物理综采工作面和虚拟数字孪生综采工作面在对象要素级、生产过程级和设备性能级实现双向映射与实时交互，实现对象孪生、过程孪生和性能孪生。实施例根据综采工作面孪生数据库、历史数据和设备实时运行数据进行数据的实时更新与同步，实现物理无人化工作面与虚拟无人工作面孪生数据的全要素、全流程、全数据集成与融合。实施例在孪生数据的驱动下，通过物理空间综采工作面、虚拟空间综采工作面、综采工作面数字孪生模型与孪生数据的迭代运行，实现综采工作面生产要素管理、生产过程预仿真、设备性能实时监控，从而使综采工作面生产系统在虚拟数字孪生场景下实现远程控制、智能监测。

显然，本领域的技术人员应该明白，本发明及上述实施例所涉及面向智能矿山场景的数字孪生演化机理及方法，除作为矿井数字孪生应用于智能矿山场景外，通过适当集成或改进后也适用于非金属和金属等非煤矿山场景的数字孪生应用场景。

以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明设计思路的前提下，还可进行若干简单的替换和更改，都应当视为属于本发明所提交的权利要求书所涉及的保护范围。