基于多智能体深度强化学习的虚拟综采生产系统推演方法

1.本发明涉及综采工作面仿真技术领域，具体而言，是一种基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法。


背景技术：

2.随着国家智能制造的推进，数字孪生技术在制造过程中的地位逐渐增加，追求更高效、更安全、更透明化的生产制造模式，以上内容的实现离不了虚拟场景的映射作用，需要建立与物理生产制造场景完全等价的虚拟场景。煤矿开采属于深部作业空间，其开采的特殊性使得煤矿智能化的进展较其他行业的发展来说比较慢，因而亟需建立煤矿开采过程的完整映射的虚拟开采过程。
3.综采工作面的开采作业作为煤矿开采过程的重要一环，其开采过程涉及的装备较多，对开采过程中装备间的协同要求较高，开采中对工艺与直线度要求也比较高，因此在实现综采工作面全生命周期的协同推进问题上面临的挑战比较大。
4.公开号cn111140231a的发明专利公开了一种面向综采装备时空运动学的煤层顶底板路径虚拟规划方法，通过unity3d软件建立固有煤层顶底板；利用物理引擎构建综采装备和煤层顶底板的时空运动学关系，利用mesh组件动态生成单循环煤层顶底板,刮板输送机和液压支架随着采煤机的引领进行协同推进。公开号cn109783962a的发明专利公开了基于虚拟现实物理引擎的综采装备协同推进仿真方法，是将虚拟综采装备经模型刚体化修补后，与虚拟煤层进行虚拟接触，进而模拟装备井下运行信息，虚拟实时更新煤层是通过实时记录采煤机前后滚筒截割轨迹在unity3d软件中进行mesh网格碰撞体重构，通过控制固有煤层信息和虚拟实时更新煤层属性的有无和显示，实时更新虚拟煤层数据信息，真实再现井下煤层环境下装备自适应推进过程。公开号cn108643884a的发明专利公开了一种锚杆钻机推进回转系统及其协同自适应控制方法，对推进系统和回转系统单回路实施自抗扰控制，增强钻进过程鲁棒性；采用复合控制方式，根据预估的岩石硬度系数，确定钻机当次钻进的最优推进力和最优旋转速度，进而实现锚杆回转与推进系统的协同动作。公开号cn112392485a的发明专利公开了一种煤矿综采工作面透明化数字孪生自适应开采系统和方法，构建了基于统一大地坐标系的数字孪生三维虚拟开采场景，利用智能感知技术实时获取设备端信息；通过信息驱动虚拟场景中的孪生模型，实现井上对井下采煤作业场所的开采环境的透明化感知、设备的智能监控、可视化自适应开采及故障预测等，减少采煤作业人员,提高煤矿智能开采水平。公开号cn111208759a的发明专利公开了一种通过构建数字孪生模型，基于三维可视化虚拟场景，利用卷积网络深度学习算法进行感知分析、仿真模拟、迭代优化与决策控制。基于数据孪生和数据驱动,通过虚拟空间数字孪生无人化综采工作面实现对远程物理空间矿井无人化综采工作面的实时监控、智能感知、精准定位和健康预测。公开号cn111210359a的发明专利公开了面向智能矿山场景的数字孪生演化机理及方法，通过构建数字孪生模型,实现数字孪生体与物理实体之间的数据镜像与信息交互,实现物理空间物理实体与虚拟空间数字孪生体的对象孪生、过程孪生和性能孪生；本发明通过
数字孪生演化机理与方法，在虚拟空间智能矿山场景实现对物理空间智能矿山场景远程可视化监控。公开号为cn112945160a的发明专利提供了一种虚实融合的液压支架间相对位姿试验平台及试验方法，采用虚实融合方法模拟真实煤层环境下相邻液压支架工作流程及支护场景，多支架虚拟测试场景模拟真实井下相邻支架动作流程、实时相对位姿状态及煤层倾斜情况，通过相邻虚拟液压支架及实际受试液压支架的交替动作显示液压支架间的实时位姿画面、相对位姿数据及实际受试液压支架的实时压力数据；公开号cn109989751a的发明专利公开了一种综采三机跨平台远程实时运动跟踪方法，构建了综采三机虚拟模型驱动模块,实现三机虚拟模型的实时驱动，动态地展示综采三机设备的实时运行状态,并显示到客户端计算机上。公开号cn113128109a的发明专利公开了一种面向智能化综采机器人生产系统的测试与评估方法，ai机器人系统基于传感误差分析、执行误差的误差分析，构建虚拟装备的深度强化学习模型，确定仿真初始数据和虚拟场景运行数据，将装备及地质探测手段按照未来智能化发展运行参数进行输入，根据输入参数进行虚拟预演与迭代优化；构建考虑截割轨迹、直线度、工作空间和动态煤层的全面评价指标，对未来的综采机器人运行进行模拟，确定发展趋势，测试机器人运行性能。
5.由以上研究内容可以看出虚拟模型的建立及其健康运行对数字孪生技术的实现具有重要作用，虚拟模型的构建精度对场景运行的可靠性影响巨大，但是当前研究中仍然存在以下问题：(1)当前在虚拟综采工作面协同推进的实现过程中环境对装备运行的影响，主要局限于虚拟仿真引擎的附加作用，没有全面考虑其他装备的运行状况对其运行的影响；(2)数据驱动的影响主要体现在对模型的构建过程中，历史开采数据的影响应该贯穿于装备的虚拟运行全过程中，即从历史数据中提取装备运行的关键信息，这些信息需要与装备的虚拟运行结合；(3)在深度强化学习知识在装备上的应用方面，全局目标局限于工程问题，在迭代训练时仅利用单个装备运行信息与历史开采信息，未考虑装备间的相互作用、联合动作的影响。
6.综上所述，针对数字孪生综采工作面运行过程中进行虚拟调试、工艺设计以及后期的服务方面需要虚拟场景的实时更新，现有技术中，虚拟环境下综采工作面“三机”运行过程的虚拟重构灵活性差，满足不了当前数字孪生综采工作面运维要求，使得虚拟综采工作面“三机”自主协同能力欠缺。
7.因此，在虚拟环境下建立物理综采工作面高度映射的基础上，需要在装备运行的过程中建立一种基于数据驱动的、在场景运行时兼顾煤层环境与装备间相互影响的耦合运行机制。


技术实现要素：

8.本发明的目的是提供一种基于多智能体深度强化学习的虚拟综采生产系统推演方法，以提高虚拟场景运行的灵活性，考虑装备间、装备与煤层间的相互影响与相互作用，保证在虚拟煤层与装备共同构建的工作空间下，虚拟煤机装备高效、平稳运行，为实际综采工作面的生产运行提供指导与服务。
9.为实现上述目的，本发明采用的技术方案是：一种基于多智能体学习的虚拟综采生产系统耦合推演方法，根据综采工作面“三机”各自的结构参数与自由度特点进行煤机装备智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建
模；将建立的模型导入至unity3d中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源；
10.将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下实现采煤机智能体的调速、滚筒调高、推进，刮板输送机智能体自适应弯曲与推演下一循环开采轨迹，液压支架智能体的推溜、移架、升/降柱、伸/收互帮板以及智能体间的纠架，根据采煤机的截割信息进行煤层的更新；
11.以上所述的“三机”为液压支架、刮板输送机和采煤机，所建立的煤机装备智能体为采煤机智能体、液压支架智能体群、刮板输送机智能体。
12.进一步地，在虚拟环境下，对煤机装备智能体的运动进行决策，实现综采工作面“三机”协同推进过程，包括以下步骤：
13.(1)利用unity3d的ml-agents插件构建运行环境，确定各智能体关于自身的信息以及关于其他智能体的信息，即自身的关节信息、在虚拟煤层上的方位信息、自身的关键运行动作信息，与其他智能体间的相对方位信息及其他智能体的自身的位置信息、关键运行动作信息；
14.(2)煤机装备智能体根据当前的煤层环境以及装备间的相对状态信息进行选择并执行各自的动作，进而影响环境状态的转移与更新，该过程通过《s,a1,
…
,an,t,r1,
…
,rn》分别表示状态集合(s)，动作集合(ai)，奖励集合(ri)，状态转移的概率(t)；
15.(3)利用unity3d中机器学习的“好奇心选项”，建立单个智能体的累积奖励机制如下:将s
t
，a
t
，s
t+1
，输出为通过输入的s
t
，a
t
预测下一个状态与s
t+1
的差距，差距越大，a
t
对未知状态的好奇心越大，奖励越大；通过训练一个过滤器，将一些与煤机装备智能体行为无关的特性进行过滤，将过滤后的行为状态输入另外一个网络中，得到
[0016][0017]
(4)将整个开采过程的期望效果，即保证安全开采的前提下，实现最大开采率这一期望记为q(s,a)，并将其分解为局部qi(si,ai)的加权和，煤机装备智能体均有各自的局部值函数，将综采工作面“三机”的开采目标分解为单个煤机装备的运行目标；
[0018][0019]
(5)对单个煤机装备的运行决策过程进行整合，确定综采工作面“三机”运行的最大期望值，采用混合网络模块qmix方法对单个煤机装备智能体的决策过程进行合并，最大化全局qtot值对应的运行动作是各局部qa值的组合；
[0020][0021]
(6)建立综采工作面“三机”多智能体在虚拟煤层上运行的全局q值与单个设备的局部q值的单调性约束关系，采用集中式的学习方法在考虑多智能体间的联合动作效应的
前提下，去解决复杂煤层条件下开采过程中的不确定问题，从中提取单个煤机装备智能体的运行策略，进而实现分布式控制，约束关系如以下公式所示，其中n为装备智能体的个数：
[0022][0023]
(7)在训练的过程中，加入综采工作面开采过程的开采量、开采时间、留岩量以及综采工作面的平直度这些全局信息进行辅助训练，通过联合动作q值指导策略的优化，同时个体能够从全局的q值中提取局部的qi值来完成各自的决策，实现多智能体的分布式控制；选择最大化全局qtot值为迭代更新的目标，在每次迭代中选择各个智能体的动作；
[0024][0025][0026]
(8)得到最优q
tot
以及最优策略，建立了综采工作面“三机”的耦合推进运行机制，各煤机装备智能体按照各自的最优运行策略并结合整体的运行策略的指导实现综采工作面“三机”的耦合推演。
[0027]
进一步地，步骤(6)中，所述联合动作效应是指各煤机装备智能体间在达到最优联合动作问题中，各智能体间的运动相互建模，并能从其他智能体间获得潜在的运动信息进行决策，为装备智能体协作机制的建立基础。
[0028]
进一步地，装备智能体协作机制是指采煤机智能体分别与煤层间、刮板输送机智能体间，液压支架智能体与煤层间、刮板输送机智能体，刮板输送机智能体与虚拟煤层间、采煤机智能体、液压支架智能体群间的协同作业机制。
[0029]
进一步地，所述的装备智能体协作机制是在unity3d创建的虚拟环境下，基于虚拟煤层开采空间，刮板输送机智能体自适应铺设在虚拟煤层底板上，采煤机智能体以刮板输送机智能体为轨道，前后滚筒自适应调高进行割煤，液压支架智能体根据煤层顶底板的截割情况，及时推进与支护。
[0030]
进一步地，相互建模是指煤机装备智能体中的其中一个在联合动作学习过程中，基于其他智能体的历史运行信息，对其他智能体的运行策略进行建模。
[0031]
进一步地，所述相互建模是指采煤机智能体根据煤层环境信息与刮板输送机智能体的姿态信息进行割煤动作；刮板输送机智能体根据采煤机智能体的截割过程信息进行与煤层环境下的交互，获得下一个开采循环刮板输送机智能体的弯曲信息；液压支架智能体群将根据采煤机智能体的截割顶底板情况进行自适应支护，根据获得的下一开采循环的刮板输送机智能体弯曲信息进行推移。
[0032]
进一步地，所述分布式控制是指每个煤机装备智能体的局部值函数只需要进行该智能体视角下的局部观测，通过局部值函数，选出累积期望奖励最大的动作执行，进行分布式执行，整个虚拟重构系统在执行时是一个分布式的。
[0033]
进一步地，所述混合网络模块qmix负责对单个煤机装备智能体的局部值函数进行合并，在该模块中，各层的权值是利用一个超网络与绝对值计算产生的，保证了权值始终为正与单调性约束关系。
[0034]
与现有技术相比，本发明提出的基于多智能体深度强化学习的虚拟综采工作面生
产系统推演方法，其优点和突出创新点如下：
[0035]
1.在已有煤层条件对各装备智能体影响的基础上，考虑装备智能体间的相互影响，形成了相对于单个装备智能体的基于煤层开采空间与其他装备智能体的运行信息下的总的运行环境，并加入综采工作面开采过程的全局信息进行辅助训练，采用集中式训练，分布式决策控制的方式，克服了在综采工作面推进过程中煤层环境起伏不定这一不稳定的问题以及智能体间联合动作效应的影响，保证了各装备智能体动作最优、装备智能体间协作策略最优，实现了在运行时装备与装备之间、装备与煤层间相互影响、相互指导的协同推进机制。
[0036]
2.在历史开采数据的基础上，在unity3d中将煤层预测信息与采煤机智能体截割高度信息与位姿信息、刮板输送机智能体位姿信息、液压支架智能体群的支护信息进行实时融合，建立了虚拟煤层动态更新机制，通过集中迭代训练提取关键特征信息，实现煤层随着综采工作面“三机”的推进而更新，包括煤岩容量比例以及界限的更新，可在虚拟环境下对未来开采过程中是否遇到复杂地质进行排查，以及根据虚拟煤层的起伏情况对开采过程中的采煤机截割轨迹信息进行决策。
[0037]
3.采煤机智能体根据虚拟煤岩分界线进行动作决策，并根据虚拟煤层条件形成最优截割方案并反馈至实际采煤机驱动截割过程，保证最大开采效益；在采煤机智能体截割煤壁的过程中，能够考虑群体联合动作的效应，引导其他装备智能体对自身最优行为的决策；在煤层倾角较大，极易发生设备窜溜的情况下，采煤机智能体对刮板输送机智能体与相邻液压支架智能体群的环境状态转移概率进行计算，确定该装备智能体的状态异常与否并对异常智能体状态进行及时决策与停机。
[0038]
4.液压支架智能体在运行决策过程中，通过学习对煤层环境和其他装备智能体的运行状态对自身的运行进行优化，液压支架智能体在支护的过程中，建立煤层顶板信息与智能体支护姿态间的最优决策信息，进而对支架-围岩耦合关系进行分析；以及对液压支架智能体与刮板输送机智能体协同运行时，推移机构的行为决策将受到刮板输送机智能体的位姿特点与煤层起伏的影响，确定最优推移路径；鉴于液压支架智能体间离散的动作空间，对各动作空间的干涉情况进行分析，进而对智能体间是否发生咬架、挤架的行为进行决策，并对采煤机智能体的截割行为进行建模，保证后续推进过程中液压支架智能体群的健康运行。
[0039]
5.刮板输送机智能体能够根据采煤机智能体与液压支架智能体群的运行状态以及煤层的起伏情况进行策略集成，实现自适应弯曲；刮板输送机智能体的位姿信息可以指导液压支架智能体推移动作的建模，对液压支架智能体群的直线度控制以及采煤机智能体的行走轨迹进行决策，进而实现对整个综采工作面的直线度问题进行控制；根据截割底板宽度与中部槽宽间的，刮板输送机智能体的铺设姿态能对煤层起伏进行反演，其姿态能影响虚拟煤层底板的更新的可靠性，能够根据刮板输送机智能体铺设姿态信息与采煤机智能体截割底板信息联合后，作为先验信息提供至煤层更新过程。
[0040]
6.本发明可应用于实际综采工作面的生产、设计、服务过程中，对开采过程中常见的工程问题进行解决方案的制定与评估，以及对综采工作面推进过程中的装备运行信息与故障信息进行识别分析，达到面向整个开采过程的运行预演与监控，实现主动发现问题、提供解决策略的目的。
附图说明
[0041]
此处的附图用来提供对本发明的进一步说明，构成本技术的一部分，本发明的示意性实施例及其说明用来解释本发明，并不构成对本发明的不当限定。
[0042]
图1为基于多智能体深度强化学习的虚拟综采工作面生产系统耦合推演方法的框架图；
[0043]
图2为综采工作面推进示意图；
[0044]
图3为基于多智能体深度强化学习的综采工作面生产系统虚拟重构方法框架图；
[0045]
图4为综采工作面生产系统虚拟重构q值网络架构；
[0046]
图5为综采工作面生产系统虚拟重构决策与控制方法示意图；
[0047]
图6为基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法应用后可实现的功能；
[0048]
图7为基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法的装备的选型与优化；
[0049]
图8为基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法应用后可实现的功能；
[0050]
图9为基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法进行选型与优化；
[0051]
图10为基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法的刮板输送机直线度调整；
[0052]
图11为基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法的刮板输送机上窜下滑监测研究。
具体实施方式
[0053]
本发明采用多智能体深度强化学习作为综采工作面“三机”协同的技术支撑，实现在综采工作面“三机”运行推进的过程中，装备在虚拟煤层上自适应协同推进，装备间相互协同推进。根据在推进过程中的煤机装备运行特性，将其视为煤机装备智能体，因而综采工作面“三机”在虚拟煤层上的协同推进过程，可以看作多个智能体在历史开采信息的驱动下，在虚拟开采空间这一个环境下，各装备智能体在工作过程中考虑与其他智能体的联合动作效应，相互合作共同完成开采过程。
[0054]
如图1所示为多智能体深度强化学习的虚拟综采工作面生产系统推演方法的框架图。根据综采工作面“三机”(即液压支架、刮板输送机、采煤机)各自的结构参数与自由度特点进行智能体本体的三维建模，以及根据煤层探测信息与采煤机截割信息进行虚拟煤层的建模，将建立的三维模型导入至unity3d中，作为整个综采工作面“三机”的初始场景，将装备开采过程中的历史运行信息接入场景中，提取煤机装备运行关键信息作为初始运行的数据驱动来源。将装备运行数据进行集中迭代训练，采用分布式控制方式获得装备运行的决策信息，最终在决策结果的控制下可以实现虚拟环境下采煤机智能体的调速、滚筒调高、推进，刮板输送机智能体自适应弯曲与推演下一循环开采轨迹，液压支架智能体的推溜、移架、升/降柱、伸/收互帮板以及智能体间的纠架，根据采煤机的截割信息进行煤层的更新。
[0055]
如图2所示为综采工作面推进示意图，采煤机以刮板输送机为运行轨道进行割煤
作业，待采煤机割完一定距离后，液压支架推移刮板输送机，液压支架及时支护顶板，避免塌方。在采煤机割完一刀后，采煤机反向割煤，如此循环往复，实现综采工作面的推进。
[0056]
在虚拟综采工作面“三机”协同推进实现的过程中，主要分为三大部分内容：采煤机截割作业、刮板输送机平直度保证、液压支架群支护问题，但是这三者之间是相互关联的。具体是指：1.采煤机以刮板输送机为轨道进行割煤，在割煤的过程中需要保证煤壁的平直度，这个过程需要保证刮板输送机的直线度，但该直线度的控制需要控制液压支架推移动作来实现。2.采煤机在截割的过程中需要调节滚筒的高度，以保证综采工作面的最大生产量，截割完毕后的采空区需要液压支架及时支护，这也决定着液压支架的支护姿态。3.在液压支架推移刮板输送机时，需要考虑推移机构各结构的运动过程确定保证直线的所需的具体推移距离，进而对刮板输送机直线度进行控制。
[0057]
鉴于以上内容的实现，需要在虚拟环境下，对煤机装备智能体的运动进行决策，以实现综采工作面“三机”协同推进过程。
[0058]
如图3所示为多智能体深度强化学习的虚拟综采工作面生产系统推演过程的实现过程图，具体步骤如下：
[0059]
(1)利用unity3d的ml-agents插件构建运行环境，确定各智能体关于自身的信息以及关于其他智能体的信息，即自身的关节信息、在虚拟煤层上的方位信息、自身的关键运行动作信息，与其他智能体间的相对方位信息及其他智能体的自身的位置信息、关键运行动作信息。
[0060]
(2)煤机装备智能体根据当前的煤层环境以及装备间的相对状态信息进行选择并执行各自的动作，进而影响环境状态的转移与更新，该过程通过《s,a1,
…
,an,t,r1,
…
,rn》分别表示状态集合(s)，动作集合(ai)，奖励集合(ri)，状态转移概率(t)。
[0061]
(3)利用unity3d中机器学习的“好奇心选项”，建立如图4所示的单个智能体的累积奖励机制如下:将s
t
，a
t
，s
t+1
，输出为通过输入的s
t
，a
t
预测下一个状态与s
t+1
的差距，差距越大，a
t
对未知状态的好奇心越大，奖励越大；通过训练一个过滤器，将一些与煤机装备智能体行为无关的特性进行过滤，将过滤后的行为状态输入另外一个网络中，以更好的优化特征提取器feature ext，得到以上过程的关键是如图5所示的好奇心模块。通过在脚本中添加forward_loss与inverse_loss使用curiosity功能，将图中的network1与network2在脚本中分别用create_forward_model和create_inverse_model表示。
[0062][0063]
(4)如图6所示，将整个开采过程的期望效果，即保证安全开采的前提下，实现最大开采率这一期望记为q(s,a)，并将其分解为局部qi(si,ai)的加权和，煤机装备智能体均有各自的局部值函数，将综采工作面“三机”的开采目标分解为单个煤机装备的运行目标。
[0064][0065]
(5)对单个煤机装备的运行决策过程进行整合，确定综采工作面“三机”运行的最大期望值，采用qmix(混合网络模块)方法对单个煤机装备智能体的决策过程进行合并，最
大化全局qtot值对应的运行动作是各局部qa值的组合。
[0066][0067]
(6)如图7所示，建立综采工作面“三机”多智能体在虚拟煤层上运行的全局q值与单个设备的局部q值的单调性约束关系，采用集中式的学习方法在考虑多智能体间的联合动作效应的前提下，去解决复杂煤层条件下开采过程中的不确定问题，从中提取单个煤机装备智能体的运行策略，进而实现分布式控制，约束关系如以下公式所示，其中n为装备智能体的个数：
[0068][0069]
(7)在训练的过程中，加入综采工作面开采过程的开采量、开采时间、留岩量以及综采工作面的平直度这些全局信息进行辅助训练，通过联合动作q值指导策略的优化，同时个体能够从全局的q值中提取局部的qi值来完成各自的决策，实现多智能体的分布式控制。选择最大化全局qtot值为迭代更新的目标，在每次迭代中选择各个智能体的动作。
[0070][0071][0072]
(8)得到最优q
tot
以及最优策略，建立了综采工作面“三机”的耦合推进运行机制，各煤机装备智能体将按照各自的最优运行策略并结合整体的运行策略的指导实现综采工作面“三机”的耦合推演。
[0073]
如图8所示为基于多智能体深度强化学习的综采工作面“三机”推演方法应用后可实现的功能，在实现综采工作面“三机”高可靠性的协同运行过程后，可实现综采工作面“三机”设备与工作空间的动态耦合，以及对整个生产系统运行与监测全过程的分析与预演，揭示煤机装备运行时的动态特性以及装备与煤层之间的关联关系，实现对煤机装备在开采过程中的整机的健康状况进行识别与预测，为煤矿开采提供可视化分析平台、健康监测平台，为综采工作面生产系统高效运行提供技术平台支撑。
[0074]
实现了综采工作面“三机”协同推进后，在实现虚拟调试过程时，通过连接真实的控制程序以及人工的按钮操作等手段控制数字化设备在数字化井下环境中实时运行。数字化井下环境设计需综合考虑复杂地质、设备故障、常见的工程问题，进行问题分析，确定合理的方案。实现在联调过程中对开采过程中可能出现的问题进行真实描绘，以达到在数字化空间的虚拟调试达到实际井下调试的目的。其中，一些关键参数设置如下：
[0075]
(1)信息传输中断问题，通过unity3d中的程序交互来设置，对井下相关的数据进行分析，得出运行规律；
[0076]
(2)考虑到传感器失效和异常问题，通过在unity3d交互过程中建立预警机制并进行相关补偿，对问题进行有效的处理。
[0077]
(3)设备真实摆放等复杂工况下的联合调试，通过相似矿区的相关数据来进行设置，对其装备性能和传感控制元件进行标定。
[0078]
在实现综采工作面“三机”高可靠性的推演过程后，可对煤矿开采过程提供相应的服务。将实时开采过程中的设备运行信息传输至虚拟场景中，利用可视化的虚拟场景，进行开采过程中装备运行状态的识别以及空间故障感知，并提供解决方案。
[0079]
其中，煤机装备智能体是指采煤机智能体、液压支架智能体群、刮板输送机智能体。
[0080]
其中，采煤机智能体是指能够采煤机根据煤层起伏情况前后滚筒自适应调高、能够沿着刮板输送机自适应行走，采煤机智能体的应用使得整个虚拟采煤过程更加高效，高度映射实际采煤过程。
[0081]
其中，液压支架智能体群是由单个液压支架智能体组成，单个液压支架智能体可以实现推溜、移架、升柱、降柱、伸/收互帮板，液压支架智能体间能够自适应调架、纠架，避免液压支架间异常姿态的出现。
[0082]
其中，刮板输送机智能体是指在虚拟环境下，该智能体能够自适应铺设在虚拟煤层底板上，可以随着采煤机的运动，在与液压支架群协同动作的基础上，自适应弯曲推进。
[0083]
其中，联合动作效应是指各煤机装备智能体间在达到最优联合动作问题中，各智能体间的运动能够相互建模，并能从其他智能体间获得潜在的运动信息进行决策，为装备智能体协作机制的建立奠定基础。
[0084]
其中，装备智能体协作机制是指采煤机智能体分别与煤层间、刮板输送机智能体间，液压支架智能体与煤层间、刮板输送机智能体，刮板输送机智能体与虚拟煤层间、采煤机智能体、液压支架智能体群间的协同作业机制。具体是指，在unity3d创建的虚拟环境下，基于虚拟煤层开采空间，刮板输送机智能体自适应铺设在虚拟煤层底板上，采煤机智能体以刮板输送机智能体为轨道，前后滚筒自适应调高进行割煤，液压支架智能体根据煤层顶底板的截割情况，及时推进与支护。
[0085]
其中，相互建模是指煤机装备智能体中的其中一个在联合动作学习过程中，会基于其他智能体的历史运行信息，对其他智能体的运行策略进行建模。具体是指采煤机智能体根据煤层环境信息与刮板输送机智能体的姿态信息进行割煤动作；刮板输送机智能体根据采煤机智能体的截割过程信息进行与煤层环境下的交互，获得下一个开采循环刮板输送机智能体的弯曲信息；液压支架智能体群基于采煤机智能体的截割顶底板情况进行自适应支护，根据获得的下一开采循环的刮板输送机智能体弯曲信息进行推移。
[0086]
其中，分布式控制是指每个煤机装备智能体的局部值函数只需要进行该智能体视角下的局部观测，通过局部值函数，选出累积期望奖励最大的动作执行，进行分布式执行，整个虚拟重构系统在执行时是一个分布式的。
[0087]
所述混合网络模块负责对单个煤机装备智能体的局部值函数进行合并，在该模块中，各层的权值是利用一个超网络与绝对值计算产生的，保证了权值始终为正与单调性约束关系。
[0088]
如图9所示，以综采工作面生产前期的装备选型阶段为例，利用所建立的多智能体深度强化学习的综采工作面“三机”推演方法进行选型与优化。在进行综采工作面“三机”装备产品的选型过程中，由于每个装备在进行选型时受到的条件约束较多，存在典型的多目标决策的现象。根据煤层的采高、煤矿开采运输要求、以及综采工作面装备的可靠性要求选择采煤机的型号，根据采煤机的最大截割量、采煤机滚筒的宽度、综采工作面的长度选择刮
板输送机的型号，根据煤层的采高和起伏情况、对采煤机和刮板输送机要求选择液压支架的型号，由此初步选择了配套设备型号：液压支架型号为zy11000/18/38d，采煤机型号为mg400/920-wd，刮板输送机型号为sgz800/2x525。进行建模后在虚拟环境中应用并建立基于多智能体深度强化学习的虚拟综采工作面生产系统推演方法，对配套设备的运行情况进行分析，对配套方案进行优化。得到的原方案和优化后的方案如下表所示。
[0089][0090][0091]
如图10所示为在综采工作面作业过程中，在虚拟环境下对刮板输送机直线度调整的针对性的研究过程。将实际液压支架群的历史位姿信息以及在虚拟环境下基于采煤机轨迹信息反演得到刮板输送机轨迹信息作为调直过程的数据来源，进行集中训练，获得单个液压支架智能体推移机构各自由度的运动决策结果，以及多因素条件下预测得到的刮板输送机轨迹信息、液压支架推移点的决策位置信息，根据液压支架智能体与刮板输送机智能体间的联动效应，推移机构始终保持与刮板输送机的连接并根据其各自由度的运动决策结果运动，完成液压支架智能体群与刮板输送机之间的虚拟联接；当刮板输送机智能体推进时，液压支架智能体在决策信息作用下及时推移，实现虚拟环境下刮板输送机调直。
[0092]
图11所示为对刮板输送机上窜下滑的虚拟监测示意图。基于煤层探测信息，以及综采工作面“三机”装备历史运行信息，构建多智能体运行环境，利用图3中的知识建立虚拟综采工作面“三机”协同运行方法，对推进过程中刮板输送机的位置进行虚拟监测，根据刮板输送机机头的窜动量判断是否发生上窜下滑，为真实综采工作面推进过程中上窜下滑现象是否会产生进行预警。从煤层与装备、装备之间两个角度，考虑到煤层底板起伏情况、煤层倾角、装备与底板间摩擦因数、采煤机对刮板输送机作用力、各中部槽虚拟运行阻力对刮板输送机上窜下滑的影响，在实现虚拟监测的基础上，对a.煤层倾角、b.摩擦因数、c.采煤机滚筒转速对刮板输送机上窜下滑的影响进行了分析，分析结果如以下两个表的内容所
示。
[0093]
试验方案及结果分析表
[0094][0095]
方差分析表
[0096][0097]
从f值和临界值的比较来看，因素a为显著性因素。各因素对试验结果影响的主次顺序为a、c、b，即煤层倾角、采煤机滚筒转速、摩擦因数。
[0098]
本发明要求保护的范围不限于以上具体实施方式，对于本领域技术人员而言，本发明可以有多种变形和更改，凡在本发明的构思与原则之内所作的任何修改、改进和等同替换都应包含在本发明的保护范围之内。