一种基于大数据的智慧矿山的图像处理方法及系统与流程

1.本发明涉及煤矿技术领域，尤其涉及一种基于大数据的智慧矿山的图像处理方法及系统。


背景技术：

2.煤炭是现在主要的能源之一，对煤炭进行开采工作便是使用煤炭前的一个重要环节。由于煤炭开采行业的特殊性，其开采过程中事故时有发生，所以对开采环境进行监控和报警就是降低事故发生率和事故损失的一个重要途径。
3.目前，随着科技的发展，井下工作人员数量大大减少。然而煤矿井下综采设备仍多以人工现场操作为主。井下采煤工作面是事故高发区域，采煤工作面生产环境恶劣多变，事故多发，严重威胁了生产人员的人身安全，降低了煤炭生产效率。因此，若要降低采煤工作面劳动强度，提高工作人员的安全系数和采煤效率，必须实现采煤工作面的自动化和少人化。
4.智慧矿山的是对生产、职业健康与安全、技术和后勤保障等进行主动感知、自动分析、快速处理的无人矿山。智慧矿山是本质；安全矿山、高效矿山、清洁矿山，矿山的数字化、信息化是智慧矿山建设的前提和基础。近年来，随着科技的发展，各大矿山都在组织智慧矿山的关键科技攻关，建设智慧矿山示范工程，推广智慧矿山的理念和技术，制定智慧矿山标准，推动矿山设备制造业的转型升级，实现矿山的本质安全、高产高效、绿色环保。


技术实现要素：

5.为了克服上述技术缺陷，本发明的目的在于提供一种安全性高、运行效率高、配合度高的基于大数据的智慧矿山的图像处理方法及系统。
6.本发明公开了一种基于大数据的智慧矿山的图像处理方法，包括：以第一预设距离为间隔，采集目标区域内的实时视频数据；以第一预设时间为间隔采集所述实时视频数据的若干源画面帧，将所述若干源画面帧输入基于卷积神经网络的检测网络，对所述源画面帧的感兴趣区域进行目标事件参数标注，以获得素材集，将所述素材集划分为训练集、验证集和测试集；
7.建立所述源画面帧的深度学习模型，所述深度学习模型包括分割任务和分类任务；将所述训练集、验证集输入至所述深度学习模型中进行训练，所述分割任务通过dice损失函数进行训练，所述分类任务通过二值交叉熵损失函数进行训练，以获取所述训练后的所述深度学习模型的网络权重参数；将所述测试集输入至训练后的所述深度学习模型中进行测试，获取所述实时视频数据的目标事件，将所述目标事件与该目标事件所位于的所述源画面帧进行联结，获取所述目标事件画面帧及该目标事件画面帧的目标事件；通过基于卷积神经网络的分类网络对所述目标事件画面帧进行分类，获取目标事件；依据所述目标事件画面帧与实际场景的物理距离的转换规则，计算得到目标事件的位置信息；
8.将所述目标事件及其位置信息、以及所述实时视频数据进行视觉显示和听觉播
报、并通过通讯通道传输至管理中心；所述管理中心包括智能化管理平台，所述智能化管理平台监控综采工作情况，存储各项实时工作参数信息，并对各项实时工作参数信息进行分析计算，获取作业指导和安全指导；
9.对所述通讯通道进行监控且设立改善节点，在使用所述通讯通道时进行实时监控，通过调整所述改善节点来对通讯质量进行改善；监测改善后的通讯通道的通讯质量并记录，对记录的问题进行分析以获取通讯通道的通讯质量降低的原因。
10.优选的，所述建立所述源画面帧的深度学习模型，所述深度学习模型包括分割任务和分类任务还包括：所述感兴趣区域包括内容参数不同的若干个区域，向所述深度学习模型引入基于通道的注意力机制，通过所述基于通道的注意力机制对所述源画面帧的若干个不同的感兴趣区域的权重进行调整，使得不同的目标事件中的不同感兴趣区域的权重不同。
11.优选的，所述依据所述目标事件画面帧与实际场景的物理距离的转换规则，计算得到目标事件的位置信息包括：根据目标区域内的真实三维坐标和所述目标事件画面帧的图像平面的投影关系、以及目标事件发生点在所述目标事件画面帧中的坐标，得到目标事件距所述实时视频数据采集点的距离。
12.优选的，所述目标事件包括采煤过程事件和地质信息事件；所述采煤过程事件包括采煤过程、运煤过程、液压支架支护过程、液压支架收架过程、采煤机采煤倾角调整；所述地质信息事件包括煤质判断事件、矸石判断事件、土层判断事件。
13.优选的，所述将所述目标事件及其位置信息、以及所述实时视频数据进行视觉显示和听觉播报、并传输至管理中心包括：所述视觉显示和听觉播报的位置为：所述实时视频数据采集点和/或采煤机上和/或以第二预设距离为间隔设于目标区域的顶部和/或采煤井的入口。
14.优选的，所述智能化管理平台监控综采工作情况，存储各项实时工作参数信息，并对各项实时工作参数信息进行分析计算，获取作业指导和安全指导包括：对存储的所述各项实时工作参数信息进行标准化处理；将标准化处理后的数据信息传输至云端进行储存并加密；将标准化处理后的数据信息依据预设的决策引导算法，计算获取针对该信息的决策内容，所述决策内容包括作业决策和安全指导决策；利用数据仓库技术构建大数据分析体系化环境，对数据实时储存、处理和更新。
15.优选的，所述对所述通讯通道进行监控且设立改善节点，在使用所述通讯通道时进行实时监控，其通过调整所述改善节点来对通讯质量进行改善包括：终端通过通讯通道来与管理中心进行交涉达到通讯的目的，对所述通讯通道进行实时监控，每当有终端加入通讯通道时在其接入点设立改善节点；一旦监测到终端的通讯质量降低且出现信号模糊时，通过该位置的维修节点进行改善，节点发送终端所在位置的信息，传输至当地的通讯信息基站，然后由基站加强其位置的通讯信号，接着对终端所建立的通话环境进行强化，使通讯双方的传输更快速，且传输中所消耗的信息将会大幅度减少，在极端地理条件和信号隔绝较大时，对一方所发送的信息进行录制得到通讯数据包，由云端传输服务器传输至终端或管理中心，终端或管理中心对通讯数据包进行解析获取其中的内容。
16.优选的，所述监测改善后的通讯通道的通讯质量并记录，对记录的问题进行分析以获取通讯通道的通讯质量降低的原因包括：对节点改善的结果和进行的操作进行记录，
并将记录结构上传至云端服务器，且对改善后的通讯质量进行检测，检测其改善的效果；云端服务器对接收到的改善信息进行分析，从中提取出通讯质量变差的原因以及问题，再把分析出的问题传输至管理中心。
17.优选的，所述监测改善后的通讯通道的通讯质量并记录，对记录的问题进行分析以获取通讯通道的通讯质量降低的原因还包括：管理中心接收到这些问题后，后续在对通讯通道进行维护时，针对这些问题进行修护，并通过获取的位置信息精确到节点位置进行维修，直至解决该项问题，达到持续改善优化的问题。
18.本发明还公开了一种基于大数据的智慧矿山的图像处理系统，包括终端、管理中心、显示单元和音频播放单元，所述终端包括输入模块、检测模块、深度学习模块、处理模块和通讯模块；
19.所述输入模块以第一预设距离为间隔，采集目标区域内的实时视频数据；并以第一预设时间为间隔采集所述实时视频数据的若干源画面帧；所述检测模块包括基于卷积神经网络的检测网络和分类网络，将所述若干源画面帧输入所述检测网络，对所述源画面帧的感兴趣区域进行目标事件参数标注，以获得素材集，将所述素材集划分为训练集、验证集和测试集；
20.通过所述深度学习模块建立所述源画面帧的深度学习模型，所述深度学习模型包括分割任务和分类任务；将所述训练集、验证集输入至所述深度学习模型中进行训练，所述分割任务通过dice损失函数进行训练，所述分类任务通过二值交叉熵损失函数进行训练，以获取所述训练后的所述深度学习模型的网络权重参数；
21.将所述测试集输入至训练后的所述深度学习模型中进行测试，获取所述实时视频数据的目标事件，将所述目标事件与该目标事件所位于的所述源画面帧进行联结，获取所述目标事件画面帧及该目标事件画面帧的目标事件；通过所述分类网络对所述目标事件画面帧进行分类，获取目标事件；并依据所述目标事件画面帧与实际场景的物理距离的转换规则，通过所述处理模块计算得到目标事件的位置信息；
22.所述终端通过所述通讯模块建立通讯通道，将所述目标事件及其位置信息、以及所述实时视频数据在所述显示单元进行视觉显示和在所述音频播放单元进行听觉播报、并通过所述通讯通道传输至管理中心；所述管理中心包括智能化管理平台，所述智能化管理平台包括用于监控综采工作情况的监控平台、用于存储各项实时工作参数信息的储存平台、和用于对各项实时工作参数信息进行分析计算以获取作业指导和安全指导的分析平台；
23.对所述通讯通道进行监控且设立改善节点，所述通讯模块包括监控单元，在使用所述通讯通道时通过所述监控单元进行实时监控，并通过调整所述改善节点来对通讯质量进行改善；所述通讯模块还包括存储单元，通过所述监控单元监测改善后的通讯通道的通讯质量并通过所述存储单元进行记录，对记录的问题进行分析以获取通讯通道的通讯质量降低的原因。
24.采用了上述技术方案后，与现有技术相比，具有以下有益效果：
25.1.拍摄获取矿井下的实时画面，通过深度学习网络学习识别目标事件，来获取目标事件的种类，再通过物理位置计算获取目标事件的发生位置，从而实现通过图像识别监测目标事件的发生；
26.2.联合通信系统的实时改善、管理中心的实时检测，以及智能化管理平台的大数据监测和存储，实现对矿山的全方位监控、远程调控和数据管理。
附图说明
27.图1为本发明提供的基于大数据的智慧矿山的图像处理方法流程图；
28.图2为本发明提供的通过深度学习模型识别目标事件的流程图。
具体实施方式
29.以下结合附图与具体实施例进一步阐述本发明的优点。
30.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
31.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
32.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
33.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
34.在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
35.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
36.参见附图1，本发明公开了一种基于大数据的智慧矿山的图像处理方法，包括：
37.以第一预设距离为间隔，采集目标区域内的实时视频数据；
38.通过深度学习模型识别目标事件；
39.再依据目标事件画面帧与实际场景的物理距离的转换规则，计算得到目标事件的位置信息；
40.将监测获取的目标事件及其位置信息、以及实时视频数据进行视觉显示和听觉播报、并通过通讯通道传输至管理中心；
41.管理中心包括智能化管理平台，智能化管理平台监控综采工作情况，存储各项实时工作参数信息，并对各项实时工作参数信息进行分析计算，获取作业指导和安全指导；
42.对通讯通道进行监控且设立改善节点，在使用通讯通道时进行实时监控，通过调整改善节点来对通讯质量进行改善；监测改善后的通讯通道的通讯质量并记录，对记录的问题进行分析以获取通讯通道的通讯质量降低的原因。
43.应用深度学习模型进行图像识别，来识别出实时视频数据的目标事件，再通过物理位置计算获取目标事件的发生位置，从而实现通过图像识别监测目标事件的发生。对于通信通道，设立有实时改善的节点，当监测到通讯受阻时，则进行网络加强，保证通讯质量。通过智能化管理平台的大数据监测和存储，实现对矿山的全方位监控、远程调控和数据管理。
44.参见附图2，通过深度学习模型识别目标事件具体包括：
45.s1、以第一预设时间为间隔采集实时视频数据的若干源画面帧，将若干源画面帧输入基于卷积神经网络的检测网络，对源画面帧的感兴趣区域进行目标事件参数标注，以获得素材集，将素材集划分为训练集、验证集和测试集；
46.s2、建立源画面帧的深度学习模型，深度学习模型包括分割任务和分类任务；将训练集、验证集输入至深度学习模型中进行训练，分割任务通过dice损失函数进行训练，分类任务通过二值交叉熵损失函数进行训练，以获取训练后的深度学习模型的网络权重参数；
47.s3、将测试集输入至训练后的深度学习模型中进行测试，获取实时视频数据的目标事件，将目标事件与该目标事件所位于的源画面帧进行联结，获取目标事件画面帧及该目标事件画面帧的目标事件；
48.s4、通过基于卷积神经网络的分类网络对目标事件画面帧进行分类，获取目标事件。
49.较佳的，感兴趣区域包括内容参数不同的若干个区域，向深度学习模型引入基于通道的注意力机制，通过基于通道的注意力机制对源画面帧的若干个不同的感兴趣区域的权重进行调整，使得不同的目标事件中的不同感兴趣区域的权重不同，从而可以更加精准地识别不同目标事件。
50.较佳的，可以根据目标区域内的真实三维坐标和目标事件画面帧的图像平面的投影关系、以及目标事件发生点在目标事件画面帧中的坐标，得到目标事件距实时视频数据采集点的距离，从而得到目标事件发生的具体位置。
51.较佳的，目标事件包括采煤过程事件和地质信息事件；采煤过程事件包括采煤过程、运煤过程、液压支架支护过程、液压支架收架过程、采煤机采煤倾角调整；地质信息事件包括煤质判断事件、矸石判断事件、土层判断事件。
52.较佳的，视觉显示和听觉播报的位置为：实时视频数据采集点和/或采煤机上和/或以第二预设距离为间隔设于目标区域的顶部和/或采煤井的入口，即可以同时在上述所有地点设置视觉显示和听觉播报点，也可以单独在某一个位置设置。
53.较佳的，智能化管理平台对存储的各项实时工作参数信息进行标准化处理；将标准化处理后的数据信息传输至云端进行储存并加密；将标准化处理后的数据信息依据预设
的决策引导算法，计算获取针对该信息的决策内容，决策内容包括作业决策和安全指导决策；利用数据仓库技术构建大数据分析体系化环境，对数据实时储存、处理和更新。
54.较佳的，为了监控和改善指挥矿山的通讯质量，终端通过通讯通道来与管理中心进行交涉达到通讯的目的，对通讯通道进行实时监控，每当有终端加入通讯通道时在其接入点设立改善节点；一旦监测到终端的通讯质量降低且出现信号模糊时，通过该位置的维修节点进行改善，节点发送终端所在位置的信息，传输至当地的通讯信息基站，然后由基站加强其位置的通讯信号，接着对终端所建立的通话环境进行强化，使通讯双方的传输更快速，且传输中所消耗的信息将会大幅度减少，在极端地理条件和信号隔绝较大时，对一方所发送的信息进行录制得到通讯数据包，由云端传输服务器传输至终端或管理中心，终端或管理中心对通讯数据包进行解析获取其中的内容。
55.有效的避免了通讯信号差导致信息传输中断的情况，即使通讯信号完全中断也可以进行传输数据，让通讯两端即使处于信号中断的位置也可以将想表达的数据传输出去，便于使用。
56.较佳的，还可以提取数据进行问题分析，具体的，对节点改善的结果和进行的操作进行记录，并将记录结构上传至云端服务器，且对改善后的通讯质量进行检测，检测其改善的效果；云端服务器对接收到的改善信息进行分析，从中提取出通讯质量变差的原因以及问题，再把分析出的问题传输至管理中心。
57.且，管理中心接收到这些问题后，后续在对通讯通道进行维护时，针对这些问题进行修护，并通过获取的位置信息精确到节点位置进行维修，直至解决该项问题，达到持续改善优化的问题。
58.本发明还公开了一种基于大数据的智慧矿山的图像处理系统，包括终端、管理中心、显示单元和音频播放单元，终端包括输入模块、检测模块、深度学习模块、处理模块和通讯模块。显示单元为大屏幕，音频播放单元为麦克风，输入模块为摄像机。
59.输入模块以第一预设距离为间隔，采集目标区域内的实时视频数据；并以第一预设时间为间隔采集实时视频数据的若干源画面帧；检测模块包括基于卷积神经网络的检测网络和分类网络，将若干源画面帧输入检测网络，对源画面帧的感兴趣区域进行目标事件参数标注，以获得素材集，将素材集划分为训练集、验证集和测试集。
60.通过深度学习模块建立源画面帧的深度学习模型，深度学习模型包括分割任务和分类任务；将训练集、验证集输入至深度学习模型中进行训练，分割任务通过dice损失函数进行训练，分类任务通过二值交叉熵损失函数进行训练，以获取训练后的深度学习模型的网络权重参数。
61.将测试集输入至训练后的深度学习模型中进行测试，获取实时视频数据的目标事件，将目标事件与该目标事件所位于的源画面帧进行联结，获取目标事件画面帧及该目标事件画面帧的目标事件；通过分类网络对目标事件画面帧进行分类，获取目标事件；并依据目标事件画面帧与实际场景的物理距离的转换规则，通过处理模块计算得到目标事件的位置信息。
62.终端通过通讯模块建立通讯通道，将目标事件及其位置信息、以及实时视频数据在显示单元进行视觉显示和在音频播放单元进行听觉播报、并通过通讯通道传输至管理中心。管理中心包括智能化管理平台，智能化管理平台包括用于监控综采工作情况的监控平
台、用于存储各项实时工作参数信息的储存平台、和用于对各项实时工作参数信息进行分析计算以获取作业指导和安全指导的分析平台。
63.对通讯通道进行监控且设立改善节点，通讯模块包括监控单元，在使用通讯通道时通过监控单元进行实时监控，并通过调整改善节点来对通讯质量进行改善；通讯模块还包括存储单元，通过监控单元监测改善后的通讯通道的通讯质量并通过存储单元进行记录，对记录的问题进行分析以获取通讯通道的通讯质量降低的原因。
64.应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。