基于卷积神经网络的低照度条件下矿井井壁检测方法与流程
本发明涉及矿井井壁检测方法领域，具体是一种基于卷积神经网络的低照度条件下矿井井壁检测方法。
背景技术：
我国大多数矿井地区地势环境较为恶劣，矿层岩体强度不足，再加上地层固结、地下水位升高等造成的不利影响，矿井井壁常常会产生较大的内部应力，当应力大于井壁结构的极限强度时，就会出现井壁破坏、矿井坍塌事故，为了能及时准确的发现矿井井壁产生的破损问题，降低矿井生产的安全隐患，需要对矿井井壁进行准确高效的检测。
目前，国内对矿井井壁的检测还普遍停留在人工筛选的方法上，检测人员搭载罐笼近距离通过肉眼检测，或者在罐笼安装摄像机拍摄视频图像后，再由人员观测检查问题，这就带来了人工检测中准确率低、检测效果差的问题。且由于矿井井下环境的特殊性，其没有安装固定的照明设备，只能通过罐笼或人员携带灯光照射，无论是人员直接观测还是通过摄像机拍摄视频图像，都会产生图像较暗不易观测的问题，图像处理中称这种较暗的图像为低照度图像。这些问题使得在对矿井井壁检测时检测成本较高、工作效率低、速度慢、耗时长、准确性不高，具有较大的安全风险。
技术实现要素：
本发明的目的是提供一种基于卷积神经网络的低照度条件下矿井井壁检测方法，以解决现有技术矿井井壁状况人工检测存在的检测效果差、准确性低、耗时长的问题。
为了达到上述目的，本发明所采用的技术方案为：
基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：包括以下步骤：
(1)、构建图像分解网络，并利用采集的图像数据训练图像分解网络，过程如下：
(1.1)、构建图像分解训练数据集和图像分解测试数据集：
通过相机拍摄采集矿井井壁多个位置的图像，对于矿井井壁每个位置，分别拍摄采集正常曝光条件下和低曝光条件下的图像，由每个位置正常曝光条件下和低曝光条件下的图像构成该位置的光照图像对，从而得到多个位置的光照图像对，从多个光照图像对中选取部分作为图像分解训练数据集，其余部分作为图像分解测试数据集；
(1.2)、构建图像分解网络：
构建由卷积层1、卷积激活层2、卷积激活层3、卷积激活层4、卷积激活层5、卷积激活层6、卷积激活层7和卷积激活层8组成的卷积神经网络作为图像分解网络，输入图像a[0]经过卷积层1的输出a[1]＝w[1]a[0]+b[1]，经过卷积激活层2～卷积激活层6的输出a[i]＝relu(w[i]a[i-1]+b[i]),i∈(2,3,4,5,6)，经过卷积激活层7的输出a[7]＝sigmoid(w[7]a[6]+b[7])，a[7]即为输入图像分解后得到的反射图像r，经过卷积激活层8的输出a[8]＝sigmoid(w[8]a[6]+b[8])，a[8]即为输入图像分解后得到的光照图像i，其中：
w[ly],b[ly]均为未知量,需要经过训练后确定，ly∈(1,2,3,4,5,6,7,8)，relu函数计算为relu(x)＝max(0,x),max(x)函数表示取参数最大值，sigmoid函数计算为
(1.3)、将步骤(1.1)得到的图像分解训练数据集和图像分解测试数据集输入至步骤(1.2)构建的图像分解网络，以对图像分解网络进行多次迭代训练，得到训练完成的图像分解网络；
(2)、构建图像检测网络，并利用采集的图像数据训练图像检测网络，过程如下：
(2.1)、构建图像检测训练数据集和图像检测测试数据集：
首先采集获取矿井井壁多个位置的图像，在图像中寻找存在包括无异常状况在内的多种井壁状况的图像，并从每种井壁状况的图像分别选取多张，构成井壁图像样本集；
其次建立多种井壁状况的标签值表，在标签值表中将井壁图像样本集中相同井壁状况的图像设置相同的状态标签值、不同井壁状况的图像设置不同的状态标签值；
然后从井壁图像样本集中每种井壁状况的图像再分别各自选取多张后，将选取的多种井壁状况的图像按照随机顺序进行摆放，并按照摆放的顺序将每张图像的图像名和其对应的状态标签值保存到同一训练文件中，由从井壁图像样本集中再次选取并摆放后的图像以及训练文件构成图像检测训练数据集；
按相同的方法，从井壁图像样本集中每种井壁状况经选取后剩余的图像中选取多张，并将从剩余图像中选取的多种井壁状况的图像按照随机顺序进行摆放，然后按照摆放的顺序将每张图像的图像名和其对应的状态标签值保存到同一测试文件中，由从井壁图像样本集剩余图像中选取并摆放后的图像以及测试文件构成图像检测测试数据集；
(2.2)、构建图像检测网络：
构建由卷积激活层1、池化层1、卷积激活层2、池化层2、卷积激活层3、池化层3、卷积激活层4、池化层4、卷积激活层5、池化层5、全连接层6、全连接层7和softmax层构成的卷积神经网络，输入图像a[0]经过卷积激活层的输出z[j]＝relu(w[j]a[j-1]+b[j]),j∈(1,2,3,4,5)，经过池化层的输出a[j]＝max(z[j]),j∈(1,2,3,4,5)，经过全连接层的输出a[k]＝w[k]a[k-1]+b[k],k∈(6,7)，经过softmax层的输出
w[lay],b[lay]为未知量,需要经过训练后确定，lay∈(1,2,3,4,5,6,7)；max(x)函数表示取参数最大值；relu(x)函数计算为relu(x)＝max(0,x)，x表示对应卷积激活层代入函数的相应参数；
(2.3)、将步骤(2.1)得到的图像检测训练数据集和图像检测测试数据集输入至步骤(2.2)构建的图像检测网络，以对图像检测网络进行多次迭代训练，得到训练完成的图像检测网络；
(3)、利用步骤(1)得到的训练后的图像分解网络和步骤(2)得到的训练后的图像检测网络，对矿井井壁进行在线检测，过程如下：
(3.1)、采集获取矿井井壁图像；
(3.2)、将井壁图像输入到训练好的图像分解网络中，分解出反射图像r和光照图像i；
(3.3)、使用公式l(x,y)＝[i(x,y)]γ对光照图像i进行亮度伽马校正得到光照亮度校正图像l，其中，i(x,y)表示在光照图像i中(x,y)位置的像素值，l(x,y)表示校正后图像l中(x,y)位置的像素值，γ是一个常数，且γ＜1；将反射图像r的每个像素值分别和光照亮度校正图像l的对应位置的像素值相乘后得到光亮增强图像s的像素值，计算公式为s(x,y)＝l(x,y)·r(x,y)；
(3.4)、将光亮增强图像s输入到训练完成的图像检测网络中，图像检测网络计算的输出结果即为井壁状况的检测结果，该结果为多种井壁状况中的一种。
所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(1.1)中，图像分解训练数据集中图像的数量大于图像分解测试数据集中图像的数量。
所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(1.3)的具体过程如下：
(1.3a)、参数初始化，设置w[ly]、b[ly]为随机值，ly∈(1,2,3,4,5,6,7,8)，设置迭代次数为sp、学习率为lp、分解准确率阈值为tp，图像分解训练数据集第e个光照图像对记为spair[e]，令e＝1；
(1.3b)、取spair[e]中正常光照图像snormal输入到图像分解网络中，计算其输出的反射图像rnormal和光照图像inormal；
(1.3c)、取spair[e]中低光照图像slow输入到图像分解网络中，计算其输出的反射图像rlow和光照图像ilow；
(1.3d)、根据rlow和rnormal计算反射图像一致性损失函数l(rlow,rnormal),l(rlow,rnormal)＝||rlow-rnormal||1；
(1.3e)、计算参数w[ly]和b[ly]的变化值δw[ly]和δb[ly]，
(1.3f)、根据公式w[ly]＝w[ly]-lp*δw[ly]，b[ly]＝b[ly]-lp*δb[ly]，更新w[ly]和b[ly]，ly∈(1,2,3,4,5,6,7,8)；
(1.3g)、判断是否为最后一个光照图像对，若不是则输入下一个光照图像对，并返回步骤(1.3b)；若是则转到步骤(1.3h)计算分解准确率；
(1.3h)、输入图像分解测试数据集中所有光照图像对，计算出每个光照图像对中正常光照图像分解的反射图像rnormal-test和低光照图像分解的反射图像rlow-test，并进行比较，然后计算分解准确率
(1.3k)、判断检测准确率是否达到要求，若acp≥tp，则转到步骤(1.3l)训练结束；若acp＜tp，判断迭代次数是否完成，若sp≠0，则转到步骤(1.3b)，重新使用训练数据集进行新一轮训练，直至迭代结束；若sp＝0，则训练结束；
(1.3l)、将所有参数w[ly]和b[ly]保存，ly∈(1,2,3,4,5,6,7,8),图像分解网络训练结束。
所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(2.1)中，在图像中寻找存在包括无异常状况在内的多种井壁状况的图像中，至少还包括裂缝、坑洞、渗水状况。
所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(2.1)中，标签值表中，将井壁图像样本集中无状况的图像设置的状态标签值为1，井壁图像样本集中裂缝状况的图像设置的状态标签值为2，井壁图像样本集中坑洞状况的图像设置的状态标签值为3，井壁图像样本集中渗水状况的图像设置的状态标签值为4。
所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(2.3)的具体过程如下：
(2.3a)、参数初始化，设置w[lay]、b[lay]为随机值，lay∈(1,2,3,4,5,6,7),设置迭代次数为sd、学习率为ld、图像检测准确率阈值为td，图像检测训练数据集第f个图像对记为im[f]，令f＝1；
(2.3b)、将图像im[f]输入到图像检测网络中，计算其检测的估计值
(2.3c)、根据输入图像im[f]对应的状态标签值y和计算得到的估计值
(2.3d)、计算图像检测网络各层中每个参数w[lay]和b[lay]的变化值δw[lay]和δb[lay]，
(2.3e)、根据公式w[lay]＝w[lay]-ld*δw[lay]，b[lay]＝b[lay]-ld*δb[lay]，更新w[lay]和b[lay]，其中lay∈(1,2,3,4,5,6,7)；
(2.3f)、判断是否为最后一个图像，若不是则输入下一个图像，并返回步骤(2.3b)；若是则转到步骤((2.3g)计算检测准确率；
(2.3g)、输入图像检测测试数据集的图像，计算每个图像的检测估计值
(2.3h)、判断检测准确率是否达到要求，若acd≥td，则转到步骤(2.3k)训练结束；若acd＜td，判断迭代次数是否完成，若sd≠0，则转到步骤(2.3b)，重新使用图像检测训练数据集进行新一轮训练，直至迭代结束；若sd＝0，则训练结束；
(2.3k)、将所有参数w[lay]和b[lay]保存，lay∈(1,2,3,4,5,6,7)，图像检测网络训练结束。
所述的基于卷积神经网络的低照度条件下矿井井壁检测方法，其特征在于：步骤(3.4)中，最终输出的检测结果为无异常状况、裂缝、坑洞、渗水状况中的一种。
本发明提供了一种用于矿井低照度条件下的基于卷积神经网络的井壁检测方法。使用卷积神经网络构建图像分解网络，使用亮度伽马校准，实现了低照度条件下的矿井井壁图像亮度增强，通过卷积神经网络构建的图像检测网络，实现了对矿井井壁图像的自动检测，准确的检测出矿井井壁的异常状态。
本发明有益效果体现在：
本发明用于低照度条件下对矿井井壁的自动检测。通过卷积神经网络构建了图像分解网络，使用亮度伽马校准方法，实现了在低照度条件下的矿井井壁图像亮度增强，通过卷积神经网络构建了图像检测网络，实现了对矿井井壁图像的自动检测。本发明方法使用图像处理的方式进行检测，避免了人工的参与，实现了检测的自动化，减少了运行成本，增加了检测的效率，降低了检测中的安全隐患。通过卷积神经网络实现图像在低照度条件下的图像增强和井壁的状态检测，图像亮度增强效果好，检测速度快、效率高，检测的准确性和可靠性都得到了极大提高。
附图说明
图1为本发明方法的整体框图。
图2为本发明方法的图像分解网络的结构图。
图3为本发明方法的训练图像分解网络的流程图。
图4为本发明方法构建图像检测训练数据集和图像检测测试数据集的示意图。
图5为本发明方法的图像检测网络的结构图。
图6为本发明方法的训练图像检测网络的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，本发明方法由训练阶段和在线检测阶段组成，在训练阶段时，通过卷积神经网络构建了图像分解网络和图像检测网络，通过拍摄的正常光照图像和低光照图像对图像分解网络进行训练，通过获取的矿井井壁“无异常”、“裂缝”、“坑洞”和“渗水”的图像对图像检测网络进行训练。训练完成后，在线检测阶段时，拍摄的实际矿井井壁图像经过训练好的图像分解网络分解成光照图像和反射图像，对光照图像进行光亮伽马校准后重新与反射图像融合实现对低照度图像光亮增强，再将光亮增强后的井壁图像输入到图像检测网络，最后得到矿井井壁状态的检测结果。具体过程如下：
(1)、构建图像分解网络，并利用采集的图像数据训练图像分解网络，过程如下：
(1.1)、构建图像分解训练数据集和图像分解测试数据集的过程为：
首先，用相机拍摄图像，相机在正常曝光条件下拍摄的图像，称为正常光照图像snormal；在相同位置，低曝光条件下拍摄同样一张图像，称为低光照图像slow；同样位置的正常光照图像和低光照图像一起称为光照图像对spair；然后，选择矿井井壁不同位置，拍摄光照图像对m个，m≥500，选取其中mtrain个图像对作为图像分解训练数据集，剩余mtest个图像对作为图像分解测试数据集，其中，mtrain＞mtest；
(1.2)、如图2所示，构建图像分解网络：
构建由卷积层1、卷积激活层2、卷积激活层3、卷积激活层4、卷积激活层5、卷积激活层6、卷积激活层7和卷积激活层8组成的卷积神经网络作为图像分解网络，输入图像a[0]经过卷积层1的输出a[1]＝w[1]a[0]+b[1]，经过卷积激活层2～卷积激活层6的输出a[i]＝relu(w[i]a[i-1]+b[i]),i∈(2,3,4,5,6)，经过卷积激活层7的输出a[7]＝sigmoid(w[7]a[6]+b[7])，a[7]即为输入图像分解后得到的反射图像r，经过卷积激活层8的输出a[8]＝sigmoid(w[8]a[7]+b[8])，a[8]即为输入图像分解后得到的光照图像i，其中：
w[ly],b[ly]均为未知量,需要经过训练后确定，ly∈(1,2,3,4,5,6,7,8)，relu函数计算为relu(x)＝max(0,x),max(x)函数表示取参数最大值，sigmoid函数计算为
(1.3)、如图3所示，本发明方法的训练图像分解网络的过程为：
(1.3a)、参数初始化，设置w[ly]、b[ly]为随机值，ly∈(1,2,3,4,5,6,7,8)，设置迭代次数为sp、学习率为lp、分解准确率阈值为tp，图像分解训练数据集第e个光照图像对记为spair[e]，令e＝1；
(1.3b)、取spair[j]中正常光照图像snormal输入到图像分解网络中，计算其输出的反射图像rnormal和光照图像inormal；
(1.3c)、取spair[j]中低光照图像slow输入到图像分解网络中，计算其输出的反射图像rlow和光照图像ilow；
(1.3d)、根据rlow和rnormal计算反射图像一致性损失函数l(rlow,rnormal),l(rlow,rnormal)＝||rlow-rnormal||1；
(1.3e)、计算参数w[ly]和b[ly]的变化值δw[ly]和δb[ly]，
(1.3f)、根据公式w[ly]＝w[ly]-lp*δw[ly]，b[ly]＝b[ly]-lp*δb[ly]，更新w[ly]和b[ly]，ly∈(1,2,3,4,5,6,7,8)；
(1.3g)、判断是否为最后一个光照图像对，若不是则输入下一个光照图像对，并返回步骤(1.3b)；若是则转到步骤(1.3h)计算分解准确率；
(1.3h)、输入图像分解测试数据集中所有光照图像对，计算出每个光照图像对中正常光照图像分解的反射图像rnormal-test和低光照图像分解的反射图像rlow-test，并进行比较，然后计算分解准确率
(1.3k)、判断检测准确率是否达到要求，若acc≥t，则转到步骤(1.3l)训练结束；若acc＜t，判断迭代次数是否完成，若s≠0，则转到步骤(1.3b)，重新使用训练数据集进行新一轮训练，直至迭代结束；若s＝0，则训练结束；
(1.3l)、将所有参数w[ly]和b[ly]保存，ly∈(1,2,3,4,5,6,7,8),图像分解网络训练结束。
(2)、构建图像检测网络，并利用采集的图像数据训练图像检测网络，过程如下：
(2.1)、如图4所示，构建图像检测训练数据集和图像检测测试数据集：
首先，用相机拍摄井壁图像，从中选取“无异常”、“裂缝”、“坑洞”和“渗水”四种状况的图像各n张，n≥800，组成井壁图像样本集；其次，建立四种井壁状态的标签(label)值表：“无异常”＝1，“裂缝”＝2，“坑洞”＝3，“渗水”＝4；再次，为井壁图像样本集中每一张图像设置对应的状态标签值；最后，从井壁图像样本集中选取“无异常”、“裂缝”、“坑洞”和“渗水”四种井壁图像各500张，共2000张图像，将其按照随机顺序进行摆放，并按照摆放的顺序将每张图像的图像名和对应的井壁状态标签值保存到train_label.txt文件即训练文件中，这2000张井壁图像和train_label.txt文件构成了图像检测训练数据集；按同样的方法，从井壁图像样本集剩余的图像中随机选取200张，按照随机顺序进行摆放，并将此200张图像的图像名和对应的井壁状态标签值按照摆放顺序保存到test_label.txt文件即测试文件中，将此200张图像和test_label.txt文件作为图像检测测试数据集；
(2.2)、如图5所示，构建图像检测网络：
构建由卷积激活层1、池化层1、卷积激活层2、池化层2、卷积激活层3、池化层3、卷积激活层4、池化层4、卷积激活层5、池化层5、全连接层6、全连接层7和softmax层构成的卷积神经网络，输入图像a[0]经过卷积激活层的输出z[j]＝relu(w[j]a[j-1]+b[j]),j∈(1,2,3,4,5)，经过池化层的输出a[j]＝max(z[j]),j∈(1,2,3,4,5)，经过全连接层的输出a[k]＝w[k]a[k-1]+b[k],k∈(6,7)，经过softmax层的输出
w[lay],b[lay]为未知量,需要经过训练后确定，lay∈(1,2,3,4,5,6,7)；max(x)函数表示取参数最大值；relu(x)函数计算为relu(x)＝max(0,x)，x表示对应卷积激活层代入函数的相应参数；
(2.3)、如图6所示，训练图像检测网络的过程如下：
(2.3a)、参数初始化，设置w[lay]、b[lay]为随机值，lay∈(1,2,3,4,5,6,7),设置迭代次数为sd、学习率为ld、图像检测准确率阈值为td，图像检测训练数据集第f个图像对记为im[f]，令f＝1；
(2.3b)、将图像im[f]输入到图像检测网络中，计算其检测的估计值
(2.3c)、根据输入图像im[f]对应的状态标签值y和计算得到的估计值
(2.3d)、计算图像检测网络各层中每个参数w[lay]和b[lay]的变化值δw[lay]和δb[lay]，
(2.3e)、根据公式w[lay]＝w[lay]-ld*δw[lay]，b[lay]＝b[lay]-ld*δb[lay]，更新w[lay]和b[lay]，其中lay∈(1,2,3,4,5,6,7)；
(2.3f)、判断是否为最后一个图像，若不是则输入下一个图像，并返回步骤(2.3b)；若是则转到步骤((2.3g)计算检测准确率；
(2.3g)、输入图像检测测试数据集的图像，计算每个图像的检测估计值
(2.3h)、判断检测准确率是否达到要求，若acd≥td，则转到步骤(2.3k)训练结束；若acd＜td，判断迭代次数是否完成，若sd≠0，则转到步骤(2.3b)，重新使用图像检测训练数据集进行新一轮训练，直至迭代结束；若sd＝0，则训练结束；
(2.3k)、将所有参数w[lay]和b[lay]保存，lay∈(1,2,3,4,5,6,7)，图像检测网络训练结束。
(3)、对矿井井壁进行在线检测的过程如下：
(3.1)、采集获取矿井井壁图像；
(3.2)、将井壁图像输入到训练好的图像分解网络中，分解出反射图像r和光照图像i；
(3.3)、使用公式l(x,y)＝[i(x,y)]γ对光照图像i进行亮度伽马校正得到光照亮度校正图像l，其中，i(x,y)表示在光照图像i中(x,y)位置的像素值，l(x,y)表示校正后图像l中(x,y)位置的像素值，γ是一个常数，且γ＜1；将反射图像r的每个像素值分别和光照亮度校正图像l的对应位置的像素值相乘后得到光亮增强图像s的像素值，计算公式为s(x,y)＝l(x,y)·r(x,y)；
(3.4)、将光亮增强图像s输入到训练完成的图像检测网络中，图像检测网络计算的输出结果即为井壁状态的检测结果，为“无异常”、“裂缝”、“坑洞”和“渗水”四种状态中的一种。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。
- 还没有人留言评论。精彩留言会获得点赞！