基于RGB和激光特征融合的高炉烧结矿粒径检测方法及系统与流程

基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统
技术领域
1.本发明主要涉及高炉炼铁技术领域，特指一种基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统。


背景技术：

2.高炉是钢铁行业中用于炼铁的关键设备，其稳定顺行决定着炼铁质量。高炉生产过程主要包含着四大制度：送风制度、装料制度、造渣制度和热制度，四大基本制度相互依存，相互影响，直接影响高炉的工作和顺行状况进而影响炼铁质量。装料制度优化可使炉内煤气分布合理，改善矿石与煤气接触条件，减少煤气对炉料下降的阻力，避免高炉憋风、悬料，同时能够提高煤气利用率和矿石的间接还原度，可降低焦比，促进高炉生产稳定顺行。如何合理优化装料制度，很大程度上取决于运往高炉的炉料质量，如炉料粒径等。
3.烧结矿是高炉矿石中重要的一种。在目前的高炉装料过程中，通过人工取样的方式每隔4h对烧结矿检测一次。这样人工筛分的方式不仅检测频率低、精度低、速度慢，取样的结果也不能完全代表原燃料粒度的实际情况，无法对现场原燃料粒度进行有效的跟踪，对高炉炉况的影响程度也难以评估。精确度低、取样频次低、速度慢。因此需要一种新的方法来增加粒度检测频度和提高粒度检测精确度，以实时掌握入炉原燃料粒度大小、分布和趋势。
4.目前关于炉料矿石的粒径检测方法以图像分割方法为主。图像分割方法主要是通过颜色、亮度、灰度等特征区分出矿石的边缘和非边缘区域来检测矿石的粒径，目前主要包括传统的图像分割和基于深度学习的图像分割。传统的图像分割算法主要有基于阈值、基于聚类和基于区域增长等方法。由于高炉炉料表面纹理的复杂性和光照不均等客观环境所引起的噪声。噪声的低层次特征存在局部的急剧变化，导致传统的图像分割方法在高炉炉料图像的边缘检测中无法有效的区分边缘与噪声，从而出现过分割现象。
5.基于深度学习的图像分割算法在高炉炉料图像分割的应用相对较少，但在图像边缘检测方面有较为广泛的运用。近年来，随着fcn框架的提出，越来越多编码器
‑
解码器结构的深度学习网络在语义分割领域有广泛的应用，例如segnet、u
‑
net、deeplab等在医学图像上的应用效果较佳。但由于高炉上料系统所处的环境光照不均、矿石复杂纹理的干扰等情况的出现，单一rgb图像已经难以满足对高精度的需求，单一rgb信息难以区分矿石表面复杂纹理和边缘，因此unet、pspnet等仅仅通过学习矿石rgb图像中的信息来训练网络，并不能很准确的实现对矿石图像的分割。
6.从深度图像中学习有效信息是目前进行多源信息融合研究的重要手段之一，在融合rgb和深度信息的研究中，早期的尝试如简单地将rgb和深度通道级联为四通道输入，并将其送到传统的rgb模态网络中。这种方式在融合的过程中，没有考虑两种输入数据对分割结果的贡献程度的不同。这些rgb
‑
d语义分割方法比基于单一rgb的方法能获得更好的分割结果，其主要原因是与单一rgb图像相比，引入准确的稠密深度图包含了更多的位置和轮廓信息，有利于上下文关键语义分割，必然能够取得更好的分割效果。这些方法在处理两种输
入数据时没有量化地考虑两种输入数据对分割结果的贡献程度的不同，而是做了统一或者等价的处理，这就可能导致额外引入的信息对分割结果带来负面的影响(负贡献)。
7.这些方法大多是基于稠密的深度图来实现分割的，对于稀疏的深度图(例如激光、雷达图像等)并不适用。在高炉恶劣的生产过程中，几乎无法直接获得稠密的深度图，只能获得稀疏的深度图。
8.难点一：矿石图像的表面纹理过于复杂，单一信息难以取得高精度的分割效果。由于高炉上料系统所处的环境光照不均、矿石复杂纹理的干扰等情况的出现，单一rgb图像已经难以满足对高精度的需求，单一rgb信息难以区分矿石表面复杂纹理和边缘，因此本发明创新性地选择将rgb信息与激光信息(l)进行融合以强化有效特征进行高精度的分割。
9.难点二：激光信息具有明显的稀疏性，使得其在于rgb的融合过程中贡献非常有限。如果通过插值算法将稀疏深度图转化为稠密深度图，在插值过程中会产生一些错误信息(这是插值算法和标定算法固有的限制)，这些错误信息在融合过程中有可能产生负面的效果，可能会导致融合了激光信息的分割甚至于比不上单一信息的分割效果，最后的表格和分割结果给出了对比。
10.公开文件cn113052826a公开了一种多尺度特征选择性融合的胰腺图像分割方法，该发明提出一种多尺度特征选择性融合的胰腺图像分割方法,构建一个两阶段的由粗到细的胰腺分割框架,首先在预处理后的整图上进行粗分割和分割优化得到粗分割结果,确定胰腺分割区域的边界框,对预处理后的图像进行裁剪,再在裁剪图像上进行细分割和分割优化得到胰腺图像的细分割结果；将se机制和inception思想引入不同层次的特征融合中,构建了多尺度特征选择性融合模块mssfm；在unet模型基础上,编码部分利用残差卷积块使网络更深并防止模型退化,提升有效特征的学习；解码部分利用多尺度特征的选择性融合模块自下而上的融合多尺度特征,增加网络对多尺度目标的适应性并聚焦目标区域,提高模型分割的精准度。
11.该发明仅利用rgb信息，在面对表面纹理复杂的烧结矿图像时难以适用。而且利用se机制是利用人工先验知识选择性地融合不同尺度的特征，且没有体现出不同特征对分割结果的贡献差异。
12.公开文件cn107766794b公开了一种特征融合系数可学习的图像语义分割方法，该发明涉及一种特征融合系数可学习的图像语义分割方法,该方法步骤主要包括先在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；将分类模型中的全连接层类型转为卷积层类型,得到全卷积深度神经网络模型,进行像素级别的类别预测；然后扩展卷积层分枝,给每一个分支设置一个系数,特征融合层按照系数比重进行融合,将此系数设置为可学习的状态；其次在图像语义分割数据集上进行微调训练,同时进行系数学习,得到语义分割模型；经微调训练和融合系数学习,可得到1至20组融合系数；最后在每组中选出系数最大的那个分支,进行最终组合,再次微调训练和系数学习,得到最终的语义分割模型。本发明使特征融合效果达到最好的状态。
13.该发明也仅利用了rgb信息，通过人工先验知识给不同的分支赋予权重进行训练，同样无法体现出不同特征对分割结果的贡献差异，在面对表面纹理复杂的烧结矿图像时难以适用。


技术实现要素：

14.本发明提供的基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统，解决了现有高炉烧结矿粒径检测精度低的技术问题。
15.为解决上述技术问题，本发明提出的基于rgb和激光特征融合的高炉烧结矿粒径检测方法包括：
16.采集高炉炉料传送带上的高炉烧结矿rgb图像和单线激光检测数据，获得rgb数据集与激光数据集；
17.构建编码器
‑
解码器结构的深度学习网络，深度学习网络包括rgb编码分支、激光编码分支、融合分支以及解码过程；
18.根据rgb编码分支和激光编码分支，分别对rgb数据集与激光数据集进行特征提取，获得rgb初始特征张量和激光初始特征张量；
19.在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量；
20.将融合特征张量，输入解码过程，从而获得分割图像，以及根据分割图像对高炉烧结矿粒径进行检测。
21.进一步地，在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量包括：
22.对rgb初始特征张量和激光初始特征张量分别进行特征压缩，获得rgb压缩特征张量和激光压缩特征张量；
23.对rgb压缩特征张量和激光压缩特征张量分别进行特征展开，获得rgb展开特征张量和激光展开特征张量；
24.对rgb展开特征张量和激光展开特征张量分别进行卷积计算和线性变换，获得rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重；
25.基于rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量。
26.进一步地，对rgb展开特征张量和激光展开特征张量分别进行卷积计算和线性变换，获得rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重包括：
27.将rgb展开特征张量和激光展开特征张量的每个特征通道视为神经元，每个特征通道的通道系数视为神经元的权重，分别建立rgb通道系数训练神经网络和激光通道系数训练神经网络；
28.对rgb展开特征张量和激光展开特征张量的每个特征通道的通道系数进行训练，获得rgb通道系数和激光通道系数；
29.基于rgb展开特征张量和rgb通道系数，获得rgb卷积特征张量，基于激光展开特征张量和激光通道系数，获得激光卷积特征张量；
30.对rgb卷积特征张量和激光卷积特征张量进行线性变换，获得rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重。
31.进一步地，基于rgb卷积特征张量和rgb通道系数，获得rgb卷积特征张量，基于激光卷积特征张量和激光通道系数，获得激光卷积特征张量的计算公式为：
[0032][0033]
其中，和分别表示rgb卷积特征张量和激光卷积特征张量，w
c,0
和w
c,1
分别表示rgb初始特征张量和激光初始特征张量中第c个特征通道的通道系数，w
c+j,0
和w
c+j,1
分别表示rgb初始特征张量和激光初始特征张量中第c+j个特征通道的通道系数，且w
c,0
、w
c,1
、w
c+j,0
和w
c+j,1
的初始值均为1，d表示特征通道的邻域大小，取1，d表示在一次t形卷积运算中，一个特征张量中参与计算的特征通道数，d＝2d+1。
[0034]
进一步地，对rgb卷积特征张量和激光卷积特征张量进行线性变换，获得rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重的计算公式为：
[0035][0036]
其中，和分别表示rgb初始特征张量和激光初始特征张量中第c个特征通道的特征权重，和分别表示rgb卷积特征张量和激光卷积特征张量。
[0037]
进一步地，对rgb压缩特征张量和激光压缩特征张量分别进行特征展开，获得rgb展开特征张量和激光展开特征张量包括：
[0038]
对rgb压缩特征张量和激光压缩特征张量分别进行第一次全连接层操作，获得降维的rgb压缩特征张量和激光压缩特征张量；
[0039]
对降维后的rgb压缩特征张量和激光压缩特征张量进行第二次全连接层操作，并通过sigmoid函数，获得rgb展开特征张量和激光展开特征张量。
[0040]
进一步地，对rgb初始特征张量和激光初始特征张量分别进行特征压缩，获得rgb压缩特征张量和激光压缩特征张量的计算公式为：
[0041][0042]
其中，u
c,0
和u
c,1
分别表示rgb初始特征张量和激光初始特征张量中第c个特征通道，z
c,0
和z
c,1
分别表示u
c,0
和u
c,1
通过特征压缩后的结果，结果为实数，f
sq
表示特征压缩操作，h和w表示rgb初始特征张量和激光初始特征张量中的特征通道的维数，i、j表示特征通道对应的二维矩阵中的元素位置；
[0043]
且对rgb压缩特征张量和激光压缩特征张量分别进行特征展开，获得rgb展开特征张量和激光展开特征张量的具体公式为：
[0044][0045]
其中，f
ex
表示特征展开操作，s
c,0
和s
c,1
分别表示rgb展开特征张量和激光展开特征张量中第c个特征通道，σ、δ分别表示sigmoid激活函数和relu激活函数，w1,w2分别表示第一次全连接层和第二次全连接层的网络参数。
[0046]
进一步地，根据rgb编码分支和激光编码分支，分别对rgb数据集与激光数据集进行特征提取，获得rgb初始特征张量和激光初始特征张量包括：
[0047]
根据rgb编码分支，对rgb数据集进行池化和卷积操作，获得rgb初始特征张量；
[0048]
对激光数据集进行插值，获得稠密激光数据；
[0049]
根据激光编码分支，对稠密激光数据进行池化和卷积操作，获得激光初始特征张量。
[0050]
进一步地，将融合特征张量，输入解码过程，从而获得分割图像包括：
[0051]
将融合特征张量，与深度学习网络中的多源特征加权融合子网络的上一层输出的上采样的结果进行拼接；
[0052]
将拼接后的结果输入深度学习网络的解码过程，通过四次自底向上的上采样过程，获得分割图像。
[0053]
本发明提供的基于rgb和激光特征融合的高炉烧结矿粒径检测系统包括：
[0054]
存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的基于rgb和激光特征融合的高炉烧结矿粒径检测方法的步骤。
[0055]
与现有技术相比，本发明的优点在于：
[0056]
本发明提供的基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统，通过采集高炉炉料传送带上的高炉烧结矿rgb图像和单线激光检测数据，获得rgb数据集与激光数据集，构建编码器
‑
解码器结构的深度学习网络，深度学习网络包括rgb编码分支、激光编码分支、融合分支以及解码过程，根据rgb编码分支和激光编码分支，分别对rgb数据集与激光数据集进行特征提取，获得rgb初始特征张量和激光初始特征张量，在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量以及将融合特征张量，输入解码过程，从而获得分割图像，以及根据所述分割图像对高炉烧结矿粒径进行检测，解决了现有高炉烧结矿粒径检测精度低的技术问题，通过在编码器
‑
解码器结构的深度学习网络中增加多源特征加权融合子网络，可以实时获得特征张量中的每一个特征通道的特征权重，充分发挥了激光的补充作用，有利于提高高炉烧结矿粒径检测精度，并且通过可视化定量地展示了不同特征在融合过程中对分割结果的贡献差异，对后续进行融合与学科交叉相关的研究具有重要的意义。
[0057]
本发明旨在提出一种基于rgb和激光深度特征加权融合的图像分割网络fnet，用于分割高炉矿石图像。
[0058]
一方面，由于高炉上料系统所处的环境光照不均、矿石复杂纹理的干扰等情况的出现，单一rgb图像已经难以满足对高精度的需求，单一rgb信息难以区分矿石表面复杂纹
理和边缘，因此，为了取得更高的分割精度，本发明创新性地选择将rgb信息与激光信息(laser)进行融合以强化有效特征进行高精度的分割。
[0059]
另一方面，由于激光信息具有明显的稀疏性，使得其在于rgb的融合过程中贡献非常有限，常规的融合方式难以取得更好的效果。因此，本发明为了更好地融合rgb和激光信息，充分发挥激光信息的补充作用，提出一种新的多源特征加权融合子网络wf
‑
senet，设计了一种跨越特征和通道的t形卷积模板，用于学习特征图之间和通道之间的关系，可以为每个特征图的每个通道分配更合理的权重，从而能基于该权重加权获得有利于提高高炉烧结矿粒径检测精度的融合特征张量。减少不准确信息带来的负面影响。再基于编解码框架设计了rgb、激光和融合分支对不同的输入信息用于进行编码，最后通过解码得到最终的分割图像。
[0060]
本发明提出的基于rgb和激光深度特征加权融合的图像分割方法与现有方法相比，创新性地融合了rgb和激光信息，通过一种全新的多源特征加权融合子网络对多源特征进行了融合，充分发挥了激光的补充作用，有利于提高深度网络的分割精度，从而提高高炉烧结矿粒径检测精度，并且通过可视化定量地展示了不同特征在融合过程中对分割结果的贡献差异，对后续进行融合与学科交叉相关的研究具有重要的意义。
附图说明
[0061]
图1为本发明实施例二的烧结矿图像和激光检测系统示意图；
[0062]
图2为本发明实施例二的分割网络整体框架图；
[0063]
图3为本发明实施例二的多源特征加权融合子网络结构图；
[0064]
图4为本发明实施例二的t形卷积模板的计算过程示意图；
[0065]
图5为本发明实施例二的烧结矿图像的分割结果对比图；
[0066]
图6为本发明实施例的基于rgb和激光特征融合的高炉烧结矿粒径检测系统的结构框图。
[0067]
附图标记：
[0068]
10、存储器；20、处理器。
具体实施方式
[0069]
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
[0070]
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0071]
实施例一
[0072]
本发明实施例一提供的基于rgb和激光特征融合的高炉烧结矿粒径检测方法，包括：
[0073]
步骤s101，采集高炉炉料传送带上的高炉烧结矿rgb图像和单线激光检测数据，获得rgb数据集与激光数据集；
[0074]
步骤s102，构建编码器
‑
解码器结构的深度学习网络，深度学习网络包括rgb编码分支、激光编码分支、融合分支以及解码过程；
[0075]
步骤s103，根据rgb编码分支和激光编码分支，分别对rgb数据集与激光数据集进行特征提取，获得rgb初始特征张量和激光初始特征张量；
[0076]
步骤s104，在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量；
[0077]
步骤s105，将融合特征张量，输入解码过程，从而获得分割图像，以及根据分割图像对高炉烧结矿粒径进行检测。
[0078]
本发明实施例提供的基于rgb和激光特征融合的高炉烧结矿粒径检测方法，通过采集高炉炉料传送带上的高炉烧结矿rgb图像和单线激光检测数据，获得rgb数据集与激光数据集，构建编码器
‑
解码器结构的深度学习网络，深度学习网络包括rgb编码分支、激光编码分支、融合分支以及解码过程，根据rgb编码分支和激光编码分支，分别对rgb数据集与激光数据集进行特征提取，获得rgb初始特征张量和激光初始特征张量，在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量以及将融合特征张量，输入解码过程，从而获得分割图像，以及根据分割图像对高炉烧结矿粒径进行检测，解决了现有高炉烧结矿粒径检测精度低的技术问题，通过在编码器
‑
解码器结构的深度学习网络中增加多源特征加权融合子网络，可以实时获得特征张量中的每一个特征通道的特征权重，从而实现多源特征的自适应加权融合，充分发挥了激光的补充作用，并且通过可视化定量地展示了不同特征在融合过程中对分割结果的贡献差异，对后续进行融合与学科交叉相关的研究具有重要的意义。
[0079]
实施例二
[0080]
本发明实施例的基于rgb和激光特征融合的高炉烧结矿粒径检测方法包括：
[0081]
步骤s201，采集高炉炉料传送带上的高炉烧结矿rgb图像和单线激光检测数据，获得rgb数据集与激光数据集。
[0082]
具体地，为了获取高rgb图片和laser检测数据，通过工业相机和激光扫描仪等硬件设备采集rgb图像信息和laser深度信息。其中，激光检测设备选用的是sick公司生产的lms4111r
‑
13000激光线扫描仪，数据采集软件为sopas engineering tool。工业相机选用的是德国basler aca2500
‑
14gm basler工业面阵相机数据采集软件为pylon viewer。两者均采用以太网的方式进行通信。采集系统如图1所示，图1中本发明实施例用于基于rgb和激光特征融合的高炉烧结矿粒径检测的装置包含工业相机、单线激光扫描仪、支架、光源和计算机等。
[0083]
本实施例的初始数据是以.txt报文的方式存储的。首先提取出报文中的测距信息，并进行一点的预处理才能作为深度信息使用。解析报文，通过寻找标志位定位出深度信息、采集时间、帧数等关键信息所在位置。并提取出测距信息。报文数据类型分为received和connect，connect仅表示数据连接的状态，received是接收到的信息，通常需要剔除connect数据，同时根据帧数判断数据是否异常(正常的帧数范围在6000
‑
9000之间)根据图片采集时间就近选取对应图像的激光序列。根据激光序列和图像的采集时间进行就近匹配，时间间隔不超过0.01s。激光数据原本是极坐标系，以发射点为圆心。为了方便直观的观察和计算，将其转化为直角坐标系。然后通过基于相机与单线激光的联合标定方法对rgb数
据和激光信息进行配准，最后通过数据增强制作成数据集，也即rgb数据集与激光数据集。
[0084]
步骤s202，构建编码器
‑
解码器结构的深度学习网络，深度学习网络包括rgb编码分支、激光编码分支、融合分支以及解码过程。
[0085]
步骤s203，根据rgb编码分支和激光编码分支，分别对rgb数据集与激光数据集进行特征提取，获得rgb初始特征张量和激光初始特征张量。
[0086]
具体地，本实施例首先在unet的基础上，搭建了一种基于rgb和激光的图像分割网络fnet，网络整体架构如图2所示。该网络由两个部分组成：主体模块、多源特征加权融合子网络。主体以编码器
‑
解码器结构深度学习网络为基本骨架，保证模型在训练的过程中能够保留更多的细节。
[0087]
本实施例的主体模块包括rgb编码分支(包含四个卷积层)、laser编码分支(包含四个卷积层)及右侧的解码过程(包含四个卷积层)，如图2所示。左侧两条编码分支中，每层由池化、两组3
×
3的卷积、bn(batch normalization)、relu激活函数构成的特征提取模块组成，两层之间使用最大池化进行降维。右侧解码过程采用与左侧压缩分支类似的策略，每层拥有上采样、两组卷积、bn和relu激活函数，共有四层结构。
[0088]
本实施例首先将大小为256*256*3的rgb图像i＝(i0,i1,i2)输入到rgb编码分支中，大小为256*256*1的激光图像l＝(l0)通过双线性插值算法转化为256*256*3的稠密深度图s＝(s0,s1,s2)，然后输入到laser编码分支中。
[0089]
在这两条编码分支中，同时经过四次的池化降维(最大池化)和3*3卷积运算，最终分别输出大小为c*h*w的rgb特征张量u0＝(u
0,0
,u
1,0
,...,u
c,0
)和c*h*w的激光特征张量u1＝(u
0,1
,u
1,1
,...,u
c,1
)。
[0090]
步骤s204，在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量。
[0091]
本发明实施例在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量具体包括：
[0092]
在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量包括：对rgb初始特征张量和激光初始特征张量分别进行特征压缩，获得rgb压缩特征张量和激光压缩特征张量；对rgb压缩特征张量和激光压缩特征张量分别进行特征展开，获得rgb展开特征张量和激光展开特征张量；对rgb展开特征张量和激光展开特征张量分别进行卷积计算和线性变换，获得rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重；基于rgb初始特征张量和激光初始特征张量中的每一个特征通道的特征权重，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量。
[0093]
具体地，为了更高效地融合rgb编码分支和laser编码分支的信息，在rgb分支和laser分支之间，设计了融合分支，在融合分支的最后一层，本发明实施例加入了多源特征加权融合子网络(wf
‑
senet)，如图2中的“wf”模块，具体的结构如图3所示。
[0094]
本实施例在融合分支的最后一层构建多源特征加权融合子网络，并基于多源特征加权融合子网络，对rgb初始特征张量和激光初始特征张量进行加权融合，获得融合特征张
量的具体过程包括：
[0095]
(1)给定一个rgb特征张量u0和一个激光特征张量u1，记k＝0,1。首先进行特征压缩操作，顺着空间维度来进行特征压缩，将特征张量u
k
＝(u
0,k
,u
1,k
,...,u
c,k
)变成特征张量z
k
＝(z
0,k
,z
1,k
,...,z
c,k
)，z
c,k
是一个实数。z
k
＝(z
0,k
,z
1,k
,...,z
c,k
)在某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数c相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，具体操作即全局平局池化。公式1将大小为c*h*w的输入特征u
k
＝(u
0,k
,u
1,k
,...,u
c,k
)转换成c*1*1的输出z
k
＝(z
0,k
,z
1,k
,...,z
c,k
)。这一步的结果表明了该层c个特征通道的数值分布情况。
[0096][0097]
u
c,k
表示第k个特征张量中第c个特征通道。f
sq
表示特征压缩操作。z
c,k
表示u
c,k
通过特征压缩之后得到的结果，是一个实数。i，j表示与特征通道对应的二维矩阵中的元素位置。
[0098]
(2)其次是特征展开操作，前面特征压缩得到的结果是z
k
＝(z
0,k
,z
1,k
,...,z
c,k
)(公式1计算得到)，首先通过一个全连接层操作，将大小为c*1*1的z
k
＝(z
0,k
,z
1,k
,...,z
c,k
)转化为大小为c/r*1*1的张量z
′
k
＝(z
′
0,k
,z
′
1,k
,...,z
′
c/r,k
)，r是一个缩放参数，在本发明实施例中取的是16，这个参数的目的是为了减少特征通道个数从而降低计算量。然后再通过一个类似的全连接层操作，将大小为c/r*1*1的z
′
k
＝(z
′
0,k
,z
′
1,k
,...,z
′
c/r,k
)恢复到大小为c*1*1的z
″
k
＝(z
″
0,k
,z
″
1,k
,...,z
″
c,k
)，最后再经过sigmoid函数，得到特征张量s
k
＝(s
0,k
,s
1,k
,...,s
c,k
)
[0099]
s
c,k
＝f
ex
(z
c,k
,w)＝σ(w2δ(w1z
c,k
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0100]
f
ex
表示特征展开操作。σ、δ表示激活函数，s
k
＝(s
0,k
,s
1,k
,...,s
c,k
)表示通过特征展开操作后得到的特征张量，大小为c*1*1，记为特征权重。其中s
c,k
表示上面通过特征压缩和特征展开操作获得的第k个特征张量中第c个通道的特征权重w1,w2表示两个全连接层的参数。
[0101]
(3)接着是融合操作，该过程输入是大小为c*1*1的rgb特征权重s0＝(s
0,0
,s
1,0
,...,s
c,0
)和laser特征权重的s1＝(s
0,1
,s
1,1
,...,s
c,1
)，输出是经过自适应加权融合之后的融合特征权重其大小为c*1*1。首先设计一种t形卷积模板，通过学习多源信息的特征权重s
k
＝(s
0,k
,s
1,k
,...,s
c,k
)来调整特征张量之间和特征通道之间的权重关系，得到如图4所示，t形卷积模板可以看作是由一个d
×
1的卷积和一个1
×
w的卷积组成，其中d取决于当前通道(d＝2d+1)的邻域大小d和w表示参与特征融合的特征图数量。邻域大小d在本发明实施例中设置为1，即d＝3，表示当前通道和两个相邻通道参与计算。最后再通过公式4进行线性变换，得到
[0102]
[0103][0104]
其中s
c,k
表示通过特征压缩和特征展开操作获得的第k个特征张量中第c个特征通道的特征权重。表示t形卷积运算的结果。表示经过线性变换后的结果，表示最终的第c个特征通道的融合特征权重。本发明实施例中w
c,i
和w
c+j,k
的初始值为1，w＝2。
[0105]
其中，在进行t形卷积运算时，将每个参与计算的特征通道视为一个个的神经元，每个特征通道的系数视为神经元的权重，具体训练过程与一般神经网络的参数训练过程类似：
[0106]
1、进行权值的初始化；
[0107]
2、输入数据经过t形卷积的计算得到输出值；
[0108]
s
t
＝f
t
(s,w)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0109]
其中，f
t
表示进行t形卷积运算，s
t
表示s经过t形卷积运算后的结果，w表示特征张量中每个二维矩阵对应的系数。
[0110]
3、求出网络的输出值与目标值之间的误差，目标值是通过将rgb特征张量与laser特征张量拼接之后输入到senet中得到的特征权重s
g
；
[0111][0112]
s
g
表示rgb特征张量与laser特征张量拼接之后输入到senet后输出的特征权重。loss表示w训练过程中的损失函数。
[0113]
4、当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练。根据求得误差进行权值更新，然后在进入到第二步。权重的更新公式：
[0114][0115]
其中，lr表示学习率，loss表示w训练过程中的损失函数。
[0116]
可选地，在神经网络的反向传播中，需要通过损失函数来衡量预测输出与标签值之间的误差，从而在训练的迭代过程中优化网络参数。高炉炉料图像的分割问题在本质上是一个三分类问题，即有k＝3个标签值，且第i个样本预测为第k个标签值的概率为p
i,k
＝pr(t
i,k
＝1)，k＝0,1,2。即一共有n个样本，则该数据集的损失函数为:
[0117][0118]
其中y
i,k
表示的是样本i的第k个标签值，提取目标表示为1，非提取目标为0；p
i,k
表示的是样本i的第k个标签值预测为目标的概率。交叉熵函数具有非负性，当实际输出结果与期望输出结果误差较大时，交叉熵损失函数的值随之增大，网络权值更新变快，模型能够快速收敛，当误差较小时，能够降低模型网络更新速率，提升网络模型的精度。但由于高炉炉料图像标签中，边缘部分与非边缘部分像素数目差距较大，即模型训练的正负样本分布
不均衡。当某一个类别样本的数量太大时，该类别在损失函数计算时有较大的比重，从而导致模型在训练时会向着样本数较多的类别倾斜，损失函数无法提供有效的学习信号。因此本发明实施例基于针对非边缘部分与边缘部分之间的不平衡问题，在交叉熵损失函数的基础上，将该图像分割网络的损失函数设计为:
[0119][0120][0121]
其中α
i,k
表示样本i的第k个标签值的权重信息，用来解决多分类问题中的样本不平衡问题，y
i,k
表示样本i图像中标签值为k的像素个数，超参数γ用来解决难易样本不平衡的问题，本发明实施例γ取2。
[0122]
(4)最后是重新加权操作，将特征融合操作输出的特征权重看作是进行过特征选择后的特征张量的重要性，然后通过乘法逐通道加权到先前的特征张量u
k
＝(u
0,k
,u
1,k
,...,u
c,k
)上，完成在通道维度上的对原始特征张量的重标定。是通过前面的全连接层和非线性层学习得到的，因此可以端到端训练。这两个全连接层的作用就是融合各通道的特征张量信息。特征张量u
k
＝(u
0,k
,u
1,k
,...,u
c,k
)和融合特征权重相乘得到加权特征张量u
′
k
＝(u
′
0,k
,u
′
1,k
,...,u
′
c,k
)。然后再将所有加权特征图u
′
k
＝(u
′
0,k
,u
′
1,k
,...,u
′
c,k
)相加得到加权融合特征张量u
f
＝(u
0,f
,u
1,f
,...,u
c,f
)，如式5所示：
[0123][0124]
u
c,i
表示输入的原始特征张量u
k
＝(u
0,k
,u
1,k
,...,u
c,k
)中第c个特征通道的二维矩阵。
[0125]
步骤s206，将融合特征张量，与深度学习网络中的多源特征加权融合子网络的上一层输出的上采样的结果进行拼接。
[0126]
步骤s207，将拼接后的结果输入深度学习网络的解码过程，通过四次自底向上的上采样过程，获得分割图像，并根据分割图像对高炉烧结矿粒径进行检测。
[0127]
具体地，通过将特征张量u0、u1输入到多源特征加权融合子网络wf
‑
senet中得到融合特征张量u
f
＝(u
0,f
,u
1,f
,...,u
c,f
)，然后将大小为c*h*w的融合特征张量u
f
＝(u
0,f
,u
1,f
,...,u
c,f
)输入到fnet解码过程中的第一层，并通过四次上采样和3*3卷积运算，最后通过1*1的卷积运算输出大小为256*256*3的分割图像u
s
＝(u
0,s
,u
1,s
,u
2,s
)。
[0128]
本发明实施例的关键点
[0129]
(1)创新性地融合了rgb信息和单线激光信息(l)进行高炉矿石图像分割，制作了rgb激光数据集。在unet的基础上提出基于rgb
‑
l的多尺度特征融合框架fnet，融合了多尺度特征和权重融合特征，最终基于rgb
‑
l实现端到端的多分类语义分割网络。
[0130]
(2)提出了wf
‑
senet权重融合模块，设计了一种t形卷积模板，通过学习特征之间和通道之间的关系，给每个特征图重新标定它们的权值，自适应地调整特征图之间的权重
关系，量化地展现输入数据对分割结果不同的贡献程度，并能够极大地减少负贡献的问题。
[0131]
(3)针对非边缘部分与边缘部分之间的不平衡问题，在交叉熵损失函数的基础上，将各类别的像素个数作为权重以调整样本比例，设计了能够平衡样本比例的损失函数。
[0132]
本发明实施例以高炉烧结矿为研究对象，提出了一种基于rgb和激光特征加权融合的高炉矿石图像分割方法。与现有方法相比，本发明提出的方法创新性的融合了rgb和激光信息，通过一种全新的多源特征加权融合子网络对多源特征进行了融合，充分发挥了激光的补充作用，并且通过可视化定量地展示了不同特征在融合过程中对分割结果的贡献差异，对后续进行融合与学科交叉相关的研究具有重要的意义。
[0133]
实施例三
[0134]
本实施例以某炼铁厂中的2650m3大型高炉进行验证，且基于rgb和激光特征加权融合的高炉矿石图像分割方法的具体步骤如下:
[0135]
1、数据集制作。为了获取高炉烧结矿rgb图片和laser检测数据，本发明在某钢铁厂的高炉上料皮带上，通过工业相机和激光扫描仪等硬件设备采集rgb图像信息和laser深度信息。其中，激光检测设备选用的是sick公司生产的lms4111r
‑
13000激光线扫描仪，数据采集软件为sopas engineering tool。工业相机选用的是德国basler aca2500
‑
14gm basler工业面阵相机数据采集软件为pylon viewer。两者均采用以太网的方式进行通信。通过工业相机和激光扫描仪在一个集中的时间段共采集8组数据(每次采集完一组数据，更换一批矿石)，每组数据包括1000
‑
2000张图片(采集时间不同，采集频率为60ms，与激光扫描频率相仅，激光扫描数据的采集频率由于硬件原因会在55ms
‑
65ms之间浮动)，其中图片大小为2592*2048。激光扫描数据包含1000
‑
2000行激光报文，其中包括一些硬件信息、测距数据和配置数据。测距数据是我们所需要的深度信息。再通过联合标定算法获得配准的数据集。
[0136]
2、基于rgb和激光特征加权融合的图像分割网络有监督训练，在两条编码分支中，每层由2*2的池化、两组3
×
3的卷积、bn(batch normalization)、relu激活函数构成的特征提取模块组成，两层之间使用最大池化进行降维。右侧解码过程采用与左侧压缩分支类似的策略，每层拥有上采样、两组卷积、bn和relu激活函数。在训练的过程中，采用adam作为优化算法。学习率设置为10^
‑
4，其中采用余弦退火学习率调度策略调整学习率，其中最小值为10^
‑
6。权重衰减设置为10^
‑
8。通过训练得到能够进行三分类的模型，旨在将高炉矿石图像中的像素分为背景、矿石边缘和矿石内部区域。
[0137]
3、实验结果和分析。在相同的实验平台利用相同的数据集，基于u
‑
net、rfnet、本实施例方法(稀疏输入)和本实施例方法(稠密输入)进行实验。u
‑
net、rfnet、本实施例方法在上采样的过程中都采用编码过程中的空间信息。不同的是，unet仅仅利用rgb图像信息。而本实施例方法在提出一种多特征权重融合模块，将其应用于rgb和laser数据的权重融合，并在unet的基础上提出多分支直接融合模块。因此本实施例将对unet、rfnet和本实施例方法进行相关指标的对比验证，评估这些方法分割效果的通用准确性以及针对矿石区域和数量的准确性。本实施例给出了rfnet、u
‑
net、本实施例方法(稀疏)和本实施例方法(稠密)在测试集上八个样本的边缘检测性能指标miou和pwiou的分割结果，具体如图5所示，图5从左至右分别是rgb原图、激光图像、稠密深度图、unet、rfnet、本发明实施例方法(稀疏输入)、本发明实施例方法(稠密输入)和真值。
[0138]
结果表明本实施例所提模型能够有效地对高炉炉料图像进行分割，与标签结果更接近，效果更好。通过表1中的两个通用分割指标可以得知，本实施例所提的多尺度特征融合的高炉炉料图像分割深度学习模型(ilf
‑
unet)的预测结果的平均iou与pwiou分别为0.6419与0.8113，均优于其他深度学习模型。depth输入相比于unet和rfnet在miou上分别提升了2.03％、1.67％。
[0139]
表1不同方法的分割表现
[0140][0141][0142]
参照图6，本发明实施例提出的基于rgb和激光特征融合的高炉烧结矿粒径检测系统，包括：
[0143]
存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的基于rgb和激光特征融合的高炉烧结矿粒径检测方法的步骤。
[0144]
本实施例的基于rgb和激光特征融合的高炉烧结矿粒径检测系统的具体工作过程和工作原理可参照本实施例中的基于rgb和激光特征融合的高炉烧结矿粒径检测方法的工作过程和工作原理。
[0145]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。