基于层次特征融合的矿井图像超分辨率重建方法及系统与流程

本发明涉及图像重建，具体涉及基于层次特征融合的矿井图像超分辨率重建方法及系统。

背景技术：

1、矿井图像主要是指利用矿井环境下的摄像机或者传感器采集得到的数字图像资源，常被广泛用于煤矿的生产管理、行为识别、安全检测等各个方面，其反映的信息对煤矿的生产作业和人员管理都起到至关重要的作用，由于矿井环境多为无光或微弱光线条件，且拍摄设备硬件条件不统一，因此对矿井图像的亮度、对比度和分辨率等方面需要进行重建等特殊处理。

2、矿井图像超分辨率重建技术是指利用深度学习相关算法，从低分辨率的矿井图像中重建出高分辨率的矿井图像的技术，通过重建高分辨率矿井图像，可以提高图像的质量，使得图像细节和纹理信息更加清晰，对安全监测和和矿山勘探等工作非常有帮助，当前，矿井图像超分辨率重建技术的相关方法通常由以下四个步骤组成：第一，图像预处理：对低分辨率图像进行预处理操作，包括图像增强等；第二，模型搭建：搭建网络模型，主要包括浅层特征提取模块、深层特征提取模块和特征重建模块三个部分；第三，模型训练和优化：基于预处理后的数据集，对已搭建的模型进行训练和优化；第四，超分辨率重建：基于训练得到的最优模型，将低分辨率矿井图像映射为高分辨率矿井图像，得到最终结果。

3、专利公开号为：cn115239564b的专利文件公开了一种结合语义信息的矿井图像超分辨率重建方法，其主要目的是通过语义分割网络所产生的概率图对超分辨率网络的深层特征提取前的输入进行调整，以此达到提高图像重建质量的结果。

4、当前多数方案中图像超分辨率重建模型多为简单堆叠大量基本模块，不仅忽视高低频信息关系，且结构复杂、参数量巨大，难以应用于矿井生产作业中，现存的问题具体来说主要为以下两点：

5、第一，现有的超分辨率网络多是通过大量重复增加网络基本模块来加深网络的层数和提取图像的深层特征，这会导致会模型的参数量和复杂度大幅增加，进而模型的训练和推理时间也显著增加，从而不仅会使网络模型的参数量增大和运行速度降低，更使得其难以在生产生活中得到广泛应用，难以广泛应用于复杂矿井环境下的移动端或边缘设备；

6、第二，特征融合过程中多为简单平等地对不同层次的图像特征进行拼接或者像素相加，忽视了不同层次图像特征的作用和相互之间的关系，使得在图像重建的最后阶段仅有少量高频信息对重建起作用，而多量重复性和冗余性的低频信息被反复处理，扰动图像重建，模型难以关注和重点学习对重建效果贡献较高的高频信息，使得矿井图像重建质量下降，这一问题在图像边缘和纹理等细节部分会显得尤其明显。

技术实现思路

1、为了克服上述的技术问题，本发明的目的在于提供基于层次特征融合的矿井图像超分辨率重建方法及系统，该系统可重点关注高低频信息之间的关系，实现层次特征融合，且高频细节信息指导低频信息的利用，同时保持模型的轻量化，使得模型能够在矿井等复杂环境下仍具有较高的应用价值。

2、本发明的目的可以通过以下技术方案实现：

3、基于层次特征融合的矿井图像超分辨率重建方法，该重建方法通过将低分辨率图像ilr输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像isr，按照图像特征的处理顺序，重建网络模型分为三部分：浅层特征提取模块、深层特征提取模块以及特征重建模块；

4、重建方法包括以下步骤：

5、步骤一、浅层特征提取模块对输入重建网络模型的低分辨率图像ilr进行处理，提取其浅层特征；

6、步骤二、由深层特征提取模块进一步提取图像的深层特征，深层特征提取模块由一个多分支的层次特征融合残差块hffrb和三个基本的自适应残差块arb构成，其中，层次特征融合残差块hffrb中包含三个无注意力模块esa的自适应残差块arb；

7、步骤三，根据得到的深层特征进行层次特征融合，并基于层次特征融合利用图像高频信息指导低频信息进行学习和特征融合，提升重建网络模型的学习效率；

8、步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块，由一层3×3卷积层和主要由pixelshuffle函数组成的上采样模块构成，用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果。

9、进一步在于，浅层特征提取模块由一层3×3卷积层构成，步骤一中，当低分辨率图像ilr以张量的形式输入重建网络模型，由浅层特征提取模块得到浅层特征提取结果：

10、

11、式中，f0表示浅层特征提取模块的输出，表示卷积核大小为3×3的卷积操作。

12、进一步在于，步骤二中，在深层特征提取模块中，层次特征融合残差块hffrb和自适应残差块arb按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息，层次特征融合残差块hffrb排列在第一个自适应残差块arb后，第二个和第三个自适应残差块arb排列在层次特征融合残差块hffrb后，深度特征提取过程如下：

13、

14、

15、

16、

17、式中，fi表示第i个模块输出得到的特征图，表示第i个模块的映射函数，其上标表示所对应的模块。

18、进一步在于，步骤三中，对得到的深度特征信息进行层次特征融合，指定第一个自适应残差块arb基本模块的输出和层次特征融合残差块hffrb基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块arb基本模块的输出进行融合，得到第二阶段的深度特征，层次特征融合过程如下：

19、

20、

21、式中，f12和f34分别表示对特征f1和f2、f3和f4进行拼接融合的结果，表示第i个拼接融合模块，其主要包含特征拼接操作和一层1×1卷积层。

22、进一步在于，利用得到的高频特征f34来指导低频特征f12的学习，同时结合浅层特征通过逐像素相加操作得到深层特征提取模块的输出，过程如下：

23、f5＝sigmoid(f34)·f34+f12+f0#(8)

24、式中，f5表示深层特征提取模块的输出特征，sigmoid(·)表示sigmoid函数，·为逐像素相乘操作，+为逐像素相加操作。

25、进一步在于，自适应残差块arb由残差结构和注意力模块esa构成，输出的图像特征数据通过注意力模块esa得到最终输出：

26、残差结构包括两层3×3卷积层、两层1×1卷积层和gelu激活函数；

27、其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；

28、第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；

29、gelu激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；

30、图像特征数据输入注意力模块esa后，先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块esa使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过sigmoid函数生成最终的注意力掩码，该掩码与注意力模块esa的输入进行逐像素相乘以得到该模块的最终输出。

31、进一步在于，层次特征融合残差块hffrb由特征融合结构和残差结构构成，层次特征融合残差块hffrb先通过一个3×3卷积层来实现对输入数据通道数统一化的处理，接着数据进入四个分支结构进行进一步的处理，其最终输出由四个不同分支逐像素相加而成：

32、主分支结构，主要由3个去除注意力模块esa的自适应残差块arb串联构成，过程如下：

33、

34、

35、

36、

37、式中，表示第一层3×3卷积层操作，表示第i个去除注意力模块esa的自适应残差块arb的映射函数；

38、分支一结构，通过主分支结构得到的最终输出f23再包含一个注意力模块esa的注意力分支，过程如下：

39、f″2＝hesa(f23)#(13)

40、分支二结构，为第一层3×3卷积层通过跳跃直连得到，与f′1一致；

41、分支三结构，为具有hff层次特征融合结构的分支，过程如下：

42、

43、

44、

45、式中，表示第i个拼接融合模块；

46、特征融合结构的分支首先对主分支上的特征图f′1和f21进行融合操作，所得到的融合结果继续和主分支的特征图f22继续融合，对f23也进行同上述一样的融合操作，最终得到特征融合结果再通过overscaling模块进行进一步的学习，过程如下：

47、

48、式中，hover(·)表示overscaling模块的映射函数；

49、overscaling模块的基本框架为残差结构，其主分支由2层3×3卷积层、上采样模块、下采样操作和sigmoid函数串联构成，过程如下：

50、

51、式中，pixelsh uffle(·)函数主要为上采样模块所包含的亚像素卷积操作，bicubic↓(·)函数为使用双线性插值方法实现的下采样操作；

52、最终通过逐像素相加操作得到hffrb模块的最终输出，过程如下：

53、

54、式中，λi为第i个分支的自适应参数。

55、进一步在于，步骤四中，上采样模块先利用3×3卷积层将特征图的通道数拓展为原先的r2倍；再利用pixelshuffle函数的“周期洗牌”操作将h×w×r2cout大小的特征图转换为rh×rw×cout大小；考虑到输出图像为rgb图像，因此可将最终的特征图像输出通道数设置为3，最终可获得超分辨率重建后的图像isr，过程如下：

56、

57、式中，pixelsh uffle(·)表示上采样模块所学习到的映射函数。

58、进一步在于，通过对已搭建的重建网络模型进行训练优化以实现最终的图像重建工作，待处理的低分辨率图像ilr通过已搭建网络模型获得重建后的高分辨率图像isr，将isr与原始的高分辨率图像ihr进行比较后，计算其损失函数，再通过梯度更新来优化网络的参数，使得模型重建后的图像进一步接近原始高分辨率图像，其中，所使用的损失函数为l1损失函数，过程如下：

59、

60、

61、式中，hθ(·)表示网络模型所学习到的映射函数，可得到isr＝hθ(ilr)；θ表示网络模型中涉及到的权重和偏差；l(·)表示最小化isr和ihr之间差异的l1损失函数；argminθ(·)表示使目标函数取最小值时的变量值；n表示数据集的图像数量。

62、基于层次特征融合的矿井图像超分辨率重建系统，该重建系统通过将低分辨率图像ilr输入已训练的重建网络模型对矿井图像进行超分辨率重建，得到重建后的高分辨率矿井图像isr，重建网络模型包括：浅层特征提取模块、深层特征提取模块以及特征重建模块，在向重建网络模型输入低分辨率图像ilr时，该重建网络模型执行一种基于层次特征融合的矿井图像超分辨率重建方法中的步骤。

63、本发明的有益效果：

64、1、相较于传统方法，本技术方案摒弃常用的重复堆叠基本模块以搭建网络框架的方式，减少如注意力模块esa这类基本模块的使用数量并引用多层次特征融合模块，可以在保持网络轻量化特点的同时更好地利用层次特征，充分学习图像的特征信息，此外，模型的参数量大幅减少，推理速度得到提升，更好地应用于矿井生产作业；

65、2、本方案通过引入和改进多层次特征融合模块使得重建网络模型获得更丰富的特征信息，充分挖掘不同层次的特征信息和语义信息，从而进一步提高模型的表达能力，有效提高图像的重建质量；

66、3、本方案所提出的方法及系统重新整合各模块所学习的特征信息，用网络学习到的图像高频信息指导低频信息的学习，使得网络可以更好地探索高低频信息之间地关系，并更专注于蕴含边缘、纹理等丰富细节的高频信息，使得图像重建效果得到进一步的提升，模型的重建性能也进一步增强。