太赫兹图像重建的模型训练方法及太赫兹图像重建方法

1.本发明涉及图像处理领域，尤其涉及一种太赫兹图像重建的模型训练方法、太赫兹图像重建方法、装置、系统及计算机可读存储介质。


背景技术：

2.玻璃纤维增强塑料广泛应用于航空、电气绝缘材料和化工设备中，但生产质量不稳定。有源太赫兹成像技术是最有前途的太赫兹技术，已应用于无损检测、安全扫描等领域。使用有源太赫兹成像技术对玻璃纤维增强塑料进行无损检测时，由于光子的能量低，通过太赫兹域光谱仪快速扫描成像通常只能获得一幅低分辨率的原始图像，导致得到的玻璃纤维增强塑料的太赫兹图像的信噪比低，分辨率低，模糊严重，而对低分辨率的玻璃纤维增强塑料图像的微小缺陷进行识别时容易造成误判。
3.超分辨率重建方法解决了使用低分辨率图像生成高分辨率图像时通常需要更多图像细节的问题，例如插值法、lanczos重采样，以及利用统计图像先验或内部patch递归等，但现有的方法得到的高分辨率图像的效果仍不足以满足对玻璃纤维增强塑料的微小缺陷识别。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本发明实施例提供了一种太赫兹图像重建的模型训练方法、太赫兹图像重建方法装置、系统及计算机可读存储介质，通过对太赫兹仪器获取的图像和高分辨率图像数据集输入到具有残差融合层的卷积网络模型中，实现了对太赫兹图像的超分辨率重建。
6.第一方面，本发明实施例提供了一种太赫兹图像重建的模型训练方法，所述方法包括：获取数据集，所述数据集包括第一数据集和第二数据集，所述第一数据集包括太赫兹光谱仪采集到的初始太赫兹图像，所述第二数据集中包括与所述第一数据集不同的高分辨率图像；对所述数据集进行降分辨率处理，得到低分辨率图像；通过卷积网络模型提取所述低分辨率图像的特征，其中，所述卷积网络模型的最后一层为残差融合层。
7.本发明第一方面实施例提供的太赫兹图像重建的模型训练方法，至少具有如下有益效果：太赫兹光谱仪采集到的初始太赫兹图像和将与初始太赫兹图像不同类别的高分辨率图像经过将分辨率处理后得到的低分辨率图像共同输入到卷积网络模型中，通过卷积网络模型对低分辨率图像进行特征信息的提取。通过在卷积网络模型的最后一层设置残差融合层，使得卷积网络模型对低分辨率图像进行特征信息的提取更加全面，减少梯度下降对图像分辨率重建的影响，从而使卷积网络模型对太赫兹图像重建出更高的分辨率。此外，模型的训练数据包括高分辨率图像经过将分辨率处理后得到的低分辨率图像，使得在对模型效果进行检测时，将低分辨率图像输入到训练好的模型，通过将卷积网络模型输出的低分辨率重建图像与将分辨率前的高分辨率图像进行对比，可以直观的从视觉上看到二者分辨
率的差异，从而得到卷积网络模型的训练效果。
8.根据本发明的一些实施例，对所述数据集进行降分辨率处理，包括：将所述数据集的图像缩小3倍，得到中间图像；将所述中间图像通过插值法放大3倍，使得所述数据集的图像的分辨率降低。
9.根据本发明的一些实施例，所述卷积网络模型的第2层至倒数第二层中的每一层分别包括64个大小为3x3x64的内核。
10.根据本发明的一些实施例，所述卷积网络模型共有20层，其中，前19层为特征提取层，前19层遵循relu激活函数。
11.根据本发明的一些实施例，所述残差融合层的输入包括第19层的输出图像和第19层的学习剩余数据。
12.根据本发明的一些实施例，所述初始太赫兹图像的分辨率为673k。
13.第二方面，本发明实施例提供了一种太赫兹图像重建方法，所述方法包括：获取太赫兹时域光谱仪快速扫描成像获得的低分辨率的图像；将所述低分辨率图像输入到由权利要求1所述方法训练的卷积网络模型中，得到重建图像。
14.本发明第二方面实施例提供的太赫兹图像重建方法，至少具有如下有益效果：太赫兹光谱仪采集到的初始太赫兹图像和将与初始太赫兹图像不同类别的高分辨率图像经过将分辨率处理后得到的低分辨率图像共同输入到卷积网络模型中，通过卷积网络模型对低分辨率图像进行特征信息的提取。通过在卷积网络模型的最后一层设置残差融合层，使得卷积网络模型对低分辨率图像进行特征信息的提取更加全面，减少梯度下降对图像分辨率重建的影响，从而使卷积网络模型对太赫兹图像重建出更高的分辨率。此外，模型的训练数据包括高分辨率图像经过将分辨率处理后得到的低分辨率图像，使得在对模型效果进行检测时，将低分辨率图像输入到训练好的模型，通过将卷积网络模型输出的低分辨率重建图像与将分辨率前的高分辨率图像进行对比，可以直观的从视觉上看到二者分辨率的差异，从而得到卷积网络模型的训练效果。
15.根据本发明的一些实施例，对所述数据集进行降分辨率处理，包括：将所述数据集的图像缩小3倍，得到中间图像；将所述中间图像通过插值法放大三倍，使得所述数据集的图像的分辨率降低。
16.根据本发明的一些实施例，所述卷积网络模型的第2层至倒数第二层中的每一层分别包括64个大小为3x3x64的内核。
17.根据本发明的一些实施例，所述卷积网络模型共有20层，其中，前19层为特征提取层，前19层遵循relu激活函数。
18.根据本发明的一些实施例，所述残差融合层的输入包括第19层的输出图像和第19层的学习剩余数据。
19.根据本发明的一些实施例，所述初始太赫兹图像的分辨率为673k。
20.第三方面，本发明实施例提供了一种太赫兹图像重建系统，包括：图像获取模块，用于获取太赫兹时域光谱仪快速扫描成像获得的低分辨率的图像；图像处理模块，用于将所述低分辨率图像输入到由权利要求1所述的卷积网络模型中，得到重建图像。
21.根据本发明的一些实施例，图像处理模块包括：图像缩小模块，用于将所述数据集的图像缩小3倍，得到中间图像；图像放大模块，用于将所述中间图像通过插值法放大三倍，
使得所述数据集的图像的分辨率降低。
22.根据本发明的一些实施例，所述图像处理模块中的所述卷积网络模型的第2层至倒数第二层中的每一层分别包括64个大小为3x3x64的内核。
23.根据本发明的一些实施例，所述图像处理模块中的所述卷积网络模型共有20层，其中，前19层为特征提取层，前19层遵循relu激活函数。
24.根据本发明的一些实施例，所述图像处理模块中的所述残差融合层的输入包括第19层的输出图像和第19层的学习剩余数据。
25.根据本发明的一些实施例，所述图像处理模块中的所述初始太赫兹图像的分辨率为673k。
26.第四方面，本发明实施例提供了一种太赫兹图像重建装置，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例第二方面所述的太赫兹图像重建方法。
27.第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本发明实施例第二方面所述的太赫兹图像重建方法。
28.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
29.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的示例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
30.图1是本发明实施例提供的太赫兹图像重建的模型训练方法的流程图；
31.图2是本发明实施例提供的太赫兹图像重建方法的流程图；
32.图3是本发明实施例提供的太赫兹图像重建系统的架构示意图；
33.图4是本发明实施例提供的太赫兹图像重建装置的结构示意图。
具体实施方式
34.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
35.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
36.有源太赫兹成像技术通过太赫兹光谱仪扫描待成像的物品，得到太赫兹图像，从而实现对扫描物品性能的分析，而直接通过太赫兹扫描仪成像得到的太赫兹图像的分辨率较低，在无损检测等应用场景下无法达到检测的精度要求，本发明实施例提出一种提高太
赫兹图像分辨率的太赫兹图像重建的模型训练方法，训练好的模型用来实现对太赫兹光谱仪得到的太赫兹原始图像的分辨率增强，使得模型输出的图像具有高分辨率，从而更好的完成对待成像物品性能的分析，下面参照附图，以玻璃纤维增强塑料的太赫兹图像为例，对本实施例进行详细说明。可以理解的是，本实施例的方法也可以应用在与玻璃纤维增强塑料相近或相同的其他物品的识别。
37.实施例一
38.如图1所示，图1是本发明一个实施例提供的太赫兹图像重建的模型训练方法的流程图，太赫兹图像重建的模型训练方法包括但不限于步骤s100至s300。
39.步骤s100：获取数据集。
40.其中，数据集包括第一数据集和第二数据集，第一数据集包括太赫兹光谱仪采集到的初始太赫兹图像，第二数据集中包括与第一数据集不同类别的高分辨率图像。
41.可以理解的是，数据集中的数据为训练模型过程中使用的数据，数据集中包括两种数据集，其中，第一数据集中包括通过太赫兹光谱仪采集的玻璃纤维增强塑料的初始太赫兹图像，此时采集的玻璃纤维增强塑料与需要识别的玻璃纤维增强塑料相同，模型在训练过程中提取到第一数据集的玻璃纤维增强塑料的初始太赫兹图像的特征，从而使训练好的模型在重建玻璃纤维增强塑料图像时可以根据玻璃纤维增强塑料的特有的特征进行分辨率的增强。
42.可以理解的是，第二数据集为与第一数据集不同类别的高分辨率图像，其中，在对玻璃纤维增强塑料图像重建中，不同类别的图像指不是玻璃纤维增强塑料图像的高清图像。在一些实施例中，不同类别的图像是与玻璃纤维增强塑料图像具有类似特征的图像，例如，塑料、玻璃纤维等。在另一些实施例中，不同类别的图像是与玻璃纤维增强塑料图像不具有类似特征的图像，例如，书本、鲜花等。
43.需要说明的是，第二数据集中的高分辨率图像可以通过开放数据库获取。
44.步骤s200：对数据集进行降分辨率处理，得到低分辨率图像。
45.可以理解的是，对数据集进行降分辨率处理后，数据集中原来的高分辨率图像的分辨率下降，成为低分辨率图像，通过模型对数据集中现有的低分辨率图像进行学习和训练，使得通过模型输出对低分辨率图像进行分辨率重建的重建图像，通过将重建图像与高分辨率图像进行对比，可以直观的看到模型的太赫兹图像超分辨率重建效果，有利于对模型的效果进行评价，同时，有利于本领域技术人员在操作的过程中通过直观的观察而对模型的构建参数进行调整。
46.步骤s300：通过卷积网络模型低分辨率图像的特征。
47.其中，卷积网络模型的最后一层为残差融合层。
48.可以理解的是，模型为卷积网络模型，通过卷积网络模型对数据集进行降分辨率处理后得到的低分辨率图像通过特征映射，提取到初始太赫兹图像的高阶特征和低分辨率图像的高阶特征，然后，通过在卷积网络模型的最后一层设置残差融合层，进一步加强对初始太赫兹图像和低分辨率图像的特征的提取，减少梯度下降对图像分辨率重建的影响，从而使卷积网络模型对太赫兹图像重建出更高的分辨率。
49.本发明实施例1提供的太赫兹图像重建的模型训练方法，至少具有如下有益效果：太赫兹光谱仪采集到的初始太赫兹图像和将与初始太赫兹图像不同类别的高分辨率图像
经过将分辨率处理后得到的低分辨率图像共同输入到卷积网络模型中，通过卷积网络模型对低分辨率图像进行特征信息的提取。通过在卷积网络模型的最后一层设置残差融合层，使得卷积网络模型对低分辨率图像进行特征信息的提取更加全面，减少梯度下降对图像分辨率重建的影响，从而使卷积网络模型对太赫兹图像重建出更高的分辨率。此外，模型的训练数据包括高分辨率图像经过将分辨率处理后得到的低分辨率图像，使得在对模型效果进行检测时，将低分辨率图像输入到训练好的模型，通过将卷积网络模型输出的低分辨率重建图像与将分辨率前的高分辨率图像进行对比，可以直观的从视觉上看到二者分辨率的差异，从而得到卷积网络模型的训练效果。
50.需要说明的是，对数据集进行降分辨率处理，包括：将数据集的图像缩小3倍，得到中间图像；将中间图像通过插值法放大3倍，使得数据集的图像的分辨率降低。
51.可以理解的是，在将数据集作为对照神经网络模型的训练效果的时，将图像缩小3倍具有更加明显的表示效果。
52.在一些实施例中，对数据集进行降分辨率处理包括：将数据集的图像缩小n倍，得到中间图像；将中间图像通过插值法放大n倍，使得数据集的图像的分辨率降低,其中，n为2、4、5等。比如，对第二数据集进行降分辨率处理包括：将数据集的图像缩小4倍，得到中间图像；将中间图像通过插值法放大4倍，使得数据集的图像的分辨率降低。
53.需要说明的是，卷积网络模型的第2层至倒数第二层中的每一层分别包括64个大小为3x3x64的内核。
54.在一实施例中，卷积网络模型共有15层，其中，前14层为特征提取层，前14层遵循线性修正单元(rectified linear unit，relu)激活函数。在另一实施例中，卷积网络模型共有10层，其中，前9层为特征提取层，前9层遵循relu激活函数。
55.需要说明的是，卷积网络模型共有20层，其中，前19层为特征提取层，前19层遵循relu激活函数。
56.在一些实施例中，需要说明的是，残差融合层的输入包括第19层的输出图像和第19层的学习剩余数据。
57.可以理解的是，在本实施例中第1层到第19层提取输入图像的特征，在提取图像特征时会存在学习剩余数据，而19层也存在学习声音数据，第20层将第19层的输出数据和19层的学习剩余数据共同学习，从而使得卷积网络模型对初始太赫兹图像和低分辨率图像进行特征信息的提取更加全面，减少梯度下降对图像分辨率重建的影响，从而使卷积网络模型对太赫兹图像重建出更高的分辨率。
58.可以理解的是，初始太赫兹图像的分辨率由太赫兹光谱仪采样得到的数据再经过将分辨率处理得到。在一实施例中，初始太赫兹图像的分辨率为673千像素每英寸。
59.实施例二
60.如图2所示，图2是本发明一个实施例提供的太赫兹图像重建方法的流程图，太赫兹图像重建方法包括但不限于步骤s400至s500。
61.步骤s400：获取太赫兹时域光谱仪快速扫描成像获得的低分辨率的图像。
62.步骤s500：将低分辨率图像输入到上一实施例的太赫兹图像重建的模型训练方法训练的模型中，得到重建图像。
63.基于实施例一的太赫兹图像重建的模型训练方法得到的卷积网络模型，太赫兹时
域光谱仪快速扫描成像获得的低分辨率的图像与训练模型时用的第一数据集均为玻璃纤维增强塑料的图像，低分辨率的玻璃纤维增强塑料图像经过卷积网络模型后和到特征突出的高分辨率重建图像。
64.需要说明的是，对数据集进行降分辨率处理，包括：将数据集的图像缩小3倍，得到中间图像；将中间图像通过插值法放大三倍，使得数据集的图像的分辨率降低。
65.在一些实施例中，对数据集进行降分辨率处理包括：将数据集的图像缩小n倍，得到中间图像；将中间图像通过插值法放大n倍，使得数据集的图像的分辨率降低,其中，n为2、4、5等。
66.需要说明的是，卷积网络模型的第2层至倒数第二层中的每一层分别包括64个大小为3x3x64的内核。
67.需要说明的是，卷积网络模型共有20层，其中，前19层为特征提取层，前19层遵循relu激活函数。
68.需要说明的是，残差融合层的输入包括第19层的输出图像和第19层的学习剩余数据。
69.可以理解的是，初始太赫兹图像的分辨率由太赫兹光谱仪采样得到的数据再经过将分辨率处理得到。在一实施例中，初始太赫兹图像的分辨率为673千像素每英寸。
70.如表1所示，表1为分别对数据集进行2倍、3倍和4倍降分辨率处理后，太赫兹图像重建方法得到的图像与三插值方法处理后的图像和现有的超分辨率卷积网络处理后的图像对比的结果，可以看出，对数据集进行不同倍数的处理后，采用本实施例提出的方法得到的图像均具有更高的峰值信噪比和ssim。因此，在太赫兹图像重建实验中，可以得出，本专利的基于极深卷积神经网络的超分辨率重建技术可以提高太赫兹图像分辨率、轮廓对比度和毫米级较小缺陷的清晰度。此外，引入残差网络结构，可以有效解决学习过程中的梯度消失问题，使重构结果更好。
71.表1
[0072][0073]
实施例三
[0074]
如图3所示，图3是本发明实施例提供的太赫兹图像重建系统的架构示意图，太赫兹图像重建系统包括：图像获取模块，用于获取太赫兹时域光谱仪快速扫描成像获得的低分辨率的图像；图像处理模块，用于将低分辨率图像输入到由权利要求1的卷积网络模型
中，得到重建图像。
[0075]
需要说明的是，图像处理模块包括：图像缩小模块，用于将数据集的图像缩小3倍，得到中间图像；图像放大模块，用于将中间图像通过插值法放大三倍，使得数据集的图像的分辨率降低。
[0076]
需要说明的是，图像处理模块中的卷积网络模型的第2层至倒数第二层中的每一层分别包括64个大小为3x3x64的内核。
[0077]
需要说明的是，图像处理模块中的卷积网络模型共有20层，其中，前19层为特征提取层，前19层遵循relu激活函数。
[0078]
需要说明的是，图像处理模块中的残差融合层的输入包括第19层的输出图像和第19层的学习剩余数据。
[0079]
可以理解的是，初始太赫兹图像的分辨率由太赫兹光谱仪采样得到的数据再经过将分辨率处理得到。在一实施例中，初始太赫兹图像的分辨率为673千像素每英寸。
[0080]
实施例四
[0081]
本发明实施例提供了一种太赫兹图像重建装置，包括至少一个处理器和用于与至少一个处理器通信连接的存储器；存储器存储有能够被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明实施例二的太赫兹图像重建方法。
[0082]
如图4所示，图4是本发明实施例提供的太赫兹图像重建装置的结构示意图。以太赫兹图像重建装置300中的控制处理器310和存储器320可以通过总线连接为例，存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器320可选包括相对于控制处理器310远程设置的存储器，这些远程存储器可以通过网络连接至太赫兹图像重建装置300。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0083]
本领域技术人员可以理解，图4中示出的装置结构并不构成对太赫兹图像重建装置300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0084]
本发明实施例的还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图4中的一个控制处理器310执行，可使得上述一个或多个控制处理器执行上述方法实施例中的太赫兹图像重建方法，例如，执行以上描述的图2中的方法步骤s400至步骤s500等。
[0085]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0086]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机
可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0087]
以上是对本技术的较佳实施进行了具体说明，但本技术并不局限于上述实施方式，熟悉本领域的技术人员在不违背本技术精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。