一种多任务图像重建方法、装置、设备和介质与流程
本发明实施例涉及神经网络技术，尤其涉及一种多任务图像重建方法、装置、设备和介质。
背景技术：
图像处理包括多个方面，典型的如图像去噪、超分辨率处理、和压缩去块处理等。图像去噪，是计算机视觉和图像处理的一个经典且根本的问题，是解决很多相关问题的预处理必备过程。超分辨率是图像处理领域中重要的研究之一，它指利用一副或者多幅低分辨率图像，通过相应的算法来获得一幅清晰的高分辨率图像。高分辨率意味着图像具有高像素密度，可以提供更多的细节。随着对图像处理领域研究的深入，对图像处理提出了越来越高的要求。
现有技术中，典型的多任务图像重建方案是在图像处理的过程中同时实施多种图像处理手段，例如可同时对输入图像进行去噪处理、去块处理、以及超分辨率处理。通常可采用神经网络模型来实现图像的多任务处理。典型的可参考dncnn(denoiseconvolutionalneuralnetwork，去噪卷积神经网络)模型，dncnn网络由三个大部分组成:第一部分:conv(卷积层)+relu(激活函数)，第二部分：bn(batchnormalization，归一化)+relu(激活函数)，第三部分:conv(卷积层)+relu(激活函数)。
多任务图像重建方式，例如可以是确定多个低分辨率图像，在低分辨率图像中人为加入像素块(block)、噪声(noise)，低分辨率图像通过与目标高质量标签图像进行端到端的映射，对多任务图像重建模型进行训练。
多任务图像重建模型通常是通过同一个网络模型来学习残差信号的，但是由于多任务处理残差信号的方式不同，所以训练出来的模型处理图像的效果有待提高。
技术实现要素：
本发明实施例提供一种多任务图像重建方法、装置、设备和介质，以对多任务图像重建模型进行优化，能适应不同任务处理残差信号的需求，改良模型的图像处理能力。
第一方面，本发明实施例提供了一种多任务图像重建方法，包括：
获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括并行的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
第二方面，本发明实施例还提供了一种多任务图像重建装置，包括：
图像样本训练集构造模块，用于获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
模型训练模块，用于将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括并行的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
第三方面，本发明实施例还提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面实施例所述的一种多任务图像重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一发明实施例任一所述的一种多任务图像重建方法。
本发明实施例通过构造多任务图像重建模型，在模型中设立残差学习网络分支，同时对分支输出的结果全部纳入到网络的损失函数进行约束，改善了现有技术通过同一残差信号对不同的退化模型进行表达的缺陷，通过网络结构适应退化模型的方式，提升复合场景图像重建的效果，并进一步通过低层参数共享的方式减小网络大小，提升网络性能。
附图说明
图1a为本发明实施例一提供的一种多任务图像重建方法的流程图；
图1b为本发明实施例一提供的部分训练样本示意图；
图2a为本发明实施例二提供的一种重建模型的结构示意图；
图2b为本发明实施例二提供的一种残差块残差学习结构的结构示意图；
图2c为本发明实施例二提供的残差学习块(resnetblock)的结构示意图；
图2d为本发明实施例二提供的一种卷积层残差学习结构的结构示意图；
图2e为本发明实施例二提供的重建模型的源图像数据与三种输出数据的效果图；
图3a为本发明实施例三提供的一种获取图像训练样本集方法的流程图；
图3b为本发明实施例三中使用imwrite函数分别对图片进行压缩比取值为70％，80％，90％和100％时的效果图；
图4为本发明实施例四提供的一种多任务图像重建装置的结构图；
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种多任务图像重建方法的流程图。该方法可适用于对多任务图像重建模型进行训练，其中的多任务可以是各种图像处理任务，如图像优化、和图像识别等，可选的是图像去噪、图像去块以及图像超分辨率技术的任意组合。该方法主要通过软件和/或硬件方式实现的多任务图像重建装置来执行，该装置可集成在能够进行模型训练的电子设备中，例如服务器。
其中，图像识别技术是以图像的主要特征为基础的。每个图像都有它的特征，如字母a有个尖，p有个圈，y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息,抽出关键的信息。图像去噪是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，受到干扰形成的图像称为含噪图像或噪声图像。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。超分辨率(super-resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
结合图1a,本实施例具体包括如下步骤：
s110、获取图像训练样本集。
其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同。其中：
图像训练样本指一组图像，包括源图像和与源图像对应的目标图像。图1b为本发明实施例一提供的部分训练样本示意图。参考图1b，一个图像训练样本10包括源图像101和源图像对应的目标图像102，多个源图像11与其对应的多个目标图像12组合构成图像训练样本集。训练元素是指从源图像到目标图像中需要学习的元素，如源图像101到其对应的目标图像102，需要经过去噪处理、去块处理和超分辨率处理，其中去噪处理和去块处理需要学习的数据就是训练元素。至少两种训练元素是指在构造图像训练样本集的时候，源图像要具有噪声、像素块和低分辨率三个特性中至少两个特性。残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。残差蕴含了有关模型基本假设的重要信息。如果回归模型正确的话，我们可以将残差看作误差的观测值。它应符合模型的假设条件，且具有误差的一些性质。利用残差所提供的信息，来考察模型假设的合理性及数据的可靠性称为残差分析。残差数据是对源图像进行计算处理后得到的特征值。可选的，至少两种训练元素的残差数据与源图像数据的叠加方式包括两种，一种叠加方式为线性相减，另一种叠加方式为线性相加，两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。残差数据与源图像数据的叠加方式可以包括线性相加和线性相减：线性相加针对于像素块和需要超分辨率的情况，在这两种情况下，网络学习到的残差数据恰好是低分辨率图像缺失的图像细节，需要加到源图像中；线性相减针对于存在噪声的情况，网络学习到的残差数据可以直接作为噪声信号从源图像中减去。可见：采用线性相减叠加方式的训练元素包括去除噪声，采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
具体的，获取图像的训练样本集，该样本集中包含大量训练样本，每个训练样本包含源图像和对应的目标图像，每个源图像包括噪声、像素块和低分辨率三个特性中至少两个特性。经过处理获得源图像的残差数据，通过残差数据与源图像的线性相加或线性相减获得目标图像。
s120、将所述图像训练样本集输入多任务图像重建模型，以进行模型训练。
其中，所述重建模型至少包括并行的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。其中：
残差学习网络是指可以获得残差数据的学习网络。并行的至少两个残差学习网络分支表示两个以上的残差学习网络分支独立对各自输入的数据进行处理，独立获得残差数据，一个残差学习网络获得一个残差数据，多个残差学习网络获得多个残差数据。每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同是指残差学习网络分支自行分辨采用线性相加还是线性相减的叠加方式。损失函数是衡量重建模型效果的函数，损失函数越小表示重建模型的效果越好。损失函数包括分别与各残差学习网络输出结果对应的子函数表示损失函数不仅考虑了目标图像的误差，还考虑了求和残差学习图像数据与求差残差学习图像数据的误差，是一种多节点约束的方式。
具体的，将所述图像训练样本集输入多任务图像重建模型，图像训练样本中得源图像经过两个并行的残差学习网络会获得两个残差数据，两个残差学习网络会根据目标图像，对残差数据进行线性相加或者线性相减进行选择。同时设置最小化损失函数的机制来规范重建模型，损失函数包括：目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差，通过三种误差约束损失函数，实现了对损失函数的多节点约束。
本发明实施例通过构造多任务图像重建模型，在模型中设立不同的残差学习网络分支，对源图像诸如需要去噪、压缩去块或者需要超分辨率的不同训练元素进行分别学习，采用不同的残差处理方式；同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
实施例二
图2a为本发明实施例二提供的一种重建模型的结构示意图。本实施例是在实施例一的基础上进行的细化，主要描述了重建模型的构造以及如何使用损失函数修正重建模型。具体的：
所述重建模型包括：
第一卷积层，用于对源图像数据进行卷积处理并输出第一卷积数据；
共享网络，所述共享网络的输入端与所述第一卷积层的输出端相连，以输出第一共享卷积数据和第二共享卷积数据；
求和残差学习网络分支，包括相连的残差学习网络与求和计算元件，所述残差学习网络的输入端与共享网络的一个输出端相连，用于对第一共享卷积数据进行残差学习处理，输出第一残差数据；所述求和计算元件还与第一卷积层相连，用于将第一卷积数据和第一残差数据进行求和处理，以输出求和处理数据；
求差残差学习网络分支，包括相连的残差学习网络与求差计算元件，所述残差学习网络的输入端与共享网络的另一个输出端相连，用于对第二共享卷积数据进行残差学习处理，输出第二残差数据；所述求差计算元件还与第一卷积层相连，用于将第一卷积数据和第二残差数据进行求差处理，以输出求差处理数据；
连接网络，所述连接网络的两个输入端分别与求和残差学习网络分支以及求差残差学习网络分支的输出端相连，用于拼接所述求和处理数据与求差处理数据，输出和差数据；
三个第二卷积层，分别与求和计算元件、求差计算元件以及连接网络的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据、求差残差学习图像数据以及拼接学习图像数据。
所述残差学习网络包括：
串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。
所述重建模型的损失函数如下：
其中，m,n分别表示图像像素的行数和列数；yhr表示目标图像；
以下通过举例进行说明，参考图2a，本实施例的重建模型包括：
第一卷积层(conv)21，第一卷积层21用于对源图像数据x,进行卷积处理并输出第一卷积数据x1。
其中，第一卷积层可以为3×3卷积。
具体的，源图像数据x通过第一卷积层21进行3×3的卷积计算，计算后输出第一卷积数据x1作为计算结果，第一卷积数据x1会在复制后形成三个第一卷积数据x1，为后续计算做准备。
共享网络(sharenet)22，所述共享网络22的输入端与所述第一卷积层21的输出端相连，以输出第一共享卷积数据和第二共享卷积数据；
其中，共享网络22对其接收到的第一卷积数据x1进行卷积计算，这次卷积计算主要是为了实现低维度的特征共享(浅层特征共享)。第一共享卷积数据与第二共享卷积数据的数据内容是一致的，由于后续输入网络不同，故分别命名。
具体的，共享网络接收第一卷积层21输出的第一卷积数据x1，并对它进行卷积计算，卷积计算的结果复制后形成数据一样的第一共享卷积数据和第二共享卷积数据，并分别将第一共享卷积数据和第二共享卷积数据输入到不同的残差学习网络分支。
求和残差学习网络分支23，包括相连的残差学习网络(net1)231与求和计算元件232，所述残差学习网络的输入端与共享网络22的一个输出端相连，用于对第一共享卷积数据进行残差学习处理，输出第一残差数据
其中，所述残差学习网络包括：串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。其中：
图2b为本发明实施例二提供的一种残差块残差学习结构的结构示意图，图2c为本发明实施例二提供的残差学习块(resnetblock)的结构示意图。参考图2b。输入数据与经过多个(1-m个)残差学习块(resnetblock)计算的数据进行线性相加处理，获得输出数据。图2b中的残差学习块(resnetblock)如图2c所示,依次包括卷积层(conv)、激活函数(relu)和卷积层(conv)。图2d为本发明实施例二提供的一种卷积层残差学习结构的结构示意图，参考图2d，输入数据与经过多个(1-m个)卷积层(conv)计算的数据进行线性相加处理，获得输出数据。残差学习网络231可任意选择残差块残差学习结构或者卷积层残差学习结构。
具体的，经过共享网络22卷积计算后输出的第一共享卷积数据被求和残差学习网络分支23中的残差学习网络231接收，进行残差学习处理，输出第一残差数据
求差残差学习网络分支24，包括相连的残差学习网络(net2)241与求差计算元件242，所述残差学习网络的输入端与共享网络22的另一个输出端相连，用于对第二共享卷积数据进行残差学习处理，输出第二残差数据
其中，残差学习网络241可任意选择残差块残差学习结构或者卷积层残差学习结构，输出的第二残差数据
具体的，经过共享网络22卷积计算后输出的第一共享卷积数据被求差残差学习网络分支24的残差学习网络241接收，进行残差学习处理，输出第二残差数据
连接网络(concat)25，所述连接网络25的两个输入端分别与求和残差学习网络分支23以及求差残差学习网络分支24的输出端相连，用于拼接所述求和处理数据
其中，连接网络用于实现特征图像的串联操作，对于求和处理数据
具体的，连接网络25的两个输入端分别用于接收求和处理数据
三个第二卷积层(conv)26，分别与求和计算元件232、求差计算元件242以及连接网络25的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据
其中，卷积层261与求和计算元件232相连，接收求和处理数据
图2e为本发明实施例二提供的重建模型的源图像数据与三种输出数据的效果图。参考图2e，对本实施例做具体说明：
源图像数据x271输入到重建模型272，源图像数据x通过第一卷积层进行3×3的卷积计算，计算后输出第一卷积数据x1作为计算结果。该结果被复制形成三份一样的第一卷积数据x1。一份第一卷积数据x1进入共享网络进行卷积计算，卷积计算的结果复制后形成数据一样的第一共享卷积数据和第二共享卷积数据。第一共享卷积数据经过求和残差学习网络分支与第一卷积数据x1进行线性相加处理，线性相加处理的结果经过第二卷积层，输出消除像素块超分辨率图像的求和残差学习图像数据
所述重建模型的损失函数如下：
其中，m,n分别表示图像像素的行数和列数；yhr表示目标图像；
具体的：
通过图像训练样本集结合bp(backpropagation，反向传播)算法，更新所述模型中的参数，进而最小化所述损失函数。其中，bp是一种与最优化方法(如梯度下降法)结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
本发明实施例通过构造多任务图像重建模型，在模型中设立残差学习网络分支，对源图像需要去噪、压缩去块或者需要超分辨率进行分别学习；同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
实施例三
图3a为本发明实施例三提供的一种获取图像训练样本集方法的流程图。本实施例是在上述实施例的基础上进行的细化，主要描述了如何为重建模型制造样本集，使得对重建模型进行有针对性的训练。具体的，获取图像训练样本集包括：
获得高分辨率图像数据集；
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，以获得第一低分辨率图像数据集；
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理，以获得第二压缩图像数据集；
从第二压缩图像数据集中挑选部分图像进行添加噪声处理，以形成第三噪声图像数据集；
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪，得到一一对应的基于图像块的图像训练样本集，其中，第三噪声图像数据的图像块作为源图像，高分辨率图像数据的图像块作为目标图像。
参考图3a，本实施例获取图像训练样本集方法包括：
s310、获得高分辨率图像数据集。
其中，图像分辨率则是单位英寸中所包含的像素点数。高分辨率是指是指垂直分辨率大于等于720的图像或视频，也称为高清图像或高清视频，尺寸一般是1280×720和1920×1080。本实施例中对“高分辨”的具体尺寸不做限制，只要符合预设标准即可。由于高分辨率图像用于作为重建模型的训练目标，所以也叫“目标图像”。高分辨率图像数据集是指将符合预设标准的分辨率图像的集合。
具体的，获取符合预设标准的图像，将这些图像构成图像数据集。
s320、将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，以获得第一低分辨率图像数据集。
其中，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。通常采样指的是下采样，也就是对信号的抽取。其实，上采样和下采样都是对数字信号进行重采，重采的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较，大于原信号的称为上采样，小于的则称为下采样。上采样就是采集模拟信号的样本。采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。所以采样又称为波形的离散化过程。普通的奈奎斯特采样定理的前提是频率受限于(0，f)的带限信号。上采样的实质也就是内插或插值。上采样是下采样的逆过程，也称增取样(upsampling)或内插(interpolating)。增取样在频分多路复用中的应用是一个很好的例子。如果这些序列原先是以奈奎斯特频率对连续时间信号取样得到的，那么在进行频分多路利用之前必须对它们进行上采样。
具体的，将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，这样的处理方式保证了图像分辨率的一致。将经过下采样又经过上采样的高分辨率图像数据集中图片，命名为第一低分辨率图像数据集。
s330、对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理，以获得第二压缩图像数据集。
其中，图像压缩可以是有损数据压缩也可以是无损数据压缩。对于如绘制的技术图、图表或者漫画优先使用无损压缩，这是因为有损压缩方法，尤其是在低的位速条件下将会带来压缩失真。可以使用matlab软件中的imwrite函数对图像进行压缩处理。imwrite(image,filesavepath,'quality',m)，其中，m取值7,8,9,10分别表示压缩比为70％，80％，90％，100％。图3b为本发明实施例三中使用imwrite函数分别对图片进行压缩比取值为70％，80％，90％和100％时的效果图。参考图3b，原图像300经过imwrite函数100％压缩后的效果图为301；经过imwrite函数90％压缩后的效果图为302；经过imwrite函数80％压缩后的效果图为303；经过imwrite函数70％压缩后的效果图为304。
具体的，为了保证重建模型学习元素的多样性，在第一低分辨率图像数据集中随机挑80％的图像构成第一低分辨率图像数据集的数据子集，将这个子集平均分成五份，将其中的四份分别通过imwrite函数执行70％、80％、90％、100％压缩。将压缩过后的数据子集与未被挑选的20％图像混合，构成以获得第二压缩图像数据。
s340、从第二压缩图像数据集中挑选部分图像进行添加噪声处理，以形成第三噪声图像数据集。
其中，图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。噪声的存在严重影响了遥感图像的质量，因此在图像增强处理和分类处理之前，必须予以纠正。图像中各种妨碍人们对其信息接受的因素即可称为图像噪声。噪声在理论上可以定义为“不可预测，只能用概率统计方法来认识的随机误差”。因此将图像噪声看成是多维随机过程是合适的，因而描述噪声的方法完全可以借用随机过程的描述，即用其概率分布函数和概率密度分布函数。高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声。常见的高斯噪声包括起伏噪声、宇宙噪声、热噪声和散粒噪声等等。除常用抑制噪声的方法外，对高斯噪声的抑制方法常常采用数理统计方法。
具体的，为了保证重建模型学习元素的多样性，从第二压缩图像数据集中随机抽取80％的图像添加方差取值1-50的高斯噪声，将20％未添加噪声的图像与添加噪声的图像混合，构成第三噪声图像数据集。
s350、将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪，得到一一对应的基于图像块的图像训练样本集。
其中，在实际工作中，经常需要根据研究工作范围对图像进行分幅裁剪(subsetimage)，按照erdas实际图像分幅裁剪的过程，可以将图像分幅裁剪分为两种类型：规则分幅裁剪(rectanglesubset)，不规则分幅裁剪(pdygonsubset)。第三噪声图像数据的图像块作为源图像，高分辨率图像数据的图像块作为目标图像。
具体的，经过采样、压缩和添加噪声构成的第三噪声图像数据集中的图像个数和高分辨率图像数据集一一对应(像素层面)，分别对这些一一对应的图像进行裁剪处理，裁剪后的图像块依旧一一对应。即源图像的图像块有与其一一对应的目标图形的图像块。所有的源图像均要进行与高分辨率图像一样的图像块裁剪，即裁剪后的第三噪声图像数据集包含：部分只有低分辨率退化的元素；部分有低分辨率退化和压缩退化的元素；部分包含低分辨率退化、压缩退化和噪声退化的元素。
本发明实施例通过构造多任务图像重建模型的图像训练样本集，在构造训练集的过程中，先后对图像进行下采样、上采样、压缩、加噪和裁剪处理，使得每个图像训练样本的源图像包括至少两种训练元素，提高重建模型训练样本的多样性。同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
实施例四
图4为本发明实施例四提供的一种多任务图像重建装置的结构图。该装置包括：图像样本训练集构造模块41和模型训练模块42。其中：
图像样本训练集构造模块41，用于获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
模型训练模块42，用于将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括并行的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
本发明通过构造多任务图像重建模型，在模型中设立残差学习网络分支，对源图像需要去噪、压缩去块或者需要超分辨率进行分别学习；同时设置损失函数对目标图像的误差、求和残差学习图像数据的误差和求差残差学习图像数据的误差进行多节点约束，使得最后输出的目标图像具有更好的呈现效果。
在上述实施例的基础上，模型训练模块42还包括：
叠加单元，所述叠加单元包括两种方式，一种叠加方式为线性相减，另一种叠加方式为线性相加，两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。
在上述实施例的基础上，叠加单元采用线性相减叠加方式的训练元素包括去除噪声，采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。
在上述实施例的基础上，模型训练模块42还包括重建模型单元，所述重建模型单元包括：
第一卷积层，用于对源图像数据进行卷积处理并输出第一卷积数据；
共享网络，所述共享网络的输入端与所述第一卷积层的输出端相连，以输出第一共享卷积数据和第二共享卷积数据；
求和残差学习网络分支，包括相连的残差学习网络与求和计算元件，所述残差学习网络的输入端与共享网络的一个输出端相连，用于对第一共享卷积数据进行残差学习处理，输出第一残差数据；所述求和计算元件还与第一卷积层相连，用于将第一卷积数据和第一残差数据进行求和处理，以输出求和处理数据；
求差残差学习网络分支，包括相连的残差学习网络与求差计算元件，所述残差学习网络的输入端与共享网络的另一个输出端相连，用于对第二共享卷积数据进行残差学习处理，输出第二残差数据；所述求差计算元件还与第一卷积层相连，用于将第一卷积数据和第二残差数据进行求差处理，以输出求差处理数据；
连接网络，所述连接网络的两个输入端分别与求和残差学习网络分支以及求差残差学习网络分支的输出端相连，用于拼接所述求和处理数据与求差处理数据，输出和差数据；
三个第二卷积层，分别与求和计算元件、求差计算元件以及连接网络的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据、求差残差学习图像数据以及拼接学习图像数据。
在上述实施例的基础上，还包括损失函数模块，所述损失函数模块构造如下：
其中，m,n分别表示图像像素的行数和列数；yhr表示目标图像；
在上述实施例的基础上，重建模型单元还包括样本集获取子单元，所述子单元包括：
获得高分辨率图像数据集；
将高分辨率图像数据集中的图像进行下采样处理后再进行上采样处理，以获得第一低分辨率图像数据集；
对低分辨率图像数据集中的部分图像进行至少两种压缩比例的压缩处理，以获得第二压缩图像数据集；
从第二压缩图像数据集中挑选部分图像进行添加噪声处理，以形成第三噪声图像数据集；
将第三噪声图像数据集与高分辨率图像数据集中图像分别按照预设的图像块大小进行裁剪，得到一一对应的基于图像块的图像训练样本集，其中，第三噪声图像数据的图像块作为源图像，高分辨率图像数据的图像块作为目标图像。
在上述实施例的基础上，重建模型单元还包括残差学习网络子单元，所述子单元包括：
串联的多个残差学习层或串联的多个卷积层，其中，所述残差学习层包括串联的卷积层、激活函数层和卷积层。
本实施例提供的一种多任务图像重建装置可用于执行上述任一实施例提供的一种多任务图像重建方法，具有相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。如图5所示，该设备包括处理器50、存储器51、通信模块52、输入装置53和输出装置54；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储器51、通信模块52、输入装置53和输出装置54可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种多任务图像重建方法对应的模块(例如，一种多任务图像重建装置中的图像样本训练集构造模块41和模型训练模块42)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种多任务图像重建方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块52，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置53可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种设备，可执行本发明任一实施例提供的一种多任务图像重建方法，具体相应的功能和有益效果。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多任务图像重建方法，该方法包括：
获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；
将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括并行的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的一种多任务图像重建方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种多任务图像重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
- 还没有人留言评论。精彩留言会获得点赞！