图像处理方法、图像处理装置和存储介质与流程

本发明涉及使用深度学习的图像处理方法。

背景技术：

美国专利no.9373160公开了用于基于通过穿过玻璃拍摄被照体图像获得的输入图像使用卷积神经网络估计没有污渍或水滴的图像的图像的方法。在美国专利no.9373160中公开的方法使用卷积神经网络以检测污渍和水滴的图像并去除检测区域的瑕疵。x.mao，c.shen，y.yang，“imagerestorationusingconvolutionalauto-encoderswithsymmetricskipconnections”，https://arxiv.org/abs/1606.08921(“mao等”)公开了普遍适用于各种回归问题的网络配置。另外，mao等公开了通过使用网络执行对输入图像的上采样、jpeg解块(压缩噪声降低)、去噪、非盲去模糊或去除瑕疵。

但是，美国专利no.9373160和mao等人的方法均不能在输入图像是raw图像时适当地估计图像。

将raw图像输入到多层神经网络并估计期望的输出图像的尝试需要将raw图像用于神经网络学习。通过最小化将训练raw图像输入到网络所获得的输出与正确的(基础事实)raw图像之间的误差(差异)，所述学习优化网络参数。所述学习中的误差在raw图像的状态(其中，光量和信号值具有大致线性关系)下最小化。然而，当用户实际观看已显影的输出图像时，由于执行伽马(gamma)校正，因此误差根据信号值的大小而变化。更具体地说，误差在估计图像中的暗部中增大，并且估计精度降低。

技术实现要素：

本发明提供可以获取估计精度较少可能受显影图像信号的大小影响的多层神经网络的图像处理方法、图像处理装置和存储介质。

根据本发明的一个方面的一种图像处理方法包括以下步骤：获取训练图像和正确图像，将训练图像输入到多层神经网络中以产生输出图像，对正确图像和输出图像中的每一个执行伽马校正并且计算伽马校正之后的正确图像与伽马校正之后的输出图像之间的误差，和通过使用所述误差更新神经网络的网络参数。

根据本发明的另一方面的一种图像处理装置包括：被配置为获取训练图像和正确图像的获取单元，被配置为将训练图像输入到多层神经网络中以产生输出图像的产生单元，被配置为对正确图像和输出图像中的每一个执行伽马校正并且计算伽马校正之后的正确图像和伽马校正之后的输出图像之间的误差的计算单元，和被配置为基于所述误差更新神经网络的网络参数的更新单元。

被配置为存储用于使计算机执行以上的图像处理方法的一种非暂时性计算机可读存储介质也构成本发明的另一方面。

从参照附图对示例性实施例的以下描述，本发明的其它特征将变得清晰。

附图说明

图1示出根据各实施例的卷积神经网络。

图2解释伽马校正。

图3是根据第一实施例的图像处理系统的框图。

图4是根据第一实施例的图像处理系统的外部概要。

图5是根据各实施例的学习步骤的流程图。

图6a和图6b解释根据各实施例的图像中的颜色成分。

图7是根据各实施例的估计步骤的流程图。

图8是根据第二实施例的图像处理系统的框图。

图9是根据第二实施例的图像处理系统的外部概要。

具体实施方式

现在将参照附图，详细描述根据本发明的实施例。在各图中，对相同的部件赋予相同的附图标记，并且将省略重复的解释。

首先，将如下定义术语。本发明涉及用于通过深度学习解决回归问题并且用于从输入图像估计各种输出图像的方法。深度学习是利用多层神经网络的机器学习。基于许多训练图像和相应的正确图像(期望的输出或基础事实)的对学习网络参数(诸如权重和偏置)使得能够基于未知输入图像进行精确估计。

使用多层神经网络的图像处理具有两个步骤、或者确定网络参数(权重和偏置)的处理步骤与通过使用确定的参数基于未知输入估计图像的处理步骤。以下，前一步骤将被称为学习步骤，后一步骤将被称为估计步骤。本发明的特征在于学习步骤。

接下来，在学习步骤和估计步骤中确定图像名称。输入到网络的图像被称为输入图像，并且在正确图像对于用于学习步骤的输入图像已知的特定情况下也被称为训练图像。从网络输出的图像被称为输出图像，并且估计步骤中的输出图像特别地被称为估计图像。对网络的输入图像和正确图像是raw图像。raw图像是从图像传感器输出的未显影图像数据，并且，各像素的光量和信号值具有大致线性关系。raw图像在用户观看图像之前被显影，并且，此时执行伽马校正。伽马校正为例如用1/2.2等的幂对输入信号值进行指数化的处理。

输出图像也通过该估计产生为准正确图像，并因此具有raw图像的特性。估计步骤包括各种处理，诸如上采样、去噪、压缩噪声降低、去模糊(模糊校正)、去除瑕疵、去马赛克、去雾化、高灰度处理、颜色成分估计(单色体的着色等)、再次照明(照明环境的变化)。

下面是本发明的简要总结。本发明考虑伽马校正在输入raw图像的多层神经网络的学习步骤中的影响。该配置不管显影后的估计图像的信号值的大小如何都可以保持估计精度近似恒定。特别地，该配置能够抑制可能随着高分辨率(上采样或去模糊)和高对比度(去雾化)发生的下冲(undershoot)和振铃(ringing)。

根据本发明的在学习中考虑伽马校正的一种方法是在计算要被最小化的误差之前对来自网络的输出图像和正确图像进行伽马校正。除了该方法外，另一种可设想的方法包括在输入图像进入网络之前对正确图像和输入图像进行伽马校正的方法或者在网络中执行对应于伽马校正的处理的方法。根据本发明的方法在输出图像(包括估计图像)中保持光量与信号值之间的大致线性关系，而后两种方法在输出图像中建立光量与信号值之间的伽马校正后关系。因此，后两种方法需要在正常显影处理之前对输出图像执行逆伽马校正。存在各种伽马校正，并且高亮度部分的灰度塌陷可能是有问题的。在一些情况下，逆伽马校正的解可能不被唯一确定。图2示出一个例子。

图2解释伽马校正，并且示出用于伽马校正的示例性伽马曲线。在图2中，横轴代表伽马校正前的信号值，纵轴代表伽马校正后的信号值，并且各个信号值被归一化。在图2所示的伽马曲线中，伽马校正后的信号值在高亮度部分中具有相同的值。因此，逆伽马校正不能确定该部分中的信号值。高亮度部分中的灰度塌陷可能妨碍用户在显影时在诸如曝光调整的编辑工作中获得正确图像。一种可设想的方案是，例如，当用户执行曝光调整时，将处于调整曝光状态的raw图像作为输入图像再次输入到网络。但是，无论什么时候用户调整曝光，该方法需要在网络中再次计算，由此，计算负担增大。因此，根据各以下实施例的方法可以抑制高亮度灰度塌陷和计算负担的增大。

第一实施例

现在将描述根据本发明的第一实施例的图像处理系统。根据本实施例的图像处理系统包括执行学习步骤的装置(参数学习装置101)和执行估计步骤的装置(图像编辑装置111)作为单独的组件。虽然根据本实施例的估计步骤是但不限于由像差和/或衍射导致的模糊的校正(一种类型的去模糊)。

现在将参照图3和图4，描述根据本实施例的图像处理系统。图3是图像处理系统100的框图。图4是图像处理系统100的外部概要。如图3和图4所示，图像处理系统100包括参数学习装置101、图像编辑装置111、成像装置121、显示装置123、记录介质122和输出装置124。

参数学习装置101是执行学习步骤的图像处理装置，并且包括存储器(或存储单元)102和学习单元103。学习单元103执行计算估计步骤所需的网络参数(诸如权重和偏置)的学习步骤。然后，学习单元103使用存储在存储器102中的多个训练图像和正确图像。当存在由像差和/或衍射导致的模糊时，训练图像和正确图像相互不同。

根据本实施例的学习单元103包括获取单元103a、产生单元103b、计算单元103c和更新单元103d。获取单元103a获取训练图像和正确图像。在本实施例中，训练图像和正确图像中的每一个是raw图像。产生单元103b将训练图像输入到多层神经网络中以产生输出图像。计算单元103c对正确图像和输出图像中的每一个执行伽马校正，并且计算经伽马校正的正确图像与经伽马校正的输出图像之间的误差。更新单元103d基于由计算单元103c计算的误差更新神经网络的网络参数。将在后面参考流程图描述学习步骤的细节。学习的网络参数存储在存储器102中。

图像编辑装置111执行估计步骤，并且包括存储器112和估计单元113。成像装置121包括光电转换由光学系统(成像光学系统)形成的光学图像并且输出拍摄的图像的图像传感器125，诸如cmos传感器和ccd传感器。图像编辑装置111从通过有线或无线连接的成像装置121或诸如半导体存储器的记录介质122获取拍摄的图像作为raw图像，并且将拍摄的图像存储在存储器112中。估计单元113从拍摄的图像获取输入图像，并且将输入图像输入到多层神经网络中，以产生由像差和/或衍射导致的模糊得到了校正的估计图像。图像编辑装置111和参数学习装置101通过有线或无线相互连接，并且，图像编辑装置111读取存储在存储器102中的网络参数并将其用于估计步骤。图像编辑装置111基于估计图像产生校正由像差和/或衍射导致的模糊得到了校正的拍摄图像，并将经校正的拍摄图像输出到记录介质122、显示装置123和输出装置124中的至少一个。显示装置123为例如液晶显示器或投影仪。用户可以在经由显示装置123确认正在编辑的图像的同时加工图像。输出装置124为打印机等。图像编辑装置111可以用于提供显影处理等。

接下来，现在将参照图5，描述由参数学习装置101中的学习单元103执行的学习步骤。图5是学习步骤的流程图。图5中的各步骤由学习单元103中的各单元(获取单元103a、产生单元103b、计算单元103c和更新单元103d)执行。

首先，在步骤s101中，学习单元103(获取单元103a)从存储器102获取多个训练图像和正确图像。训练图像和正确图像中的每一个是未显影的raw图像。训练图像是通过像差和/或衍射变得模糊的图像。正确图像包含与训练图像相同的被照体，并且没有(或有很少)模糊。可以通过将在模拟中由像差和/或衍射导致的模糊应用于具有很少的像差和/或衍射影响的raw图像(正确图像)，产生训练图像。可以通过用不同的f数拍摄相同的被照体产生训练图像和正确图像。例如，训练图像是以几乎打开的孔径制作并且受到像差影响的图像，而正确图像是以某种程度的窄孔径制作并且具有受到抑制的由像差和/或衍射导致的劣化的图像。在随后的估计步骤中，在学习步骤中未包括的由于像差和/或衍射导致的模糊或者被照体的结构(诸如边缘)不能被精确地估计。由此，学习单元103在步骤s101中获取多个训练图像和正确图像，以覆盖各种类型的被照体的结构和待校正的像差和/或衍射的模糊。

可以通过对于由像差和/或衍射导致的模糊的校正之外的处理在模拟中准备训练图像和正确图像的对，类似地执行学习步骤。对于去噪，可以通过提供具有可设想噪声的低噪声正确图像，产生训练图像。稍后将在第二实施例中描述上采样。对于压缩噪声降低，可以通过没有压缩或压缩比小的正确图像的压缩，产生训练图像。对于像差和/或衍射以外的去模糊(诸如散焦模糊)，可以通过以可设想的模糊卷积较少模糊的正确图像，产生训练图像。散焦模糊取决于距离，因此，可以用不同距离的散焦模糊对多个训练图像和正确图像进行卷积。对于去除瑕疵，可以通过向无缺陷的正确图像提供缺陷来产生训练图像。为了去马赛克，可以通过用bayer阵列等对由三板式图像传感器等拍摄的正确图像再次采样来产生训练图像。对于去雾，可以通过将散射光应用到没有雾或霾的正确图像，产生训练图像。伴随雾和霾，散射光的强度根据浓度和距离而变化，并且，针对不同密度和距离的散射光产生多个训练图像。对于高灰度(增强灰度)，可以通过降低高灰度正确图像的灰度级来产生训练图像。对于颜色成分的估计，可以通过减少具有多个颜色成分的正确图像中的颜色成分来产生训练图像。对于再次照明，如果正确图像中的被照体的法线、形状和反射率的分布是已知的，则可以在模拟中产生不同光源环境中的训练图像。由于在这种情况下测量负担大，因此可以通过在不同照明环境中实际拍摄被照体，产生正确图像和训练图像的对。

接下来，在步骤s102中，学习单元103(获取单元103a)获取关于用于学习步骤的伽马校正的信息。当组合用于学习步骤的伽马校正与用于显影估计图像的伽马校正时，可得到具有稳定的精度的估计，该估计不依赖于校正信号值的大小。在本实施例中，为了应对各种伽马校正，学习单元103对多个伽马校正中的每一个执行学习步骤，并在存储器102中存储在各伽马校正中优化的网络参数。可以从存储在存储器102中的多个伽马校正的信息获取关于伽马校正的信息，或者用户可以输入伽马校正表达式或查找表等。如图2所示，伽马校正是使得示出校正前信号值和校正后信号值之间的关系的曲线(伽马曲线)等于或高于斜率为1的直线(图2中的交替长短虚线)的处理。代表伽马校正的函数g的更具体的例子包括以下表达式(1)～(3)。

g(s)＝s^1/γ…(1)

g(s)＝logα(β·s+1)…(2)

g(s)＝1-exp(-δ·s)…(3)

在表达式(1)～(3)中，“s”表示执行伽马校正之前的归一化的信号值，并且α(>1)、β(>0)、γ(>1)和δ(>0)是常数。伽玛校正不限于表达式(1)～(3)，而是可以具有分段线性函数或查找表。只要是在步骤s104之前执行步骤s102，就可以在任何时间执行步骤s102。

接下来，在步骤s103中，学习单元103(产生单元103b)选择在步骤s101中获取的多个训练图像中的至少一个，将选择的训练图像输入到网络中，并且计算(产生)输出图像。选择所有的多个训练图像(所有的训练图像被输入到网络，并且用所有的输出更新网络参数)的情况称为批量学习。随着训练图像的数量增大，该方法导致大量计算负但。选择仅仅一个训练图像(使用仅仅一个训练图像以更新网络参数，并且对于各更新使用不同的训练图像)被称为在线学习。即使训练图像总数增大，该方法也不增大计算量，而是受单个训练图像中的噪声的影响。因此，可以使用选择多个训练图像中的一些(小批量)并且通过使用它们更新网络参数的小批量方法。下一次更新选择并使用不同的小批量的训练图像。可以通过重复该处理解决或减轻批量学习和在线学习的问题。

现在将参照图1，描述多层神经网络的处理。图1示出卷积神经网络(“cnn”)。本实施例不限于该例子，并且，例如，可以对cnn采用残余网络，或者可以使用gan(生成性对抗网络，generativeadversarialnetwork)等。为了简单起见，图1仅示出一个输入训练图像201，但是实际上，对多个选择的训练图像中的每一个产生输出图像。通过对各颜色成分在三维方向上布置raw图像，制作训练图像201。

图6a和图6b解释图像中的颜色成分。在本实施例中，训练图像具有图6a所示的bayer阵列，这里，r、g和b分别代表红色、绿色和蓝色。图6b示出基于图6a中的bayer阵列仅再次排列相同颜色成分的配置。g具有两种类型即g1和g2，并且，提取和布置各颜色成分。图6b中的四个图像沿三维方向布置的四通道图像是图1中的训练图像201。虽然该工作不总是必要的，但像差和/或衍射根据波长而变化，并且通过布置具有相同模糊的相同颜色成分，校正变得更加容易。当在同一维度中布置rgb时，具有局部不同的亮度的像素混合，并且估计精度趋于降低。由此，可以针对各颜色成分分离训练图像。本例子示出bayer阵列，但是类似地适用于另一个阵列(诸如蜂窝结构)。在单色体的情况下，颜色成分可能不被再次布置。本实施例示出多个颜色成分被集体学习和估计的例子，但是，可以针对各颜色单独执行学习和估计。为了简单起见，图1示出作为训练图像201的4×4或四通道图像，但是垂直和水平图像尺寸不限于本例子。

在本实施例中，训练图像和正确图像中的每一个具有多个周期性布置的颜色成分，并且，本实施例可以包括产生包含训练图像或正确图像中的各个颜色成分的颜色成分图像的步骤。在训练图像被输入到神经网络之前，以及在利用正确图像计算误差之前，执行产生颜色成分图像的步骤。

cnn具有多个层，并且在各层中执行线性转换和非线性转换。线性转换由输入图像(或特征地图)与滤波器的卷积和偏置(图1中的“bias”)的和表达。各层中的滤波器的权重和偏置被称为网络参数，并且，它们的值通过学习步骤被确定和更新。非线性转换是通过称为激活函数(图1中的“af”)的非线性函数的转换。示例性的激活函数包括s型函数(sigmoidfunction)和双曲正切函数。本实施例使用由以下表达式(4)表达的relu(整流线性单元)。

f(x)＝max(x,0)…(4)

在表达式(4)中，“max”代表输出自变量中的最大值的max函数。

输入到输入层的训练图像201在第一卷积层中通过多个滤波器202中的每一个被卷积，并被添加到偏置。各滤波器202中的信道数量与训练图像201中的信道数量一致，并且，当训练图像201的信道数量是2或更多时，使用作为三维滤波器(三维代表信道数量)的滤波器202。过滤器具有任意的垂直和水平尺寸。卷积与和的结果通过激活函数以非线性的方式被转换，并且，第一特征地图203被输出到第一中间层。第一特征地图203中的信道数量(三维方向上的阵列数量)与滤波器202中的信道数量相同。接下来，第一特征地图203被输入到第二卷积层，并且，以与上述相同的方式计算通过多个滤波器204中的每一个的卷积与偏置的和。对结果进行非线性变换，并且以对应于卷积层数量的数量进行类似的重复。一般来说，具有三个或更多个卷积层的cnn对应于深度学习。从最后卷积层输出的结果是来自cnn的输出图像211。最后的卷积层不需要通过激活函数执行非线性变换。

接下来，在步骤s104中，学习单元103(计算单元103c)对输出图像211和正确图像221中的每一个执行伽马校正，以计算经伽马校正的输出图像和经伽马校正的正确图像之间的误差。与训练图像201类似，针对各颜色成分布置并且在信道方向上堆叠正确图像221。在本实施例中，学习单元103通过使用以下表达式(5)计算误差l。

在表达式(5)中，“t”是正确图像221的信号值，“y”是输出图像211的信号值，“j”是像素数，“n”是像素总数，“g”是伽马校正。表达式(5)使用欧几里德(euclidean)范数，但是可以使用另一个指数，只要它代表正确图像和输出图像之间的差异即可。

接下来，在步骤s105中，学习单元103(更新单元103d)基于在步骤s104中计算的误差计算网络参数的更新量，并且更新网络参数。本例子使用误差反向传播方法(或反向传播)。误差反向传播方法基于误差的微分计算更新量。然而，本实施例不限于本例子。

接下来，在步骤s106中，学习单元103确定是否满足预定的终止条件或者网络参数的优化已经结束。这里使用的预定终止条件包括例如学习步骤是否已达到预定时间、参数更新次数是否已达到预定次数、是否准备了未用于更新参数的训练图像和正确图像、以及输出图像和正确图像之间的误差是否低于预定值等。作为替代方案，用户可以指示优化的结束。如果不满足预定的终止条件，则流程返回到步骤s103，并且学习单元103获取新的小批量并更新网络参数。另一方面，如果满足预定的终止条件，则流程进行到步骤s107。

在步骤s107中，学习单元103将确定的网络参数输出到存储器102。存储器102存储网络参数。根据本实施例，由于学习单元103对各不同的伽马校正学习网络参数，因此存储器102将网络参数与相应的伽马校正信息一起存储。以上的学习步骤可以提供估计精度几乎不受显影图像的信号值的大小的影响的多层神经网络。

现在将参照图7，描述由图像编辑装置111中的估计单元113执行的估计步骤。图7是估计步骤的流程图。

首先，在步骤s201中，估计单元113从成像装置121或记录介质122获取拍摄的图像。拍摄的图像是未显影的raw图像。在raw图像具有编码信号值的情况下，估计单元113执行解码处理。估计单元113获取关于稍后用于显影拍摄图像的伽马校正的信息。

接下来，在步骤s202中，估计单元113获取对应于在步骤s201中获取的关于伽马校正的信息的网络参数。从参数学习装置101中的存储器102读出网络参数。作为替代方案，多个网络参数可以预先存储在图像编辑装置111中的存储器112中，并从存储器112被读出。要获取的网络参数对应于相互一致或接近的在步骤s201中获得的关于伽马校正的信息和在学习步骤中使用的关于伽马校正的信息。

接下来，在步骤s203中，估计单元113从拍摄的图像获取要输入到cnn的输入图像。与训练图像类似，输入图像针对各颜色成分排列，并在三维方向上堆叠。估计步骤中的输入图像的尺寸不是必须与学习步骤中的训练图像的尺寸匹配。接下来，在步骤s204，估计单元113基于输入图像和网络参数产生估计图像。与学习步骤中一样，图1所示的cnn用于产生估计图像。图1中的输出图像211是估计图像，并且，不执行随后的伽马校正和距正确图像的误差计算。

接下来，在步骤s205中，估计单元113确定是否完成了对拍摄图像中的预定区域的估计(在本实施例中，是由像差和/或衍射导致的模糊的校正)。如果估计尚未完成，则流程返回到步骤s203，并且估计单元113从拍摄图像中的预定区域获取新的输入图像。当输出图像小于用于估计的cnn中的输入图像时，需要获取与预定区域重叠的输入图像。预定区域是拍摄图像的全部或部分。拍摄图像是raw图像，并且除了通过光接收获得的图像之外，还可以包括关于标题(关于图像中的像素的数量、成像时间等的信息)和图像传感器的光学黑色的信息。所述标题和光学黑色与由像差和/或衍射导致的模糊无关，并且，可以从预定区域去除它们。

接下来，在步骤s206中，估计单元113将多个产生的估计图像相互组合，并且输出由像差和/或衍射导致的模糊得到了校正的拍摄图像。如果需要，估计单元113可以输出关于标题和光学黑色的信息。以上估计步骤可以抑制对显影信号值的大小的影响，并校正由像差和/或衍射导致的模糊。在估计步骤之后，用户任意地执行诸如曝光校正的编辑，并且通过显影处理获得最终的显影图像。

接下来，描述用于增强本发明的效果的条件。首先，可以提供对要输入cnn的输入图像和正确图像的信号值进行归一化的步骤。根据成像装置的配置，拍摄的图像具有不同的信号值范围。当输入图像的信号值范围在学习步骤和估计步骤之间不同时，不能获得正确的估计结果。由此，可以对信号值进行归一化。信号值范围由下限值(光学黑色的信号值)和上限值(亮度饱和值)定义。可以从拍摄图像中的标题和光学黑色区域获得关于信号值范围的信息。更具体地说，可以例如根据以下表达式(6)进行归一化。

在表达式(6)中，“s”表示raw图像的信号值，“sob”表示光学黑色的信号值，“ssatu”表示信号的亮度饱和值，“snor”表示归一化的信号值。估计步骤对输出的估计图像执行表达式(6)的逆运算以将其恢复到原始尺度。

在对于表达式(5)中的误差使用由表达式(1)或(2)表示的伽马校正时，微分可能在输出图像的信号值变为零的点附近发散。当误差的微分发散时，误差反向传播方法不能适当地工作。根据伽马校正表达式，当待校正的信号值不落在一定范围内时，不输出期望的校正值。为了避免该问题，可以在执行伽马校正之前提供在预定范围内对输出图像中的信号值进行修剪(clipping)的步骤。预定范围是伽马校正被定义并且微分不发散的范围。例如，在表达式(1)中，修剪下限被设定为正的微小值，并且上限被设定为1。

类似地，估计图像的信号值可能超过图像信号的范围。因此，步骤s204可以对估计图像的信号值进行修剪。当信号值被归一化时，修剪可以使用0～1的值，并且当信号值没有被归一化时，剪辑可以使用光学黑色的信号值和亮度饱和值。

根据本实施例的学习步骤学习对关于单个伽马校正的各信息学习网络参数。当存在多种类型的候选伽马校正时，网络参数的数据容量增大。一种解决方案是共同学习用于多个伽马校正的网络参数。例如，学习可以使用由以下表达式(7)表达的误差lsum。

在表达式(7)中，“gk”是由k指定的伽马校正，并且根据k变化。“m”是伽马校正的类型的总数。通过对正确图像和输出图像执行多个伽马校正中的每一个并且通过使用多个计算误差的组合误差lsum进行学习，可以减少网络参数容量。

本实施例可以提供图像处理系统，所述图像处理系统能够获取估计精度较少可能受显影图像的信号值的大小影响的多层神经网络并且可以通过使用所述神经网络提供估计。

第二实施例

接下来，描述根据本发明的第二实施例的图像处理系统。在根据本实施例的图像处理系统中，执行学习步骤和估计步骤的装置(服务器301)和多个成像装置(第一成像装置311、第二成像装置312和第三成像装置313)相互连接。根据本实施例的估计步骤使用但不限于上采样。

现在将参照图8和图9，描述根据本实施例的图像处理系统。图8是图像处理系统300的框图。图9是图像处理系统300的外部概要。如图8和图9所示，图像处理系统300包括服务器(图像处理装置)301、第一成像装置311、第二成像装置312和第三成像装置313。服务器301包括存储器(或存储单元)302、学习单元303、估计单元304和显影单元305。学习单元303读取存储在存储器302中的多个训练图像和正确图像，执行学习步骤，并学习神经网络的网络参数(权重和偏置)。学习单元303类似地用作图3所示的获取单元103a、产生单元103b、计算单元103c和更新单元103d。

在本实施例中，训练图像是低分辨率图像(具有第一分辨率的图像)，并且正确图像是高分辨率图像(具有高于第一分辨率的第二分辨率的图像)。可以通过对正确图像进行下采样来准备训练图像。作为替代方案，在本实施例中，训练图像可以是低对比度图像(具有第一对比度的图像)，并且正确图像可以是高对比度图像(具有比第一对比度高的第二对比度的图像)。

训练图像和正确图像可以被定尺寸(sized)或者可以不被定尺寸。在通过将正确图像下采样1/n来产生训练图像的情况下，可以通过诸如双三次插值(bicubicinterpolation)的插值以将训练图像拉伸n倍来调整尺寸。如果尺寸不被调整，则反卷积层、去池化(depooling)层等可以被插入到网络中。

学习单元303通过使用图1所示的网络学习网络参数。在本实施例中，如表达式(7)中那样，学习单元303学习网络参数，以使混合了多个伽马校正的误差最小化。经学习的网络参数存储在存储器302中。服务器301无线连接到多个成像装置(第一成像装置311、第二成像装置312和第三成像装置313)，并且从各成像装置接收拍摄的图像。拍摄的图像是raw图像。估计单元304从存储器302读出网络参数，并对拍摄的图像执行估计步骤。由此，产生上采样的拍摄图像。上采样的拍摄图像由显影单元305显影并被传送到原始成像装置。

由学习单元303执行的学习步骤类似于参照图5描述的学习步骤。然而，本实施例不包括步骤s102。由估计单元304执行的估计步骤类似于参照图7描述的估计步骤。

本实施例可以提供图像处理系统，所述图像处理系统能够获取估计精度较少可能受显影图像的信号值的大小影响的多层神经网络并且可以通过所述多层神经网络提供估计。

其它实施例

也可通过读出并执行记录于存储介质(也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能并且/或者包含用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，以及，通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能执行的方法，实现本发明的实施例。计算机可包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包含例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如紧致盘(cd)、数字万用盘(dvd)或蓝光盘(bd)^tm)、闪速存储器设备和记忆卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

实施例中的每一个可以提供能够获取估计精度较少可能受显影图像信号的大小影响的多层神经网络的图像处理方法、图像处理装置和存储介质。

虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。