图像处理方法、图像处理设备、图像处理系统和存储介质与流程

1.本发明涉及抑制当通过使用机器学习模型基于拍摄图像来估计图像时固有发生的副作用的图像处理方法。


背景技术：

2.机器学习模型能够在实现比使用假定(assumption)或近似(approximation)来对图像进行基于理论的估计的效果高的效果的同时来估计图像。在对图像的基于理论的估计中，效果被由假定或近似忽视的要素所降低。另一方面，在机器学习模型中，通过进行使用包括这些要素的学习数据的学习，能够在不作出假定和近似的情况下，基于学习数据以高的效果估计图像。
3.例如，在使拍摄图像去模糊的技术中，要素是拍摄图像的饱和像素。在诸如wiener滤波器等的基于理论的方法中，假定不存在饱和像素。因而，在饱和像素的周围，模糊未被适当地校正，并且会发生诸如振铃(ringing)等的副作用。另一方面，li xu等人的deep convolutional neural network for image deconvolution,advances in neural information processing systems 27,nips 2014(在下文中，称作li xu等人)使用卷积神经网络(cnn，其是一种机器学习模型)使拍摄图像去模糊。通过使具有等于或高于拍摄图像中的饱和值的信号值的图像模糊来生成学习数据集，并且使cnn学习该学习数据集。由此，即使在饱和像素的附近，能够在抑制副作用的同时使图像去模糊。
4.然而，li xu等人公开的方法可能会在位于与饱和像素无关的位置处的被摄体中产生伪影(伪结构)。具体地，伪影(artifact)是与实际被摄体的结构不一致的信号值的局部减小或增大。伪影是当通过使用机器学习模型估计图像时固有发生的副作用之一。当对图像进行除了去模糊以外的估计时，可能发生对于机器学习模型而言固有的副作用。


技术实现要素：

5.本发明提供图像处理方法、图像处理设备、图像处理系统和记录介质，其各自均能够抑制当通过使用机器学习模型估计图像时固有发生的副作用。
6.根据本发明的一方面的图像处理方法包括如下步骤：获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出；获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像生成的第二模型输出；以及根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。
7.根据本发明的一方面的图像处理设备包括：获取单元，其被配置为获取利用第一机器学习模型基于拍摄图像所生成的第一模型输出，并且获取利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像所生成的第二模型输出；以及生成单元，其被配置为根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，使用所述第一模型输出和所述第二模型输出来生成估计图像。
8.根据本发明的另一方面的图像处理系统具有第一设备和第二设备。所述第一设备包括发送单元，其被配置为将拍摄图像和与处理的执行有关的请求发送给所述第二设备。所述第二设备包括：接收单元，其被配置为接收所述拍摄图像和所述请求；以及第一生成单元，其被配置为响应于所述请求，利用第一机器学习模型基于所述拍摄图像来生成第一输出模型，并且利用与所述第一机器学习模型不同的第二机器学习模型基于所述拍摄图像来生成第二模型输出。所述第一设备还包括第二生成单元，其被配置为根据基于所述第二模型输出与所述拍摄图像和所述第一模型输出中的一者的比较，通过使用所述第一模型输出和所述第二模型输出来生成估计图像。
9.存储使计算机执行以上图像处理方法的计算机程序的非暂时性计算机可读存储介质还构成本发明的另一方面。
10.通过以下参照附图对示例性实施方式的描述，本发明的其它特征将变得明显。
附图说明
11.图1是示出根据本公开的一个或多个方面的生成估计图像的流的图。
12.图2是示出根据本公开的一个或多个方面的图像处理系统的框图。
13.图3是示出根据本公开的一个或多个方面的图像处理系统的外观图。
14.图4a至图4c是各自示出根据本公开的一个或多个方面的伪影的说明图。
15.图5a至图5d是各自示出根据本公开的一个或多个方面的伪影的产生原因的说明图。
16.图6是示出根据本公开的一个或多个方面的机器学习模型中的学习的流程图。
17.图7是示出根据本公开的一个或多个方面的生成估计图像的流程图。
18.图8a和图8b是示出根据本公开的一个或多个方面的与生成第一图有关的说明图。
19.图9是示出根据本公开的一个或多个方面的图像处理系统的框图。
20.图10是示出根据本公开的一个或多个方面的图像处理系统的外观图。
21.图11a和图11b是示出根据本公开的一个或多个方面的机器学习模型的配置图。
22.图12是示出根据本公开的一个或多个方面的生成估计图像的流程图。
23.图13是示出根据本公开的一个或多个方面的图像处理系统的框图。
24.图14是示出根据本公开的一个或多个方面的图像处理系统的外观图。
25.图15是示出根据本公开的一个或多个方面的生成估计图像的流程图。
具体实施方式
26.现在参照附图，将给出根据本发明的各个实施方式的详细描述。将用相同的附图标记指代各幅图中的对应要素，并且将省略其重复描述。
27.在详细描述各个实施方式之前，将描述本发明所要解决的问题，即当通过使用机器学习模型来估计图像时固有发生的副作用。当估计图像时，代替对图像具有统一效果的处理，机器学习模型能够根据输入图像的特征执行具有不同效果的处理。在上述去模糊的示例中，机器学习模型在内部判断与饱和像素有关的模糊图像(也称作饱和模糊图像)和其它模糊图像(也称作非饱和模糊图像)，并且执行不同的校正处理。由此，能够使这两种模糊图像均去模糊。然而，机器学习模型可能会作出错误的判断，并且在对非饱和模糊图像执行
针对饱和模糊图像的校正处理的情况下，会发生上述伪影。这同样适用于对包括饱和像素的图像进行的去模糊以外的估计，并且在机器学习模型根据输入图像的特征执行不同效果的处理的情况下，如果执行了与适于该特征的处理不同的处理，则会发生副作用。副作用现象依赖于由机器学习模型对图像执行的估计的内容并且依赖于学习方法。将在各个实施方式中描述具体的示例。
28.接下来，将给出解决该问题的本发明的主旨的描述。本发明通过使用估计结果(第一模型输出和第二模型输出)抑制了对于机器学习模型而言固有的副作用，其中第一模型输出和第二模型输出分别获取自分别通过两种不同机器学习模型(第一机器学习模型和第二机器学习模型)对拍摄图像的估计。出于图像估计的目的，第二机器学习模型比第一机器学习模型更有效，但是在第二模型输出中可能发生副作用。另一方面，第一机器学习模型对于图像估计这一目的的效果小，但是在第一模型输出中不发生副作用或副作用小。根据基于拍摄图像或第一模型输出与第二模型输出的比较，生成与图像估计的目的匹配的估计图像。估计图像是副作用被抑制的图像，并且通过使用第一模型输出和第二模型输出而生成。可以根据基于拍摄图像或第一模型输出与第二模型输出的比较来生成第一图，并且可以基于第一图生成估计图像。第一图是确定如下区域的图：在生成估计图像时在该区域中使用第一模型输出或第二模型输出图。即，第一图指示出在第二模型输出中发生副作用的区域。在具有副作用的区域中使用不具有副作用的第一模型输出，由此能够获得如下估计图像：在该估计图像中，图像估计的期望效果大并且抑制了副作用。
29.在以下说明中，学习是基于学习数据集确定机器学习模型的权重的阶段，以及估计是通过使用学习到的权重在机器学习模型中使用拍摄图像执行图像估计的阶段。机器学习模型包括例如神经网络、遗传编程、贝叶斯网络(bayesian网络)等。神经网络包括cnn(卷积神经网络)、gan(生成对抗网络)、rnn(循环神经网络)等。
30.[第一实施方式]
[0031]
首先，将给出本发明的第一实施方式中的图像处理系统的描述。在本实施方式中，使包括饱和像素的拍摄图像去模糊是通过机器学习模型进行图像估计的目的。待校正的模糊是因由光学系统产生的像差或衍射、光学低通滤波器、或者图像传感器的像素开口而导致的模糊。然而，本实施方式不限于此，并且在因散焦或抖动导致的模糊的校正中，能够类似地获取本实施方式的效果。类似地，在除了去模糊以外的图像估计中，能够获得本实施方式的效果。
[0032]
图2是示出图像处理系统100的框图。图3是示出图像处理系统100的外观图。图像处理系统100包括经由有线或无线网络彼此连接的学习设备101和摄像设备102。学习设备101包括存储器111、获取单元112、计算单元113和更新单元114。
[0033]
摄像设备102包括光学系统121、图像传感器122、作为图像处理设备的图像处理器123、存储器124、通信单元125、显示器126和系统控制器127。光学系统121被配置为收集从被摄体空间进入的光并形成被摄体图像。光学系统121具有根据需要进行变焦、光圈调节、自动调焦等的功能。图像传感器122被配置成通过光电转换将被摄体图像转换为电信号并生成拍摄图像。图像传感器122是例如ccd(电荷耦合器件)传感器、cmos(互补金属氧化物传感器)传感器等。拍摄图像受由在光学系统121中产生的像差或衍射或者图像传感器122的像素开口导致的模糊的影响。当包括光学低通滤波器时，拍摄图像还受由光学低通滤波器
导致的模糊的影响。
[0034]
图像处理器123包括获取单元123a、去模糊单元123b和计算单元123c，并且被配置为生成拍摄图像中的模糊被校正的估计图像。通过第一机器学习模型和第二机器学习模型，并且通过执行根据本实施方式的图像处理方法，生成副作用被抑制的估计图像，其中第一机器学习模型和第二机器学习模型分别生成第一模型输出和第二模型输出，其中，在第一模型输出和第二模型输出各自中估计拍摄图像中的模糊的校正成分。在第一机器学习模型和第二机器学习模型各自中使用由学习设备101学习的权重。预先经由通信单元125从学习设备101读取权重信息并将其存储在存储器124中。稍后将给出机器学习模型中的学习和估计以及副作用的抑制的详细描述。将估计图像存储在存储器124中，并且显示在显示器126上。系统控制器127被配置为控制以上操作。拍摄图像和估计图像可以是灰度图像或具有多种颜色成分的图像，并且可以是未显像的raw图像或显像后的图像。
[0035]
接下来，将给出在机器学习模型使拍摄图像去模糊的情况下固有发生的副作用的详细描述。这种情况下的副作用是发生由于与实际被摄体结构不一致的信号值的局部减小或增大而导致的伪影(伪结构)。将参照图4a至图4c描述伪影。图4a至图4c是示出伪影的说明图。图4a至图4c示出了图像的信号值的空间变化，并且分别与r(红)、g(绿)和b(蓝)的颜色成分对应。在图4a至图4c的每一者中，横轴代表空间坐标，并且纵轴代表信号值。
[0036]
这里，图像是被显像为8位的图像，饱和值是255。在图4a至图4c的每一者中，点划线代表拍摄图像，即模糊图像，细实线代表不模糊的基础真实图像(ground truth image)。没有像素达到饱和值，因而不包括饱和像素。点线代表第二模型输出，即去模糊图像，其是通过使用第二机器学习模型使拍摄图像去模糊而获取的。第二机器学习模型是被配置为使与饱和像素有关的模糊图像(还称作饱和模糊图像)以及与饱和像素无关的模糊图像(还称作非饱和模糊图像)这两者去模糊。在第二模型输出中，边缘的模糊被校正，但是中央附近的信号值发生减小，而在基础真实图像中不发生该减小。该减小不发生在边缘的附近，但是发生在远离边缘的位置，并且发生的区域宽。因此，能够将该减小识别为与下冲(undershoot)不同的副作用。这就是伪影，其是对于机器学习模型而言固有的副作用。根据图4a至图4c的比较，信号值的减小程度因颜色成分而异。在图4a至图4c中，减小程度以g、r和b的顺序增大。因此，在第二模型输出中，在作为基础真实图像内的平坦部分的区域中作为伪影而出现具有绿色的暗区域。在图4a至图4c中，作为示例描述了信号值变得小于基础真实图像中的信号值的情况，但是信号值也可能增大。
[0037]
接下来，将描述发生伪影的原因。原因在于，机器学习模型在包括饱和像素的模糊图像(即，饱和模糊图像)与仅包括非饱和像素的模糊图像(即，非饱和模糊图像)之间不能完全区分开。为了进一步说明，将给出机器学习模型根据饱和的有无而进行不同的去模糊的描述。图5a至图5d的每一者均示出了拍摄图像和不包括模糊的基础真实图像中的信号值的空间变化。在图5a至图5d中，各个横轴均代表空间坐标，以及各个纵轴均代表信号值。在图5a至图5d中，各个实线均代表拍摄图像，以及各个虚线均代表基础真实图像。
[0038]
在图5a至图5c的每一者中，拍摄相同的被摄体，并且摄像时的曝光不同。在图5c的曝光下，存在饱和像素。图5a至图5d中的箭头代表在基础真实图像中被摄体的信号值变成零的像素处，拍摄图像与基础真实图像的信号之间的差。该信号中的差与用于去模糊的理想校正残差对应。拍摄图像过曝光越多，则校正残差越大。因此，在去模糊时，通过被摄体的
亮度确定校正残差，并且被摄体越亮，则校正残差越大。图5d示出了在以不发生饱和的最长曝光拍摄具有不同形状的被摄体的图像的情况下的信号值的空间变化。尽管图5c和图5d的模糊图像基本上相同，但是相同信号值处的校正残差在图5c中比在图5d中大。即，能够使饱和模糊图像去模糊的机器学习模型针对即使在相同亮度下的饱和模糊图像和非饱和模糊图像作出不同的估计，并且针对饱和模糊图像估计较大的校正残差。
[0039]
然而，不容易判断用于去模糊的目标像素是饱和模糊图像的一部分，还是非饱和模糊图像的一部分。用于去模糊的目标像素距饱和像素越远，则该判断变得越难。特别地，被摄体越亮或模糊越大，则饱和模糊图像从饱和像素扩散到的位置越远，使得难以作出判断。因此，在去模糊期间，机器学习模型可能将非饱和模糊图像的目标像素判断为饱和模糊图像的一部分。如上所述，当使饱和模糊图像去模糊时，机器学习模型估计比非饱和模糊图像中的校正残差大的校正残差。因而，可能会对非饱和模糊图像施加过度的校正残差，并且可能发生伪影，在该伪影中信号值仅在被错误判断为饱和模糊图像的区域中减小。
[0040]
另一方面，不使饱和模糊图像去模糊的机器学习模型，即第一机器学习模型，不对非饱和模糊图像和饱和模糊图像作出判断本身，因而不产生伪影。图4a至图4c的每一者中的虚线均代表由仅使非饱和模糊图像去模糊而不使饱和模糊图像去模糊的第一机器学习模型生成的第一模型输出，并且表明模糊已被校正但未发生伪影。然而，在这种情况下，饱和模糊图像的模糊未被校正。
[0041]
一般地，用于可见光的光学系统通常被设计成g的性能在r、g和b的性能中是最好的。即，r和b各自均具有与g的模糊相比扩散较大的模糊(psf：点扩散函数)，并且通过对高亮度被摄体摄像而获取的饱和模糊图像的边缘更可能被用r和b来着色，即可能出现紫色边缘等。在校正该饱和模糊图像的情况下，r和b的校正残差大于g的校正残差。因而，在将非饱和模糊图像的像素错误地判断为饱和模糊图像的像素的情况下，r和b各自的信号值的减小量各自均大于g的信号值的减小量，并且如图4a至图4c所示，伪影作为被用绿色着色的暗区域而发生。
[0042]
图5a至图5d各自均示出了如下情况：拍摄图像包括比基础真实图像中的信号值大的信号值，但是在模糊图像的高亮度部分附近的区域中，基础真实图像具有比拍摄图像的信号值大的信号值。因此，在将非饱和模糊图像的像素错误地判断为饱和模糊图像的像素的情况下，可能会发生伪影，这会将信号值增大到比基础真实图像中的信号大的程度。
[0043]
接下来，将给出用于抑制伪影的方法的描述。伪影的导致是因为对于机器学习模型而言，不可能准确地判断目标像素是包括在饱和模糊图像中，还是包括在非饱和模糊图像中。因此，通过告诉机器学习模型哪个图像包括目标像素，能够抑制伪影。然而，该方法难以实现。例如，假定存在不包括模糊或包括足够小的模糊且信号值未被饱和值剪裁的hdr(高动态范围)基础真实图像。通过从该hdr基础真实图像中提取仅包括拍摄图像的饱和像素的区域，并且施加由摄像产生的模糊，能够生成代表饱和模糊图像的范围的图。通过将该图与拍摄图像一起输入到机器学习模型中并进行估计(类似地，在学习期间输入相同的图)，抑制了伪影。然而，由于去模糊的目的是首先估计基础真实图像或hdr基础真实图像，所以hdr基础真实图像是未知的，因而不能使用该方法。因此，本实施方式通过使用对高亮度被摄体具有不同的去模糊效果的两种机器学习模型(第一机器学习模型和第二机器学习模型)来抑制伪影。稍后将在通过学习设备101的学习和通过图像处理器123执行的处理的
描述中，描述具体的方法。
[0044]
接下来，参照图6，将给出由学习设备101执行的通过机器学习模型(第一机器学习模型和第二机器学习模型)的权重学习的描述。图6是示出通过机器学习模型的学习的流程图。图6的各个步骤均由学习设备101的存储器111、获取单元112、计算单元113或更新单元114中的任意者执行。对第一机器学习模型和第二机器学习模型中的每一者单独地进行学习。因而，在以下描述中，在第一机器学习模型与第二机器学习模型之间不存在差异的情况下，将各个机器学习模型简称为机器学习模型。
[0045]
首先，在步骤s101中，获取单元112从存储器111获取一对或多对基础真实图像和输入数据。输入数据是待输入至机器学习模型的数据，并且包括学习时的训练图像。训练图像和基础真实图像是包括相同被摄体的且所施加的模糊的强度不同的成对图像。第一机器学习模型进行学习，使得对高亮度被摄体的去模糊效果相对于第二机器学习模型的对高亮度被摄体的去模糊效果变小，并因而准备如下所述的成对的训练图像和基础真实图像。在任一方法中，通过对原始图像进行摄像模拟来生成成对的训练图像和基础真实图像。原始图像是cg(计算机图形学)图像，或者是由性能比光学系统121的性能高的光学系统拍摄的图像，并且原始图像具有比拍摄图像的频率成分高的频率成分。可选地，通过将图像缩小，可以生成具有比拍摄图像的频率成分高的频率成分的原始图像。原始图像是包括诸如各种方向和强度的边缘、层次(gradation)、平坦部分等的各种被摄体的一个或多个图像。
[0046]
生成所述对的第一示例是在第一机器学习模型与第二机器学习模型之间使用不同的原始图像的方法。对于第一机器学习模型，针对仅具有等于或小于拍摄图像的饱和值的信号值的原始图像，通过添加由光学系统121和图像传感器122产生的模糊来生成训练图像，以及通过不添加该模糊或通过添加小于添加给训练图像的模糊的模糊来生成基础真实图像。在这种情况下，由于原始图像仅具有等于或小于饱和值的信号值，所以没有成对的训练图像和基础真实图像包括因饱和而损失的关于被摄体的损失信息。因而，通过使用这些训练图像和基础真实图像的学习，第一机器学习模型仅学习针对非饱和模糊图像的去模糊，而不对饱和模糊图像和非饱和模糊图像作出判断，因而不会发生伪影。
[0047]
接下来，在第二机器学习模型中，针对具有高于拍摄图像的饱和值的信号值的原始图像，通过添加由光学系统121和图像传感器122产生的模糊来生成训练图像，以及通过不添加模糊或添加小的模糊来生成基础真实图像。在这里，训练图像和基础真实图像的信号值被拍摄图像的饱和值剪裁。第二机器学习模型学习针对饱和模糊图像和非饱和模糊图像中的每一者的去模糊，并且还能够使饱和模糊图像去模糊，但是可能发生伪影。
[0048]
用于生成所述对的第二示例是在第一机器学习模型与第二机器学习模型之间使用不同的基础真实图像生成方法的方法。在该方法中，第一机器学习模型和第二机器学习模型的每一者均使用具有高于拍摄图像的饱和值的信号值的原始图像。对于第二机器学习模型，与第一示例中相同。在第一机器学习模型中，如第一示例中那样生成训练图像。如下生成基础真实图像。首先，从原始图像或训练图像中，提取具有等于或高于拍摄图像的饱和值的信号值的区域。针对原始图像(在该原始图像中，除了所提取的区域以外的区域的信号值为零)，提供与训练图像相同的模糊，将其相加到所提取的区域的信号值为零的原始图像，并以饱和值对其进行剪裁。结果，生成了基础真实图像，在该基础真实图像中仅对超出饱和值的高亮度被摄体添加了与训练图像相同的模糊。通过使用该成对的基础真实图像和
训练图像，第一机器学习模型进行学习，以仅使非饱和模糊图像去模糊，并且不会发生伪影。
[0049]
使要进行去模糊的拍摄图像的格式与训练图像的格式匹配是必要的。例如，当要对处于未显像的raw图像状态的图像进行去模糊时，训练图像也必须相当于未显像的raw图像。当要对具有多种颜色成分的拍摄图像一起进行去模糊时，训练图像也必须具有多种颜色成分。如果要利用机器学习模型仅进行去模糊，则基础真实图像的格式与训练图像的格式相同。在机器学习模型中，在去模糊的同时还要对raw图像进行显像处理的情况下，训练图像是未显像的raw图像，而基础真实图像是显像图像。以这种方式，可以根据需要改变基础真实图像的格式。
[0050]
输入数据可以包括除训练图像以外的信息。例如，该信息是关于光学系统121的焦距、f数、聚焦距离、像高和方位角、光学低通滤波器的分离方法和截止频率、图像传感器122的像素间距等的信息，各信息均与添加至训练图像的模糊对应。由此，即使在混合了多种不同的模糊的情况下，机器学习模型也能够识别出模糊，并且能够以高精度进行去模糊。在训练图像被添加噪声的情况下，可以包括指示所添加的噪声的强度的信息。在向用于学习的输入添加了除训练图像以外的信息的情况下，在估计时向机器学习模型输入相同的信息。
[0051]
随后，在步骤s102中，计算单元113将输入数据输入到机器学习模型并生成模型输出。模型输出是被处于学习中途的机器学模型去模糊的训练图像。在本实施方式中，机器学习模型使用cnn，但是本发明还能够适用其它模型。cnn具有多个卷积层。在第一次学习时，能够通过随机数确定用于cnn的权重(滤波器系数和偏置)。第一机器学习模型和第二机器学习模型是具有相同网络结构的cnn，但是可以不必使用具有相同结构的cnn。
[0052]
随后，在步骤s103中，更新单元114基于模型输出与基础真实图像之间的差(误差，即损失函数)，更新用于机器学习模型的权重。在本实施方式中，损失函数是模型输出的信号值与基础真实图像的信号值之间的差的euclidean范数。然而，损失函数不限于此。当在步骤s101中获取了多对输入数据和真实图像的情况下，针对各个对计算损失函数的值。通过使用所计算的损失函数的值，利用反向传播法等来更新权重。所估计的模型输出可以是基础真实图像与训练图像之间的差，即可以是校正残差。在这种情况下，通过使用模型输出与校正残差(即基础真实图像与训练图像之间的差)之间的误差来更新权重。
[0053]
随后，在步骤s104中，更新单元114判断通过机器学习模型的学习是否完成。通过学习(权重更新)的重复次数是否达到预定次数、更新时的权重的变化量是否小于预定值等，能够作出关于学习完成的判断。当在步骤s104中判断为权重学习未完成时，处理返回到步骤s101，并且获取单元112获取一对或多对新的输入数据和基础真实图像。另一方面，当判断为权重学习完成时，更新单元114结束学习并将权重信息存储在存储器111中。
[0054]
接下来，参照图1和图7，将给出关于由图像处理器123执行的通过使拍摄图像去模糊而生成的估计图像的生成的描述。图1是示出生成估计图像的流程的图。图7的各个步骤由图像处理器123的获取单元123a、去模糊单元123b或计算单元123c中的任意者执行。
[0055]
首先，在步骤s201中，获取单元123a获取输入数据201和在第一机器学习模型和第二机器学习模型中的每一者内使用的权重信息。输入数据201包括拍摄图像，并且在学习时的输入数据包括除训练图像以外的信息的情况下，也包括了相同的信息。权重信息获取自存储器124。
[0056]
随后，在步骤s202中，作为获取单元的去模糊单元123b通过使用第一机器学习模型和第二机器学习模型，从包括拍摄图像的输入数据201分别生成(获取)第一模型输出202和第二模型输出203。第一模型输出202和第二模型输出203是被去模糊的拍摄图像。第二模型输出203是所有模糊图像(非饱和模糊图像和饱和模糊图像二者)均被去模糊但可能发生伪影的图像。第一模型输出202是仅非饱和模糊图像被去模糊且未发生伪影的图像。在学习时的模型输出是校正残差的情况下，第一模型输出202和第二模型输出203也是校正残差。
[0057]
随后，在步骤s203中，计算单元123c基于第一模型输出202与第二模型输出203之间的比较，生成第二图204。本实施方式使用第一模型输出202与第二模型输出203之间的差作为比较，但是比较不限于此。作为另一示例，比较可以是第一模型输出202和第二模型输出203各自与拍摄图像之间的差(校正残差)的比。可选地，可以将第一模型输出202和第二模型输出203分割成多个局部区域，并且可以计算相同位置处的局部区域之间的相关度。在模型输出是校正残差的情况下，能够使用差、比或相关度中的任意者进行比较。
[0058]
第二图203是指示第一模型输出202与第二模型输出203之间的差满足预定条件的区域的图，并且在该区域处具有第二值。预定条件指示第一模型输出202与第二模型输出203之间的差大(或者差或比的绝对值大，或相关度小)。在本实施方式中，将预定条件设定为差的绝对值大于预定阈值，并且通过根据差是否大于预定阈值而使差二值化来生成第二图204。将差大于预定阈值的区域设定为1(第二值)，并将其它区域设定为0(第一值)。然而，本实施方式不限于此，可以通过以预定阈值(第二值)剪裁差来生成第二图204。
[0059]
图8a是第二图204的示例。值为1的白色区域代表差大于预定阈值的区域，并且值为0的阴影区域代表其它区域。由于第一模型输出202和第二模型输出203均使非饱和模糊图像去模糊，所以与非饱和模糊图像对应的区域中的差变小。另一方面，由于被去模糊的饱和模糊图像和伪影仅包括在第二模型输出203中，其区域具有大的差并出现在第二图204中，如图8a的白色区域211和212所示。图8a仅代表一种颜色成分的示例。在拍摄图像具有多种颜色成分的情况下，第二图204也具有多种颜色成分。在多种颜色成分如在bayer图像中那样排列在位于不同位置处的像素中的情况下，可以将拍摄图像、第一模型输出202和第二模型输出203分割成各个颜色成分，并且可以执行步骤s203之后的处理。
[0060]
随后，在图7的步骤s204中，计算单元123c基于第二图204和拍摄图像中的饱和像素的位置，生成第一图205。第二图204中的白色区域211和212各自均代表饱和模糊图像被去模糊的区域，或者发生伪影的区域。饱和模糊图像包括拍摄图像的饱和像素。即，当由白色区域211和212中的每一者围绕的区域不包括拍摄图像的饱和像素时，该区域包括伪影。
[0061]
图8b是通过利用饱和值使拍摄图像二值化而获得的图，并且仅代表值为1(第二值)的饱和像素和值为0的其它像素。基于在图8b中饱和像素的位置，能够看到由第二图204的白色区域212围绕的区域不包括饱和像素。即，白色区域212是发生伪影的区域。以这种方式，从第二模型输出203中，能够提取发生伪影的区域。
[0062]
在本实施方式中，具体地，如下从第二图204提取具有伪影的区域。首先，获取拍摄图像的饱和像素的位置。例如，图8b包括五个点，并且在左上的水平和垂直坐标(x,y)是(0,0)的情况下，这五个点的坐标分别是(3,8)、(3,9)、(4,7)、(4,8)和(4,9)。
[0063]
接下来，选择饱和像素的位置中的一个位置，并且获取围绕所选择的像素的位置。例如，当选择(3,8)时，周边的位置是(2,8)、(3,7)、(4,8)和(3,9)这四个点(或者可以是包
括斜向的八个点)。以这四个点中的每一者作为起点执行对第二图204的填充。填充是针对包括起点且具有与起点相同的信号值的封闭空间、用预定值(第一值)替换信号值的处理。
[0064]
在图8a的示例中，由于用1(第二值)代表差大的区域，所以用0(第一值)进行填充。对于填充，例如，使用扫描线种子填充算法(scanline seed fill algorithm)等。由于针对五个饱和像素中的每一者设定了四个点的起点，所以在这里重复二十次填充处理。通过填充，用0填充了图8a的白色区域211，并且仅白色区域212作为发生伪影的区域而余留。这就是指示第二模型输出203中发生副作用的区域的第一图205。
[0065]
饱和像素的位置可以获取自其它图像，只要该图像是基于拍摄图像的图像即可。例如，还可以使用第一模型输出202或第二模型输出203。可以在不使用二值化或剪裁的情况下，通过以下方法生成第一图205。在该方法中，第二图204是第一模型输出202与第二模型输出203之间的差本身，起点基于饱和像素的位置，并且去除差的值满足预定条件(差等于或大于预定阈值)的封闭空间。第一图图205是如下的余留图：已经从该余留图中提取了差值满足预定条件的区域。
[0066]
随后，在步骤s205中，作为生成单元的计算单元123c基于第一模型输出202、第二模型输出203和第一图205，生成估计图像206。在第二模型输出203中，拍摄图像的所有模糊图像(非饱和模糊图像和饱和模糊图像)被去模糊，但是可能包括伪影。在第一模型输出202中，仅非饱和模糊图像被去模糊，但是不包括伪影。第一图205是指示第二模型输出203中已经发生伪影的区域的图，在这里，用具有第二值1的像素指示伪影。因而，在第二模型输出203中，通过用第一模型输出202替换由第一图205指示的区域，能够获得估计图像206，在估计图像206中，拍摄图像中的所有模糊图像均被去模糊，并且抑制了伪影。
[0067]
可以使用加权平均来代替替换。在这种情况下，在由第一图205指示的发生伪影的区域中，用于第一模型输出202的权重大于用于第二模型输出203的权重。将所生成的估计图像206存储在存储器124中。在第一模型输出202和第二模型输出203是校正残差的情况下，通过在替换之后将该输出相加至拍摄图像，能够获取估计图像206。可以不必将第一模型输出202和第二模型输出203进行合成。例如，在根据第一图205判断为不存在伪影的情况下，可以使用第二模型输出203作为估计图像206，并且在判断为存在伪影的情况下，可以使用第一模型输出202作为估计图像206。由此，可能会降低对模糊图像的去模糊效果，但是能够始终获取副作用被抑制的估计图像206。
[0068]
接下来，将描述本实施方式的期望条件。以下条件能够适用于除了本实施方式以外的各个实施方式。首先，在拍摄图像具有多种颜色成分的情况下，第一图205对于所有颜色成分可以是共用的。如果针对每种颜色成分均执行步骤s203和s204，则由第一图205指示的具有伪影的区域因颜色成分而异。例如，在拍摄图像是raw图像的情况下，g可能会饱和，因而在附近的r和b是非饱和的时候仅g可能是饱和的。因此，饱和像素的位置可能因颜色而异，并且可能在第一图205中发生差异。如果使用对于各个颜色成分而言不同的第一图205，则例如，在图像的相同区域中，第一模型输出202用于r和b，第二模型输出203仅用于g，因而估计图像会看起来不连续。因此，第一图205对于所有颜色成分可以是共用的。可以使用诸如如下的方法：对所有颜色成分应用由特定颜色成分生成的第一图205的方法；以及当在第一图205内的相同或附近的像素中存在不具有第二值的一种颜色成分时，将所有颜色成分视为均不包括伪影，即将所有值均设定为除了第二值以外的值的方法。最有效地抑制伪影
的方法是如下的方法：当在第一图205内的相同或附近的像素中存在具有第二值的一种颜色成分时，将所有颜色成分视为包括伪影的颜色成分，即将所有值均设定为第二值。
[0069]
接下来，在拍摄图像、第一模型输出202和第二模型输出203具有多种颜色成分，并且是未显像的raw图像的情况下，可以基于白平衡系数生成第一图205。用户观看的图像处于应用了白平衡校正的状态。可以将步骤s203中的预定阈值设定为对于各个颜色成分而言不同的值，并且可以通过白平衡系数的比确定该值的比。可选地，预定阈值对于各个颜色成分而言可以是固定的，并且可以对待比较的拍摄图像、第一模型输出202和第二模型输出203进行白平衡校正。
[0070]
类似地，在拍摄图像、第一模型输出202和第二模型输出203是未显像的raw图像的情况下，可以基于伽马校正生成第一图205。用户观看的图像处于伽马校正后的状态。可以基于拍摄图像、第一模型输出202或第二模型输出203中的任一者的像素的信号值的大小和伽马校正来改变步骤s203中的预定阈值。伽马校正提高了暗区域中的灰度，并且降低了明区域中的灰度。因而，像素的信号值越大，则预定阈值越小，并且像素的信号值越小，则预定阈值越大。可选地，预定阈值可以是恒定的，并且可以对均要比较的拍摄图像、第一模型输出202和第二模型输出203进行伽马校正。在模型输出是校正残差的情况下，可以在输出被相加到拍摄图像的状态下考虑伽马校正。
[0071]
接下来，在第二图204中，可以在用第二值替换位于基于拍摄图像的饱和像素的位置处的像素之后，进行对第一值的填充。在第一模型输出202与第二模型输出203之间的比较中，拍摄图像的饱和像素的位置的差异可能是小的，并且在第二图204中该位置通常不具有第二值。在图8a中，位于拍摄图像的饱和像素的位置处的像素具有第一值。因此，即使在以拍摄图像的饱和像素的位置作为起点进行对第一值的填充的情况下，白色区域211也不会被填充。为了使白色区域211被填充，必须从围绕饱和像素的位置的位置开始。然而，例如，当将四个周边点设定为起点时，对各个起点均进行填充。因此，执行四次填充并且处理负荷变大。然而，在第二图204中，在用1(第二值)替换位于饱和像素的位置处的像素的情况下，能够仅以位于饱和像素的位置处的一个点作为起点来填充白色区域211，从而减轻了处理负荷。在图8a的情况下，重复填充的次数从二十次减少到五次。
[0072]
可以基于通过对第二图204的填充而被第一值替换的像素的位置来校正饱和像素的位置，并且可以从作为起点的基于校正后的饱和像素的位置的像素再次执行填充。例如，在图8a中，饱和像素的五个点各自均具有四个周边起点，因而填充的起点的数量是二十。然而，例如，当在将起点设定为(2,8)的状况下进行填充时，白色区域211会被完全填充，并且不必重复之后的填充。因此，可以获取通过填充而被第一值替换的像素的位置，并且可以将该位置从饱和像素的位置中排除。通过以余留饱和像素的位置作为起点进行下一次填充，能够减轻处理负荷。由此，在图8a的示例中，能够通过执行一次填充来生成第一图。
[0073]
如上所述，根据本实施方式，能够提供图像处理系统，其能够抑制在通过机器学习模型估计图像时固有发生的副作用。
[0074]
[第二实施方式]
[0075]
接下来，将给出本发明的第二实施方式中的图像处理系统的描述。本实施方式的目的是即使在模糊因制造偏差等而与学习到的模糊不同的情况下，也抑制过度校正并校正拍摄图像中的模糊。然而，本实施方式能够类似地适用于其它图像估计。
[0076]
图9是示出图像处理系统300的框图。图10是示出图像处理系统300的外观图。图像处理系统300包括学习设备301、摄像设备302和图像处理设备103，并且各设备经由网络等连接。摄像设备302包括光学系统321和图像传感器322、存储器323、通信单元324和显示器325。通过光学系统321和图像传感器322获取的拍摄图像包括由在光学系统321中产生的像差等导致的模糊。拍摄图像经由通信单元324发送给图像处理设备303。图像处理设备303包括存储器331、通信单元332、获取单元333、去模糊单元334和计算单元335。图像处理设备303被配置为经由通信单元332接收拍摄图像、通过机器学习模型执行去模糊和过度校正的抑制并生成估计图像。对于去模糊，使用在学习设备301中学习的权重。预先从学习设备301获取权重信息并将权重信息存储在存储器331中。本实施方式使用cnn作为机器学习模型，但是还能够应用于其它模型。
[0077]
接下来，将参照图11a和图11b给出本实施方式中的机器学习模型的描述。图11a和图11b中的每一者均是示出本实施方式中的机器学习模型的配置图。本实施方式使用图11a所示的第一机器学习模型和第二机器学习模型。从输入数据401起，第二机器学习模型被配置为生成第二模型输出402，第一机器学习模型被配置为生成第一模型输出403。在图11a的配置中，第一机器学习模型的一部分与第二机器学习模型相同。然而，如图11b所示，可以使用第一机器学习模型和第二机器学习模型中的每一者的一部分相同的配置。在图11b中，第二机器学习模型在分支之后仅具有一个层，但是本发明不限于此。稍后将描述第一机器学习模型和第二机器学习模型的学习的细节。
[0078]
第二机器学习模型被配置为基于光学系统321的设计值进行去模糊，并且生成第二模型输出402。在光学系统321的模糊因制造偏差等的影响而改变的情况下，去模糊的精度被恶化。在模糊大于设计值的情况下，第二模型输出402会校正不足。相反地，当模糊小于设计值时，第二模型输出402会过度校正。校正不足会致使图像具有拍摄图像与不模糊的理想被摄体的图像之间的中间分辨率、并且具有小于拍摄图像中的模糊的模糊，而过度校正会致使图像包括实不际存在的结构，诸如下冲。因而，本实施方式旨在抑制由制造偏差等导致的过度校正。第一机器学习模型被配置为使拍摄图像去模糊、抑制过度校正并生成第一模型输出403。第一机器学习模型在不与第二机器学习模型共用的后续层中进行过度校正的抑制。然而，无法准确地判断出在图像中什么被过度校正了。例如，在边缘被过度校正的情况下，过度校正导致诸如下冲和过冲(overshoot)等的副作用，因而容易判断过度校正。然而，在纹理被过度校正的情况下，不大可能出现诸如下冲等的副作用，因而难以判断纹理是被过度校正，还是纹理原本就是强纹理成分。因此，第一模型输出403包括具有被过度校正的纹理得以抑制或未抑制的区域的斑驳部分(mottled portion)，从而纹理的分辨率变得不连续。
[0079]
即，在第二模型输出402中，拍摄图像被去模糊，但是可能因制造偏差等的影响而被过度校正。在第一模型输出403中，拍摄图像被去模糊，并且抑制了边缘的过度校正，但是纹理的分辨率可能是不连续的。通过将第一模型输出和第二模型输出进行结合来生成估计图像，在该估计图像中拍摄图像被去模糊，并且抑制了边缘的过度校正和纹理的分辨率的不连续。稍后将描述其细节。在发生过度校正的情况下，第二模型输出402具有比第一模型输出403的空间频率强度高的空间频率强度。另一方面，在未发生过度校正的情况下，第二模型输出402具有相当于第一模型输出403的空间频率强度的空间频率强度。因此，第二模
型输出402具有等于或高于第一模型输出403的空间频率强度的空间频率强度。估计图像被发送给摄像设备302、存储在存储器323中并显示在显示器325上。
[0080]
如由图6的流程图所示的那样，通过学习设备301执行第一机器学习模型和第二机器学习模型中的权重的学习。然而，在本实施方式中，第一机器学习模型在第二机器学习模型完成学习之后进行学习。通过学习设备301的存储器311、获取单元312、计算单元313或更新单元314中的任意者执行图6的各个步骤。
[0081]
在步骤s101中，获取单元312从存储器311获取一对或多对输入数据和基础真实图像。通过将模糊添加至原始图像来生成用于第二机器学习模型的训练图像(模糊图像)，该模糊是根据光学系统321的设计值计算出的。确定诸如光学系统321的焦距、f数、聚焦距离、像高和方位角等的光学参数，并且利用与该光学参数对应的模糊生成训练图像。输入数据包括关于光学参数的信息。针对多个光学参数中的每一者重复相同的过程，以生成与光学系统321中发生的各种模糊对应的多条输入数据。由于输入数据包括关于光学参数的信息，所以机器学习模型能够通过使用光学参数将训练图像的模糊区分开，从而能够以高精度校正模糊。对于基础真实图像，原样使用原始图像，或者被添加小于光学系统321的模糊的模糊。
[0082]
作为用于第一机器学习模型的训练图像，除了通过生成用于第二机器学习模型的训练图像的方法生成的图像以外，还生成包括与光学系统321的设计值不同的模糊的图像。当光学系统321包括与设计值的差异时，进行学习。所述差异是由制造偏差、发生轴向色差或像场弯曲时的散焦等导致的。作为与设计值不同的模糊，可以使用例如通过将根据光学系统321的设计值计算出的模糊放大或缩小而获得的模糊等的模糊。还可以使用变形或旋转。存在诸如使用与光学参数不同的模糊的方法、对模糊进行锐化或模糊化的方法等的其它方法。对于被添加与设计值基本相同的模糊的训练图像，基础真实图像与第二机器学习模型的基础真实图像相同。可选地，可以使用用于训练图像的第二模型输出402作为基础真实图像。作为用于被添加大于设计值的模糊的训练图像的基础真实图像，使用用于训练图像的第二模型输出402。即，当拍摄图像包括大于设计值的模糊的模糊时，进行学习以进行不足的校正。对于具有小于设计值的模糊的模糊训练图像，基础真实图像与第二机器学习模型的基础真实图像相同。可选地，对于如下图像，基础真实图像可以是用于相同的原始图像被添加了与设计值的模糊基本相同的模糊的图像的第二模型输出402。利用该对训练图像和基础真实图像，能够作出模型学习以使得仅抑制过度校正。
[0083]
随后，在步骤s102中，计算单元313通过使用第一机器学习模型或第二机器学习模型从输入数据401生成第一模型输出403或第二模型输出404。
[0084]
随后，在步骤s103中，更新单元314基于第一模型输出403或第二模型输出402与基础真实图像之间的误差，更新用于第一机器学习模型或第二机器学习模型的权重。当第一机器学习模型进行学习时，与已经学习完的第二机器学习模型相同的部分的权重是固定的，并且不更新。即，在这种情况下，可以原样地使用用于第二机器学习模型的权重作为用于第一机器学习模型的权重。
[0085]
随后，在步骤s104中，更新单元314判断学习是否完成。将学习到的权重信息存储在存储器311中。
[0086]
接下来，参照图12，将给出由信息处理设备303执行的对拍摄图像的去模糊和过度
校正的抑制的描述。图12是示出本实施方式中的生成估计图像的流程图。
[0087]
首先，在步骤s301中，获取单元333获取输入数据以及第一机器学习模型和第二机器学习模型的权重信息。输入数据包括拍摄图像和关于当拍摄该拍摄图像时光学系统321的光学参数的信息。在图11a的配置的情况下，由于整个第二机器学习模型包括在第一机器学习模型中，所以可以仅获取第一机器学习模型的权重信息。
[0088]
随后，在步骤s302中，作为获取单元的去模糊单元334从输入数据分别生成(获取)在第一机器学习模型和第二机器学习模型中的第一模型输出403和第二模型输出402。在图11a的配置的情况下，由于整个第二机器学习模型包括在第一机器学习模型中，所以仅执行第一机器学习模型，并且生成第一模型输出403和作为中间输出的第二模型输出402。
[0089]
随后，在步骤s303中，计算单元335基于拍摄图像与第二模型输出402之间的比较，生成第一图。本实施方式计算拍摄图像与第二模型输出402之间的差，并且生成指示具有大于预定阈值的值的区域的第一图。第一图指示第二模型输出402中的具有大的校正残差且具有第二值的区域，该区域包括发生过度校正的边缘区域的区域。然而，该区域还包括校正残差大但适当进行了校正的区域。
[0090]
随后，在步骤s304中，作为生成单元的计算单元335基于第一模型输出403、第二模型输出402和第一图，生成估计图像。在第二模型输出402中，通过用第一模型输出403替换由第一图指示的具有大校正残差的区域来生成估计图像。通过用第一模型输出403仅替换具有大校正残差的区域，不对估计图像使用具有不连续分辨率的纹理。在第一模型输出403中，仅将被过度校正的边缘抑制到适当的分辨率，并且其它边缘具有与第二模型输出402的分辨率相同的分辨率。因此，能够在不使对边缘的校正效果恶化的同时，仅抑制过度校正。
[0091]
如上所述，根据本实施方式，能够提供图像处理系统，其能够抑制对于通过机器学习模型的图像估计而言固有的副作用。
[0092]
[第三实施方式]
[0093]
接下来，将给出本发明的第三实施方式中的图像处理系统的描述。在本实施方式中，对包括饱和像素的散焦模糊的散景(bokeh)进行转换是在通过机器学习模型来估计图像的情况下的目的。散景的转换是指将拍摄图像的失焦区域中的散焦模糊的分布转换成不同分布的处理。例如，将psf峰的分离所导致的二线模糊(two
‑
line blur)转换成具有平坦分布的圆形模糊或转换成gaussian分布函数。由此，能够使聚焦被摄体进一步锐化，或者能够改变拍摄图像的印象。本发明还能够以相同的方式应用于除了散景的转换以外的图像估计，并且能够获得效果。
[0094]
图13是示出本实施方式中的图像处理系统500的框图。图14是示出图像处理系统500的外观图。图像处理系统500包括学习设备501、摄像设备502、散景转换设备503和图像处理设备504。各个设备均经由有线或无线网络连接。
[0095]
摄像设备502包括光学系统521和图像传感器522。拍摄图像包括诸如在光学系统521中产生的二线模糊等的散焦模糊。图像处理设备504包括存储器541、通信单元542、计算单元543和显示器544，并且被配置为根据用户的输入，从摄像设备502获取拍摄图像并将拍摄图像发送给散景转换设备503。散景转换设备503包括存储器531、通信单元532、获取单元533和散景转换单元534，并且被配置为通过使用第一机器学习模型和第二机器学习模型来转换拍摄图像的散景。散景转换设备503被配置为从学习设备501获取第一机器学习模型的
权重信息和第二机器学习模型的权重信息，并且将其存储在存储器531中。学习设备501包括存储器511、获取单元512、计算单元513和更新单元514，并且被配置为学习第一机器学习模型和第二机器学习模型中的用于进行散景转换的权重。
[0096]
图像处理设备504被配置为分别获取通过在第一机器学习模型中和第二机器学习模型中进行散景转换而获得的第一模型输出和第二模型输出，并且被配置为生成抑制了机器学习模型中固有发生的副作用的估计图像。将估计图像显示在显示器544上，并且用户能够在查看所显示的图像的同时，进行诸如校正曝光等的编辑作业。尽管本实施方式针对机器学习使用cnn，但是本发明还能够应用于其它模型。
[0097]
如第一实施方式中的伪影一样，本实施方式的在机器学习模型中固有发生的副作用是由与实际被摄体不一致的信号的局部增大或减小所导致的伪影。如同第一实施方式中一样导致信号中的变化。饱和会导致信息的损失，并且因而机器学习模型必须改变用于转换具有包括饱和像素的散焦模糊的图像(即，具有饱和散景的图像)与具有仅包括非饱和像素的散焦模糊的图像(即，具有非饱和散景的图像)之间的散景的处理。然而，不能完全判断出饱和散景和非饱和散景，从而可能发生伪影。
[0098]
学习设备501被配置为如图6的流程图所示地那样执行通过第一机器学习模型和第二机器学习模型的权重的学习。本实施方式具有与图11a所示的配置相同的配置。然而，在本实施方式中，第一机器学习模型与第二机器学习模型之间的关系与图11a中的关系相反。此外，如第二实施方式中那样，可以使用图11b所示的配置，然而，在本实施方式中，第一机器学习模型与第二机器学习模型之间的关系与图11b中的关系相反。在本实施方式中，第二机器学习模型在第一机器学习模型完成学习之后进行学习。
[0099]
首先，在步骤s101中，获取单元512获取一对或多对输入数据和基础真实数据。输入数据包括训练图像。生成训练图像的方法与第一实施方式中的方法相同。然而，所添加的模糊是光学系统521的散焦。确定散焦量，并且添加对应的散焦模糊。生成处于散焦量为0的聚焦状态或处于各种散焦量的训练图像，并且将该训练图像用于学习。通过向原始图像添加要通过转换实现的散焦模糊来生成基础真实图像。散景的转换不恢复已经因模糊而损失的频率成分。因此，赋予给基础真实图像的散焦模糊的扩散等于或大于训练图像的散焦模糊。
[0100]
如第一实施方式中那样，第一机器学习模型被配置为仅转换非饱和散景。第二机器学习模型转换所有散景(即饱和散景和非饱和散景)，但是可能导致伪影。除了训练图像以外，输入数据可以包括视点与训练图像的视点不同的视差图像。视差使机器学习模型更容易在作为转换目标的失焦被摄体和不作为目标的聚焦被摄体之间进行区分，从而改善了散景转换的精度。在这种情况下，在估计时以相同的方式输入视差图像。代替视差图像，输入数据可以包括深度图或散焦图。
[0101]
随后，在步骤s102中，计算单元513通过使用机器学习模型，从输入数据生成模型输出。随后，在步骤s103中，更新单元514基于模型输出与基础真实图像之间的误差，更新用于机器学习模型的权重。如第二实施方式中那样，当第二机器学习模型进行学习时，用于与第一机器学习模型共同的部分的权重是固定的。随后，在步骤s104中，更新单元514判断学习的完成。将学习到的权重信息存储在存储器511中。
[0102]
在这里，第一机器学习模型和第二机器学习模型单独地进行学习，但是这两个学
习还能够一起进行。在这种情况下，对于一个训练图像，分别为第一机器学习模型和第二机器学习模型准备两个基础真实图像。假定损失函数是第一模型输出与第一基础真实图像之间的误差同第二模型输出与第二基础真实图像之间的误差的加权和，在第一真实图像中仅非饱和散景与训练图像不同，在第二真实图像中所有散景均与训练图像不同。由此，能够将第一机器学习模型和第二机器学习模型进行结合，从而能够一起进行学习。
[0103]
接下来，参照图15，将描述由图像处理设备504和散景转换设备503执行的、拍摄图像的散景被转换的估计图像的生成。图15是示出本实施方式中的生成估计图像的流程图。
[0104]
首先，在步骤s401中，作为图像处理设备504的发送单元的通信单元542将包括拍摄图像的输入数据和针对执行散景转换处理的请求发送给散景转换设备503。预先从摄像设备502获取拍摄图像并将拍摄图像存储在存储器541中。在学习时的输入数据包括除训练图像以外的信息的情况下，相同的信息与拍摄图像一起发送。
[0105]
随后，在步骤s402中，作为散景转换设备503的接收单元的通信单元532获取(接收)均发送自图像处理设备504的、包括拍摄图像的输入数据和与执行处理有关的请求。随后，在步骤s403中，获取单元533从存储器531获取权重信息。随后，在步骤s404中，作为第一生成单元的散景转换单元534通过使用第一机器学习模型和第二机器学习模型，从输入数据分别生成第一模型输出和第二模型输出。第二模型输出是所有散景均被转换的图像，但是可能包括伪影。第一模型输出是仅非饱和散景被转换的图像，并且不包括伪影。随后，在步骤s405中，通信单元532将第一模型输出和第二模型输出发送给图像处理设备504。
[0106]
随后，在步骤s406中，作为图像处理设备504的获取单元的通信单元542获取第一模型输出和第二模型输出。随后，在步骤s407中，计算单元543基于第一模型输出与第二模型输出之间的比较，生成第二图。在本实施方式中，如第一实施方式中那样，利用预定阈值使差二值化，以生成第二图。
[0107]
随后，在步骤s408中，计算单元543基于第二图和拍摄图像中的饱和像素的位置，生成第一图。在本实施方式中，如第一实施方式中那样，饱和散景包括饱和像素，因而通过从第二图中提取不包括饱和像素的伪影区域来生成第一图。在第一图中，将伪影指示为具有第二值的区域。
[0108]
随后，在步骤s409中，作为第二生成单元的计算单元543基于第一模型输出、第二模型输出和第一图，生成估计图像。在第二模型输出中，用第一模型输出替换具有由第一图指示的伪影的区域，由此能够生成不具有伪影的散景转换后的估计图像。
[0109]
如上所述，根据本实施方式，能够提供图像处理系统，其能够抑制在通过机器学习模型估计图像的情况下固有的副作用。
[0110]
[其它实施方式]
[0111]
本发明的实施方式还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施方式的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
[0112]
根据各个实施方式，能够提供图像处理方法、图像处理设备、图像处理系统和记录介质，每一者均能够抑制在通过使用机器学习模型估计图像的情况下固有发生的副作用。
[0113]
虽然已经参照示例性实施方式描述了本发明，但是应当理解，本发明不限于所公开的示例性实施方式。以上权利要求书的范围符合最宽泛的说明，以包括所有这些变型、等
同结构和功能。