用于相机自适应颜色恒常性的元学习的制作方法
本发明涉及准确估计场景照明颜色，以便对数字图像执行自动白平衡(autowhitebalancing，awb)。
背景技术：
数字图像预处理的一个重要部分是评估场景照明效果，从而使图像看起来很自然。估计和校正场景光源颜色通常称为“颜色恒常性(colorcontancy，cc)”或自动白平衡，是数字摄影中的图像信号处理(imagesignalprocessing，isp)流程的一个算法部分。计算cc的过程可以定义为：将在未知光源下捕获的源图像变换到标准光源(白色光源)下表示同一场景的目标图像。对于许多实际应用，包括基于颜色的对象识别、细粒度分类、语义分割和机器视觉质量控制，能够准确记录固有场景颜色信息也是非常重要的。这些应用通常要求输入图像是与设备无关且不偏色的图像，但是捕获到的图像颜色始终受到场景中普遍存在的光源颜色的影响。这些从场景表面提取固有颜色信息的实际需求强调了能够补偿场景光源颜色的重要性。
cc算法通常包括两个阶段，以获得目标图像：第一，估计场景光源颜色；第二，根据光源变换源图像，从而消除所产生的图像照明的色差。由于第一阶段本身是一个约束不足问题，可以认为是一个不适定问题，所以第一阶段存在挑战性任务。表面反射属性和照亮表面的光线的光谱功率分布共同决定了表面的颜色。因此，场景照明变化会改变图像表面外观的颜色。这种属性组合使得问题难以确定。明确地说，固有表面反射率、光源光色和相机光谱感光度(cameraspectralsensitivity，css)这三个物理因素都是未知的，都需要进行估计。然而，在实践中，只能观察到这些因素带来的效果，如在数字图像中测量到的效果。
更具体地，三色光敏传感器响应曲线的标准建模方式如下所示：
ρk(x)＝∫ωe(λ)s(λ，x)rk(λ)dλk∈{r，g，b}(1)
其中，ρk(x)是像素位置x上颜色通道k的强度，λ是光线的波长，使得：e(λ)表示光源的光谱，s(λ,x)表示像素位置x上的表面反射率，rk(λ)表示通道k的css，css包含全部可见光波长ω。此时，计算cc的目标是：估计全局照明颜色
由于光源颜色和表面反射率的许多组合得到的图像值相同，所以通过等式(2)求解每个k的
关于单图像光源颜色估计的研究大体上可以分为基于统计的方法和基于学习的方法。传统方法利用低级统计数据来实现灰度世界假设的各种实例：假设在中性光源下，场景中的平均反射率是消色差的。灰度世界及其扩展版本以这些假设为基础，这些假设将场景反射率统计数据(例如，均值、最大反射率)与场景颜色的消色差联系在一起。相关假设定义了理想反射率，产生了白色块(white-patch)方法。
数码相机流程通常采用统计颜色恒常性方法来估计未知的场景光源。统计方法速度快，通常包含少量自由参数。然而，性能很大程度依赖于强场景内容假设，而且在假设不成立的情况下，性能会急剧降低。
之前的研究利用传统机器学习方法，这些方法依赖于手工提取的图像特征。数据学习方法的最新进展显示，提高了awb任务的准确性。基于学习的方法包括组合方法和直接方法。组合方法根据观测到的场景对输入图像执行统计方法的最优组合。然而，所产生的质量取决于所涉及的单一法，最终效果是这些方法组合的效果。当代基于学习的方法学习最优图像特征，还直接学习将图像信息映射到场景光源颜色，目前可以认为是估计准确性方面的最先进技术。
在神经网络的背景下，模型是一种神经网络架构，包含与其相关的权重，这些权重用于估计某个图像的场景照明。这些权重是在训练过程中使用图像及其相关的地面真实场景照明学习来的。最近备受关注的基于深度学习的颜色恒常性方法在本质上是一种监督方法，通常需要大量的校准和手动标记的传感器特定的带注解的图像数据集，以学习每个目标设备的鲁棒模型。
如果存在大量标记和校准的传感器数据，则表明传统的基于学习的方法能够获得最高估计准确性。然而，由于通常需要在要捕获图像的场景中放置物理校准对象，所以认为针对颜色恒常性问题的监督训练方法中的图像收集和校准成本较高且会受到限制，之后为了提取真实(ground-truth，gt)光源信息，需要在图像空间中精确分割该对象。对人工图像标记的监督学习要求也使得新传感器的数据采集既耗时成本又高。
在一种已知方法中，如sbianco，ccusano和rschettini在cvpr研讨会(2015年)上发表的《colorconstancyusingcnns》所述，卷积神经网络(convolutionalneuralnetwork，cnn)用于预测场景照明。以图像点为输入，cnn在空间域中操作，不使用手工提取的特征。该网络由一个具有最大池能力的卷积层、一个全连接层和三个输出节点组成。在网络结构内，特征学习和回归集成在一个优化过程中。对空间照明不同的图像进行的实验证明了cnn的局部光源估计能力比较稳定。
在另一种方法中，如nikolabanic和svenloncaric在arxiv(2018年)上发表的《unsupervisedlearningforcolorconstancy》所述，提出了一种基于无监督学习的颜色，该方法在对逼近训练图像的未知真实照明之后学习模型的参数值。这样，该方法避免使用已知真实照明的校准图像。
cn106412547a和cn107578390a还描述了使用神经网络来校正图像白平衡的方法。
不停的图像采集、大量的手工工作以及准确但需要大量数据的深度学习方法相结合，阻碍了对模型进行快速、高效、低成本的监督训练，这个模型能够使新的目标设备传感器进行非常准确又鲁棒的光源估计。
新传感器硬件设备的生产率高，促使人们需要能够提供准确awb性能的技术，这是深度学习部分的典型特征，但只需要低成本的图像数据。
技术实现要素：
根据第一方面，提供了一种处理实体。所述处理实体用于：通过以下步骤生成一种模型，其中，所述模型用于估计由相机捕获的源图像的场景照明颜色：获取图像集，其中，每个图像由相应的相机捕获，所述图像集整体包括由多个相机捕获的多个图像；通过将所述图像集中的每个图像分配给相应的任务使得所述同一任务中的图像存在一个共同点：这些图像的属性在预定范围内，从而形成任务集；通过重复执行以下操作，训练所述模型中的参数：选择至少一个任务，根据所述任务中的第一图像子集形成临时模型参数集，对照所述任务中的第二图像子集估计所述临时模型参数集的质量，根据所述临时参数集和所述估计质量更新所述模型中的所述参数。通过生成具备快速任务自适应能力的模型，可以在不访问大规模训练数据的情况下准确地为图像传感器推断出场景光源。
可以定义所述预定范围，使得所述预定范围对应于图像的色温集和/或捕获所述图像的相机的色温集。每个任务中的多个图像存在一个共同点：所述多个图像由单个相机捕获。一个图像可能存在一个完整的色温范围(例如，可以是0～12000k)，这个色温范围可以划分到离散直条集。然后，根据每个图像的色温分配一个直条。
如果每个相机捕获的多个图像的色温相差很大，则可以将多个像素分配到不同直条。可以为期望数目的直条定义分割点，如果图像的色温在分割点定义的范围内，则将图像分配到各自的直条。这是一种将图像分配到色温直条的简便方式。确定图像的色温并根据图像色温将图像分配到任务是一种将图像分配到任务的简便方法。每个相机任务分配有子任务集可以有助于获得良好性能，rgb光源校正在子任务集中聚类。
所述色温可以是相关色温(correlatedcolourtemperature，cct)。cct是普朗克轨迹上最接近非普朗克光源的点，反映了图像色温。这提供了一种确定图像色温的简便方法。
每个相机可以为相机类型。可以形成任务，使得不同的任务对应于不同相机类型。例如，每个相机可以是特定制造商生产的某个型号的相机。设备特定css会影响所捕获图像的色域和场景照明记录。根据相机类型分配任务可以有助于确保所生成的模型对css存在鲁棒性。
可以通过少样本学习执行所述训练步骤。可以通过元学习算法执行所述训练步骤。这种算法的一个示例是未知模型元学习(model-agnosticmeta-learning，maml)算法。maml算法能够在对少样本数据集进行几步标准训练之后确定好的初始化参数。
所述相机的光谱感光度变化很大和/或所述图像的场景内容比较多样化。本发明使用多个数据集来训练一种对css具有鲁棒性的模型。少样本元学习技术可以应用于许多相关但又不同的光源估计任务，这些估计任务中包括的图像来自多个光谱感光度不同和场景内容多样化的相机源。所述模型仅使用少量标记目标设备的数据，就能学会迅速适应新的传感器，并推断出准确场景光源。
所述图像包括指示拍摄所述图像使用的相机的数据。这可以有效地将图像分配到各自的任务。
所述处理实体还用于：所述处理实体还用于：通过以下操作训练针对另一相机的算法：获取图像集，其中，每个图像由所述另一相机捕获；通过将所述图像集中的每个图像分配到相应的任务使得所述同一任务中的多个图像存在一个共同点：这些图像的属性在预定范围内，从而形成任务集；在这些任务上训练所述模型中的参数。这可能通过模型学习快速适应和泛化到新的传感器，并推断出之前没有出现的相机所观察到的图像的准确场景光源。
所述获取的图像集可以形成少样本集。这可能导致模型仅使用少量标记目标设备的之数据就表现出强大的性能，而前的技术使用数百或数千个像素点。
根据第二方面，提供了一种生成模型的方法，其中，所述模型用于估计由相机捕获的源图像的场景照明颜色。所述方法包括：获取图像集，其中，每个图像由相应的相机捕获，所述图像集整体包括由多个相机捕获的多个图像；通过将所述图像集中的每个图像分配给相应的任务使得所述同一任务中的多个图像存在一个共同点：这些图像的属性在预定范围内，从而形成任务集；通过重复执行以下操作，训练所述模型中的参数：选择至少一个任务，根据所述任务中的第一图像子集形成临时模型参数集，对照所述任务中的第二图像子集估计所述临时模型参数集的质量，根据所述临时参数集和所述估计质量更新所述模型中的所述参数。通过生成具备快速任务自适应能力的模型，可以在不访问大规模训练数据的情况下准确地为图像传感器推断出场景光源。
所述方法还可以包括：通过所述模型确定由非相机集中的相机收集的图像的光源颜色。所述方法只需要少数标记像素点，本质上学会泛化到新的、之前没有出现的相机。因此，awb算法能够实现可测量和可感知的高质量图像光源估计，并且能够只用少量数据像素点泛化到新的图像传感器。可以在不访问大规模训练数据的情况下准确地为图像传感器推断出场景光源并生成具备快速任务自适应能力的模型，从而使用极少的训练图像对新的相机传感器进行光源推断(通常比该任务中的典型图像少至少一个数量级)。
所述方法还可以包括：根据所述确定的光源颜色转换所述图像。所述变换图像可以表示所述源图像在标准光源下的场景。这样可以校正场景照明，使目标图像中的图像看起来自然。
根据第三方面，提供了一种包括处理器的相机。所述处理器用于：通过根据本文所述的方法生成的模型，确定由相机收集的源图像的光源颜色。
附图说明
现将参考附图通过示例的方式对本发明进行描述。在附图中：
图1(a)示出了预白平衡图像绘制在
图1(b)示出了属于光源相似的相同场景、使用两个相机捕获的gt数据点。
图2(a)示出了定义任务分布的建议策略的概述。
图2(b)示出了k样本元学习的过程。
图3示出了根据本发明的用于执行awb的元学习算法的一个示例。
图4示出了根据本发明的一种生成模型的方法，其中，所述模型用于估计由相机捕获的源图像的场景照明颜色。
图5示出了根据本发明的一种包括用于执行awb的相机的架构的一个示例。
图6示出了使用元学习方法执行自动白平衡任务优于p20pro智能手机中的现有awb估计方法的角度误差结果。
具体实施方式
本发明涉及一种实现awb全监督卷积回归的元学习方法。
awb学习任务包括学习根据某个图像正确推断场景光源颜色。元学习awb任务可以通过多种方式实现。元学习awb方法的最基本设置必须包含至少三个部分：
1.元学习框架：能够成功在相似但又不同的任务上进行泛化。
2.任务定义：对各个学习任务进行实例化。这些像素点定义了适当的任务分布。
3.学习架构：即能够学习根据图像推断场景光源的回归模型。在一个示例中，学习架构包括实现图像数据到{r，g，b}三元组的光源回归的卷积神经网络。
下面将描述一种实现awb任务的方法。
假设使用相机c在颜色未知的光源下捕获到rgb图像i。其目的是为了估计全局光源校正向量ρ＝[r，g，b]，使得校正后的图像i*看起来与标准图像(即，在白色光源下捕获的图像)相同。一个场景可能包含多个光源，但遵循的是标准简化假设，而且每个图像都进行了单次全局光源校正。
将光源估计转化为回归任务
角度误差是一个标准度量，对向量
假设一个数据集包括使用单个相机c在不同的照明条件下捕获的多个图像，人们可以学习回归全局光源。虽然有许多可用的数据集，但大多数数据集只包含少量图像，而且是相机特定的。这使得深度学习技术的性能受到限制，通常需要只对准相关任务进行积极数据增强和/或预训练。
另外，设备特定相机光谱感光度(cameraspectralsensitivity，css)会影响所捕获图像的色域和场景照明记录。因此，由不同相机捕获的图像可能呈真实光源分布，占据色度空间的不同区域。这意味着，如果由不同相机捕获，统一场景和光源下的两个图像会存在不同的光源校正。因此，在对从多个相机采集的图像进行训练/测试时，模型性能可能会受到限制。
本发明使用多个数据集来训练一种对css具有鲁棒性的模型。使用来自不同相机的图像推导出模型训练的优化阶段使用的任务。目的是为了将所有可用图像分割到任务集，使得：(a)各个任务独特且多样化，但足以学习良好的模型初始化；(b)一个任务包含具有一定均匀性的像素点。当仅使用少量训练图像对模型进行微调时，一定均匀性会产生良好性能。
如果图像的至少一个属性在预定范围内(即，一个任务中的图像具有相似属性)，则将这些图像分配给同一任务。在一个示例中，图像的属性可以是图像的色温(colortemperature，ct)。ct是摄影技术中常用的一种测量方法，常用于高端相机以描述光源颜色，从而设置白平衡。根据定义，ct测量的是加热普朗克(或黑体)辐射体以产生特定颜色的光线所需的温度，以开尔文温度为单位。普朗克辐射体定义为一个理论对象，是可见光线的理想辐射体。普朗克轨迹是黑色辐射体的颜色随温度升高在色度空间中形成的路径，有效显示了所有可能的色温。实际上，大多数光源的色度不在普朗克轨迹上，于是需要计算相关色温(correlatedcolourtemperature，cct)。cct是普朗克轨迹上最接近非普朗克光源的点。直观上，cct是对光源颜色的描述，可以从在这种光线下捕获的照片中近似得到。不同的温度可以与不同类型的光线相关联。待分配给任务的图像集中的一个图像可能存在一个完整的色温范围(例如，可以是0～12000k)，这个色温范围可以划分到离散直条集。然后，根据每个图像的色温分配一个直条。
图像的另一属性是捕获图像的相机的类型。例如，相机可以是特定制造商生产的特定型号的相机。如上所述，设备特定css会影响所捕获图像的色域和场景照明记录。这种情况下，可以将图像归类到相应任务中，每个直条对应于使用不同相机捕获的图像。
还可以根据其它图像属性将图像分配给相应任务。例如，图像中存在(或不存在)对象类别等语义属性。例如，一个任务直条可能包含狗的所有图像，另一个直条可能包含猫的所有图像。
将图像分配给任务所依据的另一个语义属性是场景类型。图像可以标记有图像的内容，例如，室内、室外、白天、夜晚、海滩、森林或天空。这些场景类型可以再次定义任务的组距。
该属性还可以是连续属性，例如，低级视觉和包含图像噪声级和图像iso级等信号处理连续值属性。
在一种用于生成任务分布的可能方法中，如上所述，将相机类型定义为任务。这通常需要大量的相机特定数据，以便为训练提供足够多的任务。另外，由于存在多种多样的场景和光源，预计会观察到一个相机数据集内的光源校正存在较大可变性。多样化任务很难获得良好性能，尤其是当每个相机特定型号在少样本设置中进行微调时。因此，在一个优选示例中，每个相机任务也可以与rgb光源校正进行聚类的子任务集相关联。基于色域的颜色恒常性方法假设光源的颜色受到图像颜色的约束。在定义子任务时，使用了一个类似的假设，其目的是在同一任务中重新组合主色相似的图像。
对于每个图像，cct通过下式计算：
其中，n＝(x-xe)(y-ye)，ai、ti、xe和ye为常数。变量x、y是色度空间中的坐标，可以很容易根据图像的rgb值估计得到。
然后，计算直方图hs，包含相机s的cct值的m个直条，将每个任务定义为每个直方图直条中的图像集。
因此，将任务t(ds，m)∈τ定义为：
其中，cam(i)是用于获取图像i的相机，
因此，在本示例中，awb任务分布可以定义为根据众多相机和图像温度直条的直方图捕获的图像。使用这些属性的元任务的有效性如图1(a)和图1(b)所示。图1(a)示出了预白平衡图像绘制在
定义任务分布的策略如图2(a)所示。鉴于20所示的相机集和21所示的相机特定图像，根据光源颜色将图像分隔到子任务中。这通过如22所示计算每个图像的色温并为每个相机构建如23所示的cct直方图来实现。将同一任务中的图像定义为使用同一相机捕获的属于同一cct直方图直条的图像。
然后，可以使用元学习框架在多个任务上训练模型。元学习框架的一个例子是未知模型元学习法(model-agnosticmeta-learning，maml)。在本发明中，元学习的目标是在各种学习任务上训练模型，从而只使用少量训练像素点就能够解决新的学习任务。maml简单，但目前能够解决少样本回归/分类和强化学习问题，产生最新结果。maml学习好的网络初始化参数，这样，在对少样本数据集进行几步标准训练步骤之后，网络将很好地执行这个少样本任务。
该方法旨在找到最佳初始化参数，使得在少数梯度更新中，仅使用少数训练像素点完成没有出现的新任务，从而获得良好的性能。k样本元学习的过程如图2(b)所示。
假设任务集τ如等式(5)定义，每个maml迭代采样一批任务τi。如图2(b)中的24所示(“内部更新”)，对于每个任务，随机采样k个元训练图像，并用来训练具有原始参数θ的模型fθ，以进行n次标准梯度下降更新。将模型的参数θ更新为任务特定参数θi：
其中，α是学习速率参数，
如图2(b)中的25所示(“外部更新”)，将全局参数更新为：
其中，β是元学习速率参数。
在测试时，在n次梯度更新和k个训练像素点之后，使用等式(6)优化没有出现的新任务的参数。
然后，每个测试图像i的光源校正可以计算为：
图3示出了一种用于执行awb估计元学习的算法的一个示例。
图4总结了根据本发明的一种生成模型的方法，其中，所述模型用于估计由相机捕获的源图像的场景照明颜色。在步骤401中，所述方法包括获取图像集，其中，每个图像由相应的相机捕获，所述图像集整体上包括由多个相机捕获的多个图像。在步骤402中，通过将所述图像集中的每个图像分配到相应的任务使得所述同一任务中的图像存在一个共同点：这些图像的属性在预定范围内，形成任务集。步骤403包括：通过重复执行以下操作，训练所述模型中的参数：选择至少一个所述任务，根据所述任务中的第一图像子集形成临时模型参数集，对照所述任务中的第二图像子集估计所述临时模型参数集的质量，根据所述临时参数集和所述估计质量更新所述模型中的所述参数。
然后，所述模型可以用于确定由相机收集的图像的光源颜色，所述相机不在所述相机集中。一旦确定，光源校正则可以应用到源图像，以将源图像转换为目标图像。目标图像表示源图像在标准光源下的场景。
图5示出了一种包括使用模型执行awb的相机的架构的一个示例。相机1连接到通信网络。相机1包括图像传感器2。该相机还包括存储器3、处理器4和收发器5。存储器存储有非瞬时性代码，该代码可以由处理器4运行。在一些实施方式中，该代码可以包括如上所述的元学习算法。该算法可以包括处理器直接可执行的代码，和/或神经网络权重等参数，这些参数不是直接可执行指令，而是用于配置存储在存储器3中的其它可执行代码。收发器5可能能够通过有线和无线通信信道之一或两者发送和接收数据。例如，收发器5可以支持以太网、ieee802.11b，以及或者4g或5g等蜂窝协议。
这种相机1通常包括一些机载处理能力。这可以由处理器4提供。处理器4还可以用于设备的基本功能。
收发器5能够通过网络与其它实体10、11通信。这些实体可能物理上远离相机1。该网络可以是可公开访问的网络，例如，互联网。实体10、11可以基于云。实体10为计算实体。实体11为命令和控制实体。这些实体是逻辑实体。实际上，这些实体可以是一个或多个物理设备，例如，服务器和数据存储器，两个或多个实体的功能可以由单个物理设备提供。作为实体的每个物理设备包括处理器和存储器。这些设备还可以包括收发器，用向相机1中的收发器5发送数据以及从相机中的收发器5接收数据。存储器以非瞬态方式存储代码，处理器可执行代码按照本文描述的方式实施相应实体。
命令和控制实体11可以训练用于估计源图像的照明颜色的模型。虽然可以高效地描述所得到的模型，但这通常是一个计算密集型任务，所以，在云中开发算法可能是有效的，在云中可以预计获得大量能量和计算资源。可以预计，这比在典型相机上形成这样的模型更有效。
在一种实施方式中，一旦在云中开发了算法，命令和控制实体可以自动形成对应的模型，并该模型发送到相关摄像设备。在本示例中，处理器4在相机1中执行awb。
在另一种可能的实施方式中，图像可以由相机传感器2捕获，图像数据可以由收发器5发送到云端进行处理，包括图像信号处理器流程中的awb。然后，将得到的目标图像发回相机1，如图5中的12所示。
因此，该方法可以通过多种方式部署，例如在云中、在设备上或者在专用硬件中部署。如上所述，云设施可以执行培训，以开发新的算法或修正现有算法。根据计算能力，训练可以放置在存储/靠近源数据的服务器，否则通过推理引擎等在云上进行。awb校正也可以在相机中、在专用硬件中或在云端执行。
图6示出了使用所描述的元学习方法执行自动白平衡任务优于在p20pro智能手机上使用的现有方法的角度误差结果。
本发明解决了图像传感器在不获取大量训练数据的情况下准确推断场景光源的问题。生成能够快速适应任务的模型，使用极少的训练图像对新的相机传感器进行光源推断，通常比该任务中的典型图像少至少一个数量级。
因此，awb算法能够实现可测量和可感知的高质量图像光源估计，并且能够只用少量数据像素点泛化到新的图像传感器。
传统的自动白平衡技术往往是专用的，而且适应新的方案和设备并不简单。元学习方法简化了这种优化，不依赖于大型训练数据集。与之前提出的方法相比，本文描述的技术仅需要少数标记的像素点，本质上学会泛化到新的、之前没有出现的相机。
本发明通过引入应用于许多相关但又截然不同的光源估计任务的少样本元学习技术来解决传感器通用化问题，这些估计任务包括的图像来自多个光谱感光度不同和场景内容多样化的相机源。该模型仅使用少量标记目标设备的数据，就能学会迅速适应新的传感器，并推断出之前没有出现的相机所观察到的图像的准确场景光源。
与之前基于学习的针对awb问题的方法相比，本方案的关键优势在于，能够快速适应，从而仅使用几个标记的图像示例即可提高新型传感器的性能。通过只使用少数标记目标设备的数据，该方法的性能很强大。这样，该方法通过模型学习快速适应和泛化到新的传感器，并推断出之前没有出现的相机所观察到的图像的准确场景光源。
申请人特此单独披露本文所述的每一个特征以及两个或两个以上此类特征的任何组合，只要这些特征或组合能够根据本说明书作为一个整体进行，考虑到本领域技术人员的一般知识，无论这些特征或特征组合是否解决本文所揭示的任何问题，且不限于权利要求的范围。鉴于上述描述，本领域技术人员显而易见，可以在本发明的范围内进行各种修改。
- 还没有人留言评论。精彩留言会获得点赞！