一种基于无监督深度学习的自动白平衡算法及系统的制作方法

1.本发明涉及图像处理技术领域，更具体的说是涉及一种基于无监督深度学习的自动白平衡算法及系统。


背景技术：

2.白平衡算法（awb）主要的作用是将偏暖或者偏冷的色调自动恢复到正常色调，使图像看起来更加色彩饱满正常。传统的awb算法包含高级白平衡算法、灰度世界算法、完美反射法、基于深度学习的自动白平衡方法等等，在基于深度学习的自动白平衡方法中，采用有监督学习的算法流程为：根据标定的光源颜色，然后通过深度神经网络学习光强颜色。
3.但其存在以下缺陷：1）对于有监督的光源颜色估计算法，缺乏用基本真实光源注释的大型数据集。事实上，用于此目的的数据集通常是通过拍摄放置了具有已知色度特性的标准对象（例如彩色目标）的场景来获得的。而对于收集监督深度学习所需的大数据集显然是不切实际的。2）所学习的模型通常专门用于对于训练集的相同设备获取的图像的处理。它们应用于其他设备拍摄的图像需要某种形式的适应或再训练。
4.因此，研发一种可有效解决深度学习训练数据获取难，多设备适应性差等问题的白平衡算法是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于无监督深度学习的自动白平衡算法及系统，有效解决了深度学习训练数据获取难，多设备适应性差等问题。
6.为了实现上述目的，本发明提供如下技术方案：一种基于无监督深度学习的自动白平衡算法，具体步骤为：获取rgb颜色空间图片rgb_img；将rgb颜色空间图片rgb_img变换成线性颜色空间图片rgb_degamma；将线性颜色空间图片rgb_degamma经过颜色空间转换为灰度图gray_degamma；对灰度图gray_degamma随机裁剪获得灰度裁剪图gray_crop，并对灰度裁剪图gray_crop进行归一化处理；将归一化处理后的灰度裁剪图gray_crop输入预估网络中获得光源颜色；根据光源颜色对rgb颜色空间图片rgb_img进行白平衡处理。
7.可选的，线性颜色空间图片rgb_degamma通过反伽马变换操作获得。
8.可选的，预估网络的构建步骤为：搭建基础预估网络；获取训练图片；对训练图片进行预处理；将预处理后的训练图片输入基础预估网络，获得权值映射，并通过计算得到预估的光源颜色；
基于损失函数计算当前损失loss；根据当前损失loss更新基础预估网络的预测模型的参数，当loss不再下降，趋于稳定时，得到光源颜色预测模型，完成预估网络训练。
9.可选的，预估网络的构建步骤还包括基于标记有光源颜色数据集对光源颜色预测模型进行微调。
10.可选的，在将预处理后的图片输入基础预估网络之前，将预处理的图片进行数据增强，包括：a.颜色扰动；b.水平垂直方向翻转；c.加轻微噪声；d.裁剪。
11.可选的，预估的光源颜色的计算公式为：；式中，为图片的高；为图片的宽；为经过欧几里德范数向量归一化后的值；和为图片中的像素坐标；为图片像素点的值；为权值映射值。
12.可选的，当前损失loss的计算公式为：；式中，为1e-4，其中ir，ig，ib为预估的光源颜色。
13.一种基于无监督深度学习的自动白平衡系统，包括：数据获取模块：用于获取rgb颜色空间图片rgb_img；数据预处理模块，用于根据rgb颜色空间图片rgb_img获得灰度裁剪图gray_crop；网络训练模块：用于根据基础预估网络完成对光源颜色预测模型的训练，获得预估网络；白平衡模块：用于根据预估网络的输出光源颜色对rgb颜色空间图片rgb_img进行白平衡处理。
14.经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于无监督深度学习的自动白平衡算法及系统，不仅训练出一个光源颜色估计模型，突破了数据标注采集等限制，还可将训练好的模型移植手机以及相机中，解决了传统方法中适应性差的问题；本发明还解决了传统方法对大面积纯色图片白平衡参数估计不准确的问题。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
16.图1为本发明的方法流程示意图；图2为本发明的网络结构示意图；
图3为本发明的系统结构图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.本发明实施例公开了一种基于无监督深度学习的自动白平衡算法，如图1所示，具体步骤为：步骤1、数据收集和预处理，目标是生成可供网络学习的灰度图，具体为：数据收集：从网络上收集大量的rgb颜色空间的图片；数据的预处理：为减少亮度因素对网络训练的影响，将rgb颜色空间图片rgb_img经过反伽马变换操作变换成rgb_degamma；因收集的数据是不同传感器、不同环境、不同光照条件下拍摄的，为了方便网络学习检测图片中的灰区（灰区：即rgb颜色空间图片中r=g=b的区域），将rgb_degamma经过颜色空间转换rgb-》gray成灰度图gray_degamma；对灰度图gray_degamma进行随机裁剪成灰度裁剪图gray_crop，并进行归一化处理。
19.步骤2、网络训练，目的是获取图片的光源颜色。
20.网络学习的原理为：将大小为h*w(其中h表示图片的高，单位为pixel，w表示图片的宽，单位为pixel)的rgb空间图片，经过数据预处理后送入网络中，得到权值映射，大小也为h*w，其代表的意义是对图片中灰区赋予较高的权重，对其他非灰区赋予小的权重，最后通过下列公式转换为光源颜色，计算公式为：
ꢀꢀꢀꢀꢀꢀ
（1）；式中，为图片的高；为图片的宽；为经过欧几里德范数向量归一化后的值，为图片像素点的值；为权值映射值。
21.网络训练的具体步骤为：步骤21、把上述数据预处理后的灰度裁剪图gray_crop经过一些数据增强送入网络（数据增强方法a.颜色扰动 b.水平垂直方向翻转 c.加轻微噪声 d.裁剪）；步骤22、通过结构如图2所示的网络，得到网络输出值ir，ig，ib，其中ir，ig，ib分别代表网络估计出的光源颜色；步骤23、通过损失函数计算当前损失loss；具体为：
ꢀꢀꢀꢀꢀꢀ
(2)；式中，为1e-4，其中ir，ig，ib为预估的光源颜色。
22.其中，本实施例中的损失函数是为了使网络能根据训练数据学习出图片的灰区，然后根据灰区计算出图片的光源颜色。
23.步骤24、根据损失loss更新网络模型参数，并得到最终效果最好的初始光源颜色预测模型；步骤25、得到初始模型后，可在标记有光源颜色数据集里微调可以得到更适配sensor的光源颜色预测模型。
24.其中，本实施例中的网络通过训练一个卷积神经网络来选择哪些像素应该被用来估计光源的颜色。更准确地说，估计将是输入像素的加权和，其中权值是网络的输出。对于h
×
w(其中h表示图片的高，单位为pixel，w表示图片的宽，单位为pixel)的输入rgb图像，网络输出一个权值映射(∈[0,1])，然后将权值映射通过公式(1)计算成光源颜色i。
[0025]
步骤3、进行白平衡处理，具体为：步骤31、将需要白平衡处理的数据经过数据预处理后送入加载模型的网络，得到网络估计的光源颜色ir，ig，ib；步骤32、根据网络输出的值对图片进行白平衡处理。
[0026]
本实施例根据训练出的光源颜色估计模型，突破了数据标注采集等限制。训练出的模型可移植到相机、手机等终端设备用于白平衡矫正；解决了传统方法对大面积纯色图片白平衡参数估计不准确的问题；经过imatest测试，在低色温和低照度情况下，白平衡的灰阶还原度在90%以上，正常情况下的灰阶还原度达到95%以上。
[0027]
在另一实施例中，还包括一种基于无监督深度学习的自动白平衡系统，如图3所示，包括：数据获取模块：用于获取rgb颜色空间图片rgb_img；数据预处理模块：用于根据rgb颜色空间图片rgb_img获得灰度裁剪图gray_crop；网络训练模块：用于根据基础预估网络完成对光源颜色预测模型的训练，获得预估网络；白平衡模块：用于根据预估网络的输出光源颜色对rgb颜色空间图片rgb_img进行白平衡处理。
[0028]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0029]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。