专利名称：一种基于图像导数结构的颜色恒常性计算方法及系统的制作方法
技术领域：
本发明属于颜色恒常性计算和图像光照处理技术领域，具体涉及一种基于图像导
数结构的颜色恒常性计算方法。
背景技术：
颜色作为一种简单、直接且有效的特征已经广泛应用于物体识别、图像检索、场景 理解等各种计算机视觉相关领域。但是颜色又是一种极其不稳定的图像特征，任何一种成 像设备所获取的图像颜色至少依赖于三种主要的因素场景中物体表面的物理反射特性、 成像时场景中的光照条件以及成像设备的成像参数，因此，同一场景在不同光照下的图像 颜色有可能存在巨大的差异。幸运的是，人类视觉系统的颜色恒常性功能能够很好地消除 光照对颜色的影响，得到一种稳定的颜色感知。为了提高计算机视觉系统颜色视觉的稳定 性，类似的颜色恒常性功能对于计算机视觉系统来说也是非常必要的。因此，颜色恒常性计 算是计算机视觉中 一个重要的研究课题。 颜色恒常性计算的目的是将未知光照条件下的图像矫正成标准白光下的图像，这 个过程一般可分为两个步骤首先估计出图像成像时的光照颜色，然后利用Von Kries模 型(又称对角模型)将图像映射到标准白光下。W.Xiong将图像的光照估计算法分为无监 督的算法和有监督的算法。 无监督的颜色恒常性计算算法是指利用图像本身底层的颜色特征估计得到图像 成像时的光照颜色，而不依赖于其他的先验知识。最简单的一种无监督的颜色恒常性算 法就是White Patch算法，White Patch算法假定图像中存在白色表面，于是RGB三个颜 色通道的最大值将被用作图像的光照颜色，因此，Whit印atch算法又被称为maxRGB算法。 Grey World算法是另一个比较简单并且广泛应用的颜色恒常性计算算法，该算法是基于 Grey World的假设提出来的。GreyWorld假设认为场景中所有物理表面的平均反射是无 色差的(The averagereflectence in a scene is achromatic)，即灰色的，也就是说，在 RGB三个颜色通道下，场景中的对三个颜色通道的平均反射率是相等的，因此，三个通道的 平均值可以看作图像的光照颜色。为了将Grey World更一般化，Finlayson等将闵可夫 斯基范式(Minkowski-norm)引入到Grey World算法，提出了一种Shades ofGrey(SoG) 算法，其利用Minkowski-norm距离代替简单求平均值的方法。最近，J. v. Wei jer等通过 对对立颜色空间(O卯onent Color Space)上的图像颜色导数分布观察，提出 一种新的 Grey Edge假设场景中所有物理表面的平均反射差分是无色差的(the average of the reflectance differences in a scene is achromatic)，也艮卩是灰色的。基于Grey Edge 假设，J. V.Wei jer等提出了一个统一的颜色恒常性计算框架，该框架不仅包含了 maxRGB、 Grey World、以及Shades of Grey算法，并且可将颜色恒常性计算推广到图像的高阶导数 空间。 有监督的颜色恒常性计算就是通过对各种光照条件下可能出现的颜色(或色 度)的学习，来预测未知光照图像的光照颜色。色域映射算法(Gamut M即ping)是一种重要的有监督的颜色恒常性计算算法，其由Forsyth等提出，后经Finlayson等扩展，最 近Gijsenij等又将其提升到图像的高阶导数空间。基于贝叶斯推理的颜色恒常性计算 (Bayesian Color Constancy)也是一种重要的有监督的颜色恒常性计算算法，它最早是由 Brainard等提出的，后经Rosenberg, Gehler等进行了一系列改进。为了克服基于贝叶斯 推理的颜色恒常性算法计算复杂的缺点，Finlayson等提出了一种更为实用化的算法，基于 相关性的颜色恒常性计算(Colorby Correlation)。实际上，Color by Correlation算法 就是Bayesian Color Constancy算法的一种离散化的实现，而Color by Correlation算 法最大的问题在于，所有光照估计的结果必须是在算法已给出的光照候选集中选取概率最 大的。然而，由于候选集本身是离散的，不可能提供所有可能的光照色度。为了解决这个问 题，Cardei等引入了 BP神经网络的方法来进行图像的光照估计，这种方法最直接的好处是 能够给出任意连续的输出结果。最近，W.Xiong等提出的基于支持向量回归SVR(Su卯ort Vector Regression)的颜色恒常性算法也是一种重要的有监督的算法，SVR是一种基于全 局最优的回归算法。除此之外，其他的有监督的方法还包括基于薄板样条插值的颜色恒常 性计算、基于KL-divergence的颜色恒常性计算等等. 目前，有监督的颜色恒常性算法的性能一般要优于无监督的算法。在现有的有监 督的颜色恒常性算法中，基于神经网络和基于SVR的算法是两种比较简单实用而且有效的 算法。但是，这两种算法都存在比较明显的缺点 (1)现有技术中有监督的颜色恒常性算法都是以原始图像的二值化的色度直方图 构成特征向量，没有充分利用图像的边缘结构等信息。 (2)BP神经网络的训练速度很慢，并且很容易陷入局部最优；而基于SVR方法的核 函数及其参数选择是一个比较繁琐的问题，因为存在多个核函数、而且对于每个核函数又 有多个参数，因此，如何选择最优的核函数以及其对应的参数对只能通过经验和尝试的方 法进行，实现代价比较大。
发明内容
针对现有技术中有监督的颜色恒常性计算方法存在的上述缺陷，本发明的目的是 提出一种性能较好、计算速度快的有监督的颜色恒常性计算方法，来进行颜色恒常性计算 和进行二维光照色度的估计。本发明在特征提取过程中，将原始图像的色度特征、一阶边缘 图像的色度特征和二阶边缘图像的色度特征融合起来，充分利用图像的导数结构，构建出 高效丰富的图像特征来进行颜色恒常性计算；在学习算法方面，本发明引入了一种新的快 速神经网络学习算法，即基于极限学习机(Extreme Learning Machine,简称ELM)的学习算 法。本发明解决其技术问题所采用的技术方案是 —种基于图像导数结构的颜色恒常性计算方法，其包括以下步骤
步骤1首先，计算出图像的一阶导数图像和二阶导数图像，并用原始图像、一阶导 数图像和二阶导数图像这3幅图像的色度特征来构建图像的特征向量，以便用于计算颜色 恒常性； 步骤2分别统计出原始图像，一阶导数图像和二阶导数图像的二值化的色度直方 图，并通过逻辑或(OR)操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导 数结构特征的色度直方 步骤3统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经
网络的输入向量，每幅训练图像对应的光照色度构成神经网络对应的输出向量； 步骤4利用三重交叉验证的方法为神经网络设定隐藏层神经元个数，并对神经网
络进行训练； 步骤5对于测试图像，首先计算出其融合的色度直方图特征向量，将其输入到训 练好的神经网络中，得到输出的光照色度；通过对角模型，对测试图像进行光照校正，以得 到白光下的图像颜色。 作为本发明的一种优选方案，步骤3中所述神经网络是基于极限学习机(ELM)算
法的神经网络学习算法，该算法用来进行图像光照色度的预测。 —种基于图像导数结构的颜色恒常性计算系统，其包括 图像特征提取模块，其基于图像导数结构进行图像特征提取，提出色度直方图特 征向量； 神经网络训练和学习模块，其以图像特征提取模块所提取的色度直方图特征向量 作为神经网络训练模块的输入向量，利用三重交叉验证方法为神经网络设定隐藏层神经元 个数，并用神经网络进行训练，将每幅训练图像对应的光照色度构成神经网络的输出向量 输出；而对于待测试图像，首先计算出其融合的色度直方图特征向量，将其输入到训练好的 神经网络中，得到输出的光照色度；以及， 图像光照校正模块，其根据神经网络训练和学习模块学习估计输出的光照色度， 通过对角模型对测试图像进行光照校正，以得到白光下的图像颜色。 所述图像导数结构是指原始图像的一阶导数图像和二阶导数图像，所述图像特征 提取是指，应用原始图像、一阶导数图像和二阶导数图像这3幅图像的色度特征来构建图 像的特征向量，所述构建包括首先，计算出图像的一阶导数图像和二阶导数图像；其次， 分别统计出原始图像、一阶导数图像和二阶导数图像的二值化色度直方图，并通过逻辑或 (OR)操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度 直方图；最后，统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网 络的输入向量。 作为本发明的一个优选方案，所述神经网络训练模块采用的神经网络是ELM神经 网络训练和学习模块。 本发明的有益效果在于本发明方法融合了原始图像、一阶导数图像以及二阶导 数图像等图像导数结构的色度直方图特征，通过提取更为丰富的图像颜色信息以提高颜色 恒常性计算的性能；在此基础上，引入ELM学习算法，，该ELM算法具有泛化能力强，速度极 快、参数少(只有一个不敏感参数)、可以同时进行二维光照色度的估计以及多输出等优 点，从而进一步提高了本发明的颜色恒常性计算的技术性能。
图1是基于图像导数结构的颜色恒常性计算方法的算法流程图； 图2是根据本发明的图像二值化色度直方图计算方法的流程图； 图3是根据本发明的基于图像导数结构的颜色恒常性计算系统的模块结构图； 图4是根据本发明的基于ELM神经网络的训练过程；
5
图5是根据本发明的基于ELM神经网络的测试过程。
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步详细描述
实施例1 图l示出了本发明的总体算法框架，如图l所示，基于图像导数结构的颜色恒常性
计算方法，包括以下步骤 (1)基于图像导数结构的特征提取 基于图像导数结构的特征提取是本算法的关键步骤，对于输入图像f，分别求出它 的一阶导数图像^和二阶导数图像l^。为了进一步消除噪音求导的影响，本实施例分别用
和lf代替^和0 ，其中，,=, 『，表示图像f与高斯滤波器G °的巻积，如附图1所示。 然后，分别对原始图像、一阶导数图像以及二阶导数图像求色度直方图。将原始的 RGB颜色空间转换到rg色度空间，转换公式如下<formula>formula see original document page 6</formula> 由于上式中b是冗余量，所以不予考虑，只剩下rg两个分量，并且rg的变化范围 都在0-1之间，分别将r分量和g分量划分为N个bin,在这个rg空间内共构成N2个区域， 如附图2 。根据每个方格里是否有色度值，从而构成了 一个N2维的二值化的色度直方图。对 于原始图像、一阶导数图像、以及二阶导数图像共有三个直方图，利用或(OR)操作将这三 个直方图融合，构成一个融合的色度直方图特征向量，如附图1中的融合过程。
(2) ELM神经网络的训练 与SVR算法的多个参数相比，ELM算法只有一个不敏感的隐藏层神经元个数参数 L。本实施例设定L的选择范围为L二 {10，20，30，... ，300}共30个候选值，激励函数选用 Sigmod函数或Sine函数；同时使用3重交叉验证方法来选择最优的光照估计参数。
在3重交叉验证的方法中，整个训练集被划分成3个子集。对每一组参数设定，在 3个子集中选择1个作为测试集，2个子集作为训练集，如此反复选择不同的训练和测试集3 次，3次测试的平均误差将作为这组参数的评定标准。在3重交叉验证中，平均误差最小的 参数组合将被选为最优的参数。在本实施例中，将光照色度误差的均方根(RMS)作为3重 交叉验证的误差评定的标准。参数选择的训练图像集使用的是321幅SFU的颜色恒常性图 像集。 从实验中可以得到，当激励函数为Sigmod函数且L = 200时，ELM算法在测试集 表现出最好的性能。于是，Sigmod函数和L = 200将被采用作为最终的基于图像导数结构 的颜色恒常性计算方法的参数设置。
(3)图像的光照估计
6
ELM神经网络的输出值为光照的色度(re， ge)。在得到rg分量后可计算出其b分 量，从而构成3维光照色度值(i> ge，l-r「g》。将图像校正到颜色为(w， w， w)白光下，于 是根据对角模型，校正矩阵为
<formula>formula see original document page 7</formula> 其中，w值可用于调节图像的亮度。通过应用基于图像导数结构的颜色恒常性计
算方法，对图像光照进行校正。 实施例2 如图3所示，在本实施例中，基于图像导数结构的颜色恒常性计算系统包括如下 模块 图像特征提取模块，其基于图像导数结构进行图像特征提取，提出色度直方图特 征向量； 神经网络训练和学习模块，其以图像特征提取模块所提取的色度直方图特征向量 作为神经网络训练模块的输入向量，利用三重交叉验证方法为神经网络设定隐藏层神经元 个数，并用神经网络进行训练，将每幅训练图像对应的光照色度构成神经网络的输出向量 输出；而对于待测试图像，首先计算出其融合的色度直方图特征向量，将其输入到训练好的 神经网络中，得到输出的光照色度；以及， 图像光照校正模块，其根据神经网络训练和学习模块学习输出的光照色度，通过 对角模型对测试图像进行光照校正，以得到白光下的图像颜色。 所述图像导数结构是指原始图像的一阶导数图像和二阶导数图像，所述图像特征 提取是指，应用原始图像、一阶导数图像和二阶导数图像这3幅图像的色度特征来构建图 像的特征向量，所述构建包括首先，计算出图像的一阶导数图像和二阶导数图像；其次， 分别统计出原始图像、一阶导数图像和二阶导数图像的二值化色度直方图，并通过逻辑或 操作(OR)将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度 直方图；最后，统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网 络的输入向量。 作为本发明的一个优选方案，所述神经网络训练和学习模块采用的神经网络是 ELM神经网络训练和学习模块。 在本实施例中，ELM神经网络的训练过程如图4所示，首先针对训练图像进行图像 特征提取，得到基于图像导数结构的色度直方图特征向量；然后将其输入ELM神经网络进 行训练，得到已知图像的光照色度。 ELM神经网络的学习过程如图5所示，对测试图像进行图像特征提取，得到基于图 像导数结构的色度直方图特征向量；将其输入训练好的神经网络进行学习，估计得到图像 光照色度；再通过对角模型对测试图像的光照色度进行光照校正，以得到白光下的图像颜 色。
权利要求
一种基于图像导数结构的颜色恒常性计算方法，其特征是，包括以下步骤步骤1计算出图像的一阶导数图像和二阶导数图像，并用原始图像、一阶导数图像和二阶导数图像的色度特征来构建图像的特征向量，以便进行图像的颜色恒常性计算；步骤2分别统计出原始图像，一阶导数图像和二阶导数图像的二值化色度直方图，并通过逻辑或操作将这3个色度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；步骤3统计出训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量，将每幅训练图像对应的光照色度构成神经网络的输出向量；步骤4利用三重交叉验证的方法为神经网络设定隐藏层神经元个数，并利用步骤3中得到的输入输出向量对神经网络进行训练；步骤5对于测试图像，首先计算出其融合的色度直方图特征向量，并输入到训练好的神经网络中，得到输出的光照色度；通过对角模型，对测试图像进行光照校正，以得到白光下的图像颜色。
2. 根据权利要求1所述的基于图像导数结构的颜色恒常性计算方法，其特征是，步骤 3中所述神经网络是基于极限学习机的神经网络学习算法，其用来进行图像光照色度的预
3. —种基于图像导数结构的颜色恒常性计算系统，其特征在于，包括 图像特征提取模块，其基于图像导数结构进行图像特征提取，提出色度直方图特征向神经网络训练和学习模块，其以图像特征提取模块所提取的色度直方图特征向量作为神经网络训练模块的输入向量，利用三重交叉验证方法为神经网络设定隐藏层神经元个数，并用神经网络进行训练，将每幅训练图像对应的光照色度构成神经网络的输出向量输出；而对于待测试图像，首先计算出其融合的色度直方图特征向量，将其输入到训练好的神 经网络中，得到输出的光照色度；以及，图像光照估计模块，其利用训练好的神经网络来估计测试图像的光照色度，通过对角 模型对测试图像进行光照校正，以得到白光下的图像颜色。
4. 根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所 述图像导数结构是指原始图像的一阶导数图像和二阶导数图像。
5. 根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所 述图像特征提取是指，应用原始图像、一阶导数图像和二阶导数图像的色度特征来构建图 像的特征向量。
6. 根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所 述构建包括首先，计算出图像的一阶导数图像和二阶导数图像；其次，分别统计出原始图 像， 一阶导数图像和二阶导数图像的二值化的色度直方图，并通过逻辑或操作将这3个色 度直方图进行融合，从而构成一个融合各阶图像导数结构特征的色度直方图；最后，统计出 训练图像集中所有图像融合的色度直方图特征向量，将其作为神经网络的输入向量。
7. 根据权利要求3的所述基于图像导数结构的颜色恒常性计算系统，其特征在于，所 述神经网络训练和学习模块采用的神经网络是基于极限学习机的神经网络训练和学习模 块。
全文摘要
一种基于图像导数结构的颜色恒常性计算方法及系统，属于颜色恒常性计算和图像光照处理技术领域。其包括首先，基于图像导数结构进行图像特征提取，提出色度直方图特征向量，以便用于计算颜色恒常性；其次，应用ELM神经网络对色度直方图特征向量进行训练，并将每幅训练图像对应的光照色度构成神经网络的输出向量；最后，通过对角模型，对测试图像进行光照校正，以得到白光下的图像颜色。本发明充分利用图像导数结构的特征信息来提高颜色恒常性计算的性能，具有学习速度快，泛化能力强，而且可以同时进行二维光照色度的估计等优点。
文档编号G06T11/00GK101706964SQ20091009175
公开日2010年5月12日 申请日期2009年8月27日 优先权日2009年8月27日
发明者李兵, 郎丛妍, 须德 申请人:北京交通大学