一种结合相机光谱灵敏度信息的场景真彩色恢复方法与流程

本发明涉及颜色恒常性领域，尤其是涉及了一种结合相机光谱灵敏度信息的场景真彩色恢复方法。

背景技术：

随着数字图像和视频的快速发展，对很多实际应用来说，从本征图像分解到基于颜色的目标识别和跟踪纺织与食品加工的质量控制，通过设备捕捉的图像准确记录一个场景的真彩色是非常重要的。然而，这些设备捕捉的图像颜色总是因场景光源颜色的改变而受影响。而如果在传统的颜色恒常性算法处理过程，结合相机光谱灵敏度信息，则可以获得一个场景的稳定的独立于光源和相机传感器的彩色图像表示，还会进一步造福于计算机视觉应用，如本征图像分解，3D视图合成、基于物理的反射描述符等。

本发明引入使用基于学习的颜色恒常性算法进行基于内部数据集评估导致失败的问题，采用一种结合相机光谱灵敏度信息的场景真彩色恢复方法，首先训练一个变换矩阵，它使一个相机光谱灵敏度下的光源和图像对应转换到另外一个相机光谱灵敏度下的光源和图像。接着，在另外一个数据集应用颜色恒常模型之前，这个矩阵被用于将一个相机光谱灵敏度下的已渲染数据变换为另外一个特定相机光谱灵敏度下的已渲染数据。

技术实现要素：

针对使用基于学习的颜色恒常性算法进行基于内部数据集评估导致失败的问题，本发明的目的在于提供一种结合相机光谱灵敏度(CSS)信息的基于内部数据集的颜色恒常性算法，首先训练一个变换矩阵，这个矩阵可以将光源和图像的记录由一个CSS(CSS-1)变换到另一个CSS对应的光源和图像的记录(CSS-2)。接着，利用变换得到的数据训练模型并在以CSS-2记录的图像和光源数据上测试该模型。

为解决上述问题，本发明提供一种结合相机光谱灵敏度信息的场景真彩色恢复方法，其主要内容包括：

(一)数据输入；

(二)变换矩阵训练；

(三)图像和光源变换；

(四)模型训练；

(五)数据集测试。

其中，一种结合相机光谱灵敏度信息的场景真彩色恢复方法，颜色恒常性是指，室外光线的彩色成分变化非常大，但人却能正确的感知场景中物体的颜色，并且在大部分情况下不依赖于环境照明的颜色；颜色恒常性算法可以消除不同光照对图像颜色的影响，为计算机视觉系统提供类似于人类视觉系统的颜色恒常性感知功能，从而得到物体表面与光照无关的颜色特性。

其中，一种结合相机光谱灵敏度信息的场景真彩色恢复方法，提出一个简单而有效的框架，它将相机光谱灵敏度(CSS)结合到颜色恒常性算法的过程；首先训练一个变换矩阵，这个矩阵可以将一个相机光谱灵敏度下的光源和图像对应转换到另外一个相机光谱灵敏度下的光源和图像；接着，训练颜色恒常性模型并在以另一个相机光谱灵敏度记录的图像上测试该模型。

其中，所述的数据输入，以某个相机光谱灵敏度(简记为CSS-1，下同)下的一台相机收集到的数据集的图像以及光源作为颜色恒常性算法输入，用于训练模型，以不同相机光谱灵敏度(简记为CSS-2，下同)下的另一台相机收集到的数据集的图像作为颜色恒常性算法输入，用于测试训练得到的模型。

进一步地，所述的相机光谱灵敏度，相机光谱灵敏度会影响图像颜色，除此之外，场景中物体的反射率和场景光源同样会影响最后测量到的图像的每个像素的颜色值。

其中，所述的变换矩阵训练，传感器转换可以简单地描述为一个3×3矩阵；如果fr¹(x)表示CSS-1对一个反射率的响应量，fr²(x)表示对同一反射率的响应量，我们定义方程(1)。

fr¹(x)＝S·fr²(x) (1)

进一步地，所述的变换矩阵，S是一个3×3的矩阵，它由最小均方误差(LMS)训练方法得到；为了得到在方程(1)基础上的CSS-1和CSS-2之间的变换矩阵S，我们总是使用相同的1995反射光谱，以SFU高光谱数据集作为输入，得出方程(1)中的响应量fr¹(x)和fr¹(x)。

其中，所述的图像和光源变换，对于基于内部数据集的颜色恒常性算法，利用矩阵S来变换从CSS-1到CSS-2下的渲染的图像f¹(x)和光源

其中，所述的模型训练，经矩阵S变换后，在变换后的图像和光源数据中以方程(2)训练CC模型Γ。

其中，所述的数据集测试，将在CSS-2渲染下的数据集输入训练模型Γ中测试，得出基于内部数据集的评估，即根据方程(3)获得光源

附图说明

图1是本发明一种结合相机光谱灵敏度信息的场景真彩色恢复方法的算法流程图。

图2是本发明一种结合相机光谱灵敏度信息的场景真彩色恢复方法的相机光谱灵敏度和光源对图像颜色外观的影响示意图。

图3是本发明一种结合相机光谱灵敏度信息的场景真彩色恢复方法的不同相机光谱灵敏度下的108种光谱光源的颜色分布图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种结合相机光谱灵敏度信息的场景真彩色恢复方法的算法流程图。主要包括数据输入；变换矩阵训练；图像和光源变换；模型训练；数据集测试。

数据输入，以某个相机光谱灵敏度(简记为CSS-1，下同)下的一台相机收集到的数据集的图像以及光源作为颜色恒常性算法输入，用于训练模型，以不同相机光谱灵敏度(简记为CSS-2，下同)下的另一台相机收集到的数据集的图像作为颜色恒常性算法输入，用于测试训练得到的模型。

其中，所述的变换矩阵训练，传感器转换可以简单地描述为一个3×3矩阵；如果fr¹(x)表示CSS-1对一个反射率的响应量，fr²(x)表示对同一反射率的响应量，我们定义方程(1)。

fr¹(x)＝S·fr²(x) (1)

S是一个3×3的矩阵，它由最小均方误差(LMS)训练方法得到；为了得到在方程(1)基础上的CSS-1和CSS-2之间的变换矩阵S，我们总是使用相同的1995反射光谱，以SFU高光谱数据集作为输入，得出方程(1)中的响应量fr¹(x)和fr¹(x)。

其中，所述的图像和光源变换，对于基于内部数据集的颜色恒常性算法，利用矩阵S来变换从CSS-1到CSS-2下的渲染的图像f¹(x)和光源

其中，所述的模型训练，经矩阵S变换后，在变换后的图像和光源数据中以方程(2)训练CC模型Γ。

其中，所述的数据集测试，将在CSS-2渲染下的数据集输入训练模型Γ中测试，得出基于内部数据集的评估，即根据方程(3)获得光源

图2是本发明一种结合相机光谱灵敏度信息的场景真彩色恢复方法的相机光谱灵敏度和光源对图像颜色外观的影响示意图。设备捕捉的图像颜色总是因场景光源颜色的改变而受影响，而且图像颜色不仅受到场景光源的颜色。实际上，在图像采集过程中，有三个因素影响我们最后测量到的每个像素的颜色值，即：场景中物体的反射率，场景光源和相机光谱灵敏度。在场景光源的变化下，虽然颜色恒常算法总是致力于获得一个稳定的颜色表示，但相机光谱灵敏度也会影响场景的颜色外观。

图3是本发明一种结合相机光谱灵敏度信息的场景真彩色恢复方法的不同相机光谱灵敏度下的108种光谱光源的颜色分布图。在数据集中，图像和被提取出的真实光源的颜色分布都依赖于相机光谱灵敏度，不同相机光谱灵敏度下的光谱光源的颜色分布各不相同。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。