一种基于光照差异的颜色补偿方法与流程

本发明属于图像处理技术领域，涉及一种基于光照差异的颜色补偿方法。

背景技术：

视觉目标跟踪是机器视觉研究领域中的一个热点问题，其主要任务是在视频序列中获取兴趣目标的运动轨迹，已经被广泛应用于视频监控、智能交通等研究领域。目前来说，具有挑战性的问题仍亟待解决：1)跟踪目标自身的姿势变化、尺度变化和形变等内在因素；2)跟踪过程出现亮度变化、部分遮挡和背景复杂等外在因素。

对于多摄像机的监控网络，视野重叠情况的跨摄像机的多目标跟踪解决方案，能将目标从一个摄像机视角移动到另一个摄像机视角时辨识出他们的身份。

但是，以往的方法常常是建立基于颜色信息的外观模型对目标进行辨识，因为行人的衣着颜色信息通常在具有时空信息约束的特定条件下能象征待匹配对象的唯一身份，而往往采集的颜色信息由于曝光过度，逆光和高光等原因会产生过暗或过亮的效果，会使得目标的跟踪和匹配精度大大下降。

技术实现要素：

针对目标提取特征匹配上的不足，本发明提供了颜色归一化方法作为预处理，来补偿摄像机之间的颜色变化，并在此基础上进行连续跟踪。为了消除光照差别带来的影响，在进行特征提取之前，首先用颜色归一化方法作为预处理来补偿摄像机之间的颜色变化。颜色归一化的本质是建立一个对光照变化鲁棒的外观表达，目的是使原图像在颜色归一化之后，转换后的图像能与对应目标图像有更多的颜色特征相似处。而且，rgb颜色空间在不同的信道之间耦合度较高，如果我们想要改变像素的颜色，这个像素所有信道的值都必须改变，从而导致基于rgb颜色空间的色彩校正或者颜色归一化十分复杂也难以实现。因此，本文选择各个信道之间关联较低的cie-lab颜色空间进行颜色校正，尤其是对难度较高的不同摄像机视角之间的颜色归一化预处理。

当传统的三通道图像显示在任何常用的颜色空间，比如rgb空间中时，不同色彩通道的值是相互关联的，这种关联致使色彩校正和色彩变换过程变得十分复杂。通过最小化通道之间的关联得到了lab颜色空间，由于该空间中的不同色彩通道只有很小的关联，首先将源图像的颜色特征由rgb空间经由中间过渡空间转换至lab空间，并计算待颜色补偿的源图像和目标图像的lab颜色空间的统计学特性，并针对各个颜色通道基于目标图像的亮度等性能指标对源图像进行颜色差异补偿，这一过程也称为基于cct转换方法的颜色归一化处理，源图像经过颜色归一化后，经由颜色差异补偿的图像使得不同视角的同一目标具有较高的颜色特征相似性。

基于逆向多项式模型的鱼眼图像畸变校正方法，包括如下步骤：

步骤一：当存在可匹配目标时，分别提取原图像和目标图像的rgb颜色空间；当没有可匹配的目标时，选取整个图像的色彩特征初始化cct模型；

步骤二：rgb颜色空间到lms颜色空间变换，颜色差异补偿首先就要将源图像和目标图像从rgb颜色空间变换到lab颜色空间。而这两个颜色空间之间的转换都需要先变换到lms空间后，再进行后续处理。rgb颜色空间到lms颜色空间变换如下所示：

步骤三：将lms空间下的源图像和目标图像都转换到lab颜色空间，分别计算两幅图像每个通道的颜色统计特征，令和分别表示源图像(目标图像)在lab颜色空间各个通道的像素平均值，和则分别表示源图像(目标图像)不同颜色通道的标准差，则待转换图像的颜色差异通过公式(2)实现：

其中，ls(l′s)，αs(α′s)和βs(β′s)分别表示源图像经颜色归一化的转换后的图像的l，a,b各个通道色彩值。

步骤四：针对各个颜色通道基于目标图像的亮度等性能指标对源图像进行颜色差异补偿，利用公式(2)得到cct转换模型的九个关键参数，即计算得到cct转换模型，以用来处理不同摄像机的图像中观察到的目标，从而消除摄像机之间亮度变化带来的影响；

步骤五：变换后图像从lab颜色空间转换回rgb颜色空间显示，变换公式如(3)所示：

步骤六：利用btf算法以及补偿前的算法针对prid2011标准集内385个行人样本进行算法验证，从相似度平均值来看，进行颜色差异补偿之后的相似度提升了近一半，有效增加了外观关联的可靠性；从运行时间来看，本文的时间负荷增加也不甚明显。

本发明方法充分考虑了复杂环境的影响，以及传统方法的一些缺陷，在保证目标特征不丢失的情况下，有效实现了视野内共同目标的颜色转换，在可靠特征提取算法的基础上，有效对颜色差异较大的目标进行颜色补偿，该方法有效增加了外观关联的可靠性，时间负荷增加也不甚明显，体现了该算法的扩展性和实用性。

附图说明

图1本发明具体实施方式的方法流程图。

图2本发明具体实施方式的场景颜色补偿图像；(a)中的图像作为源图像，(b)视角为目标图像，(c)为转换得到亮度补偿后的图。

图3本发明具体实施方式的目标颜色补偿以及直方图对比图(目标1)；(a)左侧第一列为源目标，左侧第二列表示颜色亮度补偿的目标图像，直方图表示在进行颜色空间补偿之前的源目标的灰度直方图，(b)分别表示进行颜色差异补偿后的目标图像及其对应直方图分布。

图4本发明具体实施方式的目标颜色补偿以及直方图对比图(目标2)；(a)左侧第一列为源目标，左侧第二列表示颜色亮度补偿的目标图像，直方图表示在进行颜色空间补偿之前的源目标的灰度直方图，(b)分别表示进行颜色差异补偿后的目标图像及其对应直方图分布。

具体实施方式

下面结合附图对本发明的具体实施，做详细说明。

本实施方式的方法，软件环境为windows7系统，仿真环境为matlab2010a，，基于pets2009标准数据集和校园环境下分别进行测试，流程如图1所示：

步骤一：基于包含较大的光照差异的场景pets2009s2l1，进行颜色归一化处理，利用本文提出的颜色差异补偿算法，将图2(a)中的图像作为源图像，以图2(b)视角为目标图像，转换得到亮度补偿后的图2(c)。

步骤二：针对单个目标进行了颜色差异补偿的实验，如图3图4所示。

由于当前场景的不同视角的较大的光照差异，从颜色空间的角度提升两个视角的关联度，也必然提升了两个视角内同一目标的外观匹配的相似度。从实验结果可以显示化地看出，从颜色外观上，明显提升了两幅图像的颜色、亮度等外观的相似度，并且完全不影响图像的分辨率等性能指标，对行人目标进行后续的跟踪和关联性能不会产生任何不良影响。当然，关于同一区域的光照差异不仅存在与部署位置不同的不同摄像机中，还存在于随时间变化的同一摄像机中，而且，本发明重点关注在光照变化的影响下，如何提升的行人目标的外观关联性能。

图3(a)中表示左侧第一列为源目标，图3(a)中表示左侧第二列表示颜色亮度补偿的目标图像，同理，图3(a)中直方图表示在进行颜色空间补偿之前的源目标的灰度直方图，而图3(b)则分别表示进行颜色差异补偿后的目标图像及其对应直方图分布。从直方图的角度进行分析，源目标的直方图的峰值偏左表明亮度较高，而目标图像直方图的峰值右表示亮度较低，从直方图的变换结果可以看出，将直方图的峰值普遍向右移动，降低了两者的亮度差异；另外，补偿前的直方图的连续非零区段较短，图像的对比度较低，而补偿后的直方图则将非零区段较为均匀的分布，对比度较高，而且色调比较丰富均匀，提升了特征分类的可靠性和稳定性。

步骤三：利用btf算法以及补偿前的算法针对prid2011标准集内385个行人样本进行算法验证，得到如表1所示的关于同一目标在不同算法处理之后的关联度平均值，以及运行速度平均值。从表中的相似度平均值来看，进行颜色差异补偿之后的相似度提升了近一半，有效增加了外观关联的可靠性；从运行时间来看，本文的时间负荷增加也不甚明显。因此，综合关联效果和运行速度，选择本文的算法进行光照差异补偿最为有效。

综上所述，基于颜色空间的差异补偿方法，在目标特征不变的同时，提高了目标的外观匹配的相似度。从而大幅度提高了算法的实时性和灵活性。