一种基于多维数据关联规则的图像色彩迁移方法与流程

本发明涉及一种图像彩色迁移技术，特别是一种基于多维数据关联规则的图像色彩迁移方法。

背景技术：

人眼对彩色图像具有更高的分辨率和敏感度的特点，而且彩色图像可以提升人们对目标与场景信息的认知，所以彩色图像在现代军事、民用等各个领域都受到重视，且应用越来越广泛。给灰度图像上色，以及根据目标图像改变源图像的颜色都属于图像色彩迁移的范畴。

技术实现要素：

本发明的目的在于提供一种基于多维数据关联规则的图像色彩迁移方法，包括以下步骤：

步骤1，采用多属性规则约束的apriori优化算法挖掘目标图像中的亮度、颜色之间的强关联规则集，并在强关联规则集中引入类别标签元素最终生成亮度-类别-颜色强关联规则集；

步骤2，提取源图像中像素的亮度、所属类别，基于强关联规则集映射生成每个像素所对应的新的r、g、b颜色分量，生成新的彩色图。

采用上述方法，步骤1包括以下过程：

步骤1.1，寻找与源图像中每一物体相对应的物体对应目标图像，物体对应目标图像组成相应物体的训练样本集blocki，i为物体的索引值；

步骤1.2，对每一训练样本集blocki添加同一类标签labeli，不同训练样本集blocki添加不同标签，形成标签集trainlabel＝[label1,label2,...labeli,...,labeln]，n为物体的数量；

步骤1.3，提取每一训练样本集blocki中所有物体对应目标图像的的特征集{hog，均值，方差，同质性，熵}；

步骤1.4，选取最合适的图像特征集t作为分类数据traindata＝[t(block1),t(block2),...,t(blocki),...t(blockn)]；

(选取能够让分类效果最好的图像特征集)

步骤1.5，生成svm分类器model

model＝svmtrain(trainlabel,traindata,'-s0-t2')

步骤1.6，提取训练样本集blocki中每个像素的亮度y和颜色分量r、g、b，将y、r、g、b分量进行区间化，建立对应的事务数据库database；

步骤1.7，基于多属性规则约束的apriori优化算法实现色彩迁移的唯一性。

步骤1.7包括以下步骤：

步骤1.7.1，设定支持度support和置信度confidence；

步骤1.7.2，利用式(4)(5)不断地通过连接、剪枝过滤掉不满足支持度参数要求的无用项集，生成频繁4-项项集

步骤1.7.3，利用式(6)(7)，过滤掉置信度低于confidence的关联规则，余下关联规则组成待约束的强关联规则集

步骤1.7.4，根据确定的y、r、b、g分量的区间，结合式(8)对待约束强关联规则集做进一步约束，生成符合条件的“亮度-颜色”初始强关联规则集

a∈[a1,a2],b∈[b1,b2](8)

步骤1.7.5，在“亮度-颜色”初始强关联规则集中加入类别标签label形成“亮度-类别-颜色”强关联规则集；

步骤1.7.6，将不同的物体对应目标图像对应的强关联规则集组成生成待搜索强关联规则集。

采用上述方法，步骤2的具体过程在于：

步骤2.1，在源图像中选择移动窗口，基于训练好的svm分类器model对移动窗口内的图像进行分类，并将类别标签赋值给左上角像素；

步骤2.2，遍历整幅源图像中的每一个像素，根据得到的源图像中每个像素的类别标签和对应的亮度值生成“亮度-类别”待映射集；

步骤2.3，待映射集在待搜索强关联规则集中一一搜索映射，赋予对应的r、g、b颜色分量值，最后生成源图像的色彩迁移效果图。

本发明与现有技术相比，具有以下优点：(1)易于硬件转化，可以实现实时性的色彩迁移过程：在进行色彩迁移时，只需对源图像进行分类和颜色映射即可，大大缩短了色彩迁移的时间，因而可以实现色彩迁移的实时性；(2)色彩迁移效果好，十分接近目标图像：当亮度和颜色分量分成的区间数足够多时，将得到与目标图像基本相同的色彩迁移效果图。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明基于多维数据关联规则的图像色彩迁移方法的原理图。

图2是本发明基于多维数据关联规则的图像色彩迁移方法中步骤一的流程图。

图3是本发明方法各实验所用目标图像，其中(a)为本发明算法所用目标图像，(b)为welsh算法所采用的目标图像。

图4是不同颜色区间数对应的色彩迁移效果图，其中(a)为源图像，(b)为目标图像，(c)为20区间效果图，(d)为50区间效果图。

图5是两种不同场景中的两幅不同角度单色图，其中(a)为第一个场景中的一种角度单色图，(b)为第一个场景中的另一种角度单色图，(c)为第二个场景中的一种角度单色图，(d)为第二个场景中的另一种角度单色图。

图6是同一场景中，三种不同照度下的微光图，其中(a)为场景中的照度1条件下的微光图像，(b)为场景中的照度2条件下的微光图像，(c)为场景中的照度3条件下的微光图像。

具体实施方式

发明提出了一种基于关联规则的全新的、高效的、单通道源图像色彩迁移方法。由reinhard等人提出的全局色彩迁移算法只能对那些整体基调相似的彩色图像有良好的效果，一旦图像间相似性较差，那么色彩迁移效果就不那么明显，甚至可能会失败。用户交互的图像色彩迁移虽然在一定程度上能够提高色彩迁移的准确率，但它的执行效率却降低了，而且人机交互受主观因素的影响比较大。本发明方法提出了一种图像色彩迁移的新方法，算法简单，色彩迁移效果好。

结合图1～2，本发明提出的基于多维数据关联规则的图像色彩迁移方法的步骤如下：

步骤s1，源图像多属性规则挖掘。

采用多属性规则约束的apriori优化算法，挖掘目标图像中不同物体所对应的亮度、颜色之间的强关联规则集，并引入类别标签元素，并将不同物体对于的强关联规则集组合在一起，最终生成亮度-类别-颜色强关联规则集；

对于强关联规则集的挖掘问题，本发明首先分物体提取目标图像中每个像素的亮度y及其对应的颜色分量r、g、b，提出了一种多属性规则约束的apriori优化算法，挖掘生成了“亮度-颜色”强关联规则集。后经实验发现，生成的“亮度-颜色”强关联规则集只对源图像中不同物体的亮度层次较多的简单图像有较好的色彩迁移效果，而对于亮度排布复杂，且多个物体的亮度差别不大甚至完全相同的源图像容易出现色彩迁移错误的问题。为了解决这个问题，本发明在上述强关联规则集中引入了“类别标签”元素，挖掘生成了“亮度-类别-颜色”强关联规则集。具体过程描述如下：

步骤s101，找出所有与源图像中物体相对应的“物体对应目标图像”，分别对“物体对应目标图像”进行分块处理，生成libsvm分类函数实现分类的训练样本block；

步骤s102，本发明给目标图像中的每个“物体对应目标图像”block附上类别标签label，如式(1)

trainlabel＝[label1,label2,...labeli,...,labeln](1)

步骤s103，提取目标图像相应的待选图像特征集{hog，均值，方差，同质性，熵}；

步骤s104，通过观察分类效果，选择最合适的图像特征集t作为分类数据traindata，如式(2)

traindata＝[t(block1),t(block2),...,t(blocki),...t(blockn)](2)

所谓“最合适”指选取能够让分类效果最好的图像特征集，即满足能够给对应的像素附上正确的类别标签为准；

步骤s105，生成svm分类器(model)，如式(3)

model＝svmtrain(trainlabel,traindata,'-s0-t2')(3)

svmtrain是一个能够实现训练的功能函数，‘-s0–t2’是这个功能函数表示的固定格式。

步骤s106，在具有x个像素的“物体对应目标图像”block中提取每个像素的亮度y和颜色分量r、g、b，将y、r、g、b分量进行区间化，建立对应的事务数据库database；

区间化就是将一幅图像的灰度范围从0-255，压缩成0-10,0-20这样的10个或者20个区间，结果是可以使得后面的关联规则挖掘效率得到大幅提升，而且还可以保证图像清晰可变。本发明中，在给亮度y和颜色分量rgb划分区间时，因为y、和rgb分量的区间范围是0-255，给各自分量分成10个区间，本方法会把y分成序号为0-9区间，r为10-19区间，g为20-29区间，b为30-39区间，根据每个分量所对应的分布区间，就可以约束关联规则。比如关联规则应该是那么就可以通过筛选保留下“左边数字在0-9范围，右边数字分别在10-19,20-29,30-39范围”来实现。

步骤s107，基于多属性规则约束的apriori优化算法，实现像素色彩迁移的唯一性，具体过程如下：

步骤s1071，设定支持度support和置信度confidence；

步骤s1072，利用式(4)、式(5)基于支持度参数，不断地通过连接、剪枝两个步骤，过滤掉不满足支持度参数要求的无用项集，生成频繁4-项项集(4-items)

步骤s1073，利用式(6)、式(7)基于置信度参数，过滤掉置信度低于阈值参数confidence的无用的弱关联规则，挖掘生成待约束强关联规则集(strongrulessetforconstraint)

步骤s1074，根据区间数和区间分布分别确定的亮度y、颜色分量r、g、b所对应的区间，结合式(8)对待约束强关联规则集做进一步的约束，生成符合条件的“亮度-颜色”初始强关联规则集(ori(strongrulesset))

a∈[a1,a2],b∈[b1,b2](8)

公式中，a统一指的是左边的元素，b指的是右边的元素，表示关联规则，a1、a2分别是关联规则左侧元素的区间取值范围、b1、b2分别是关联规则右侧元素的区间取值范围；

步骤s1705，在“亮度-颜色”强关联规则集中加入类别标签元素(labeln’)，生成各个“物体对应目标图像”对应的“亮度-类别-颜色”强关联规则集((strongrulesset)n)；

步骤s1706，再将所有不同的“物体对应目标图像”对应的强关联规则集(strongrulesset)n组合在一起，生成最终的整个目标图像的待搜索强关联规则集(strongrulesset)。

整个过程如图2所示。

步骤s2，基于规则映射的图像色彩迁移。

提取源图像中像素的亮度以及所属类别，基于挖掘生成的强关联规则集，映射生成每个像素所对应的r、g、b颜色分量，生成色彩迁移效果图。

对于图像色彩迁移问题，本发明首先在源图像中选择大小为16×16的移动窗口，基于训练好的svm分类器对窗口内图像块进行分类，并将“类别标签”赋值给左上角像素，遍历整幅图像中的每一个像素，根据得到的源图像中每个像素的“类别标签”以及对应的亮度值就可以生成“亮度-类别”待映射集，待映射集将在已经挖掘好的强关联规则集中一一搜索映射，赋予对应的r、g、b颜色分量值，最后生成源图像的色彩迁移效果图。具体过程描述如下：

步骤s201，在源图像中选择移动窗口，基于训练好的svm分类器model对窗口内图像块进行分类，并将类别标签赋值给左上角像素；如式(9)，基于训练好的svm分类器(model)对源图像中的每个像素进行分类，类别标签值为l，生成类别标签矩阵f

步骤s202，通过扩展图像边界，遍历整幅图像中的每一个像素，根据得到的源图像中每个像素的类别标签以及对应的亮度值生成亮度-类别待映射集；结合提取出的源图像中每个像素的亮度y，生成待映射集d，如式(10)

步骤s203，基于挖掘好的强关联规则集，待映射集将在已经挖掘好的强关联规则集中一一搜索映射，赋予对应的r、g、b颜色分量值，最后生成源图像的色彩迁移效果图，如式(11)

为说明本发明在图像色彩迁移方面的优势，因为本发明方法中的目标图像具有相似场景的适应性，所以先给本发明色彩迁移实验选定目标图像，如图3所示。

图4是不同颜色区间数对应的色彩迁移效果图，其中(a)为源图像，(b)为目标图像，(c)为20区间效果图，(d)为50区间效果图。图4(c)是将图像亮度y和颜色分量r、g、b分成20个区间后，得到的色彩迁移效果图；图4(d)是分成50个区间后，得到的色彩迁移效果图。从图4(d)中可以明显地看出，将图像亮度y和颜色分量r、g、b分成50个区间后，效果图中除了极个别局部区域由于分类错误而导致的影响较小的色彩迁移失败和交界处色彩迁移错误之外，白狗身上的条状的、失真的颜色已经基本变成连续均匀的颜色，而且狗身上的白色和草地的绿色更加地接近自然真彩色。可见，图像亮度、颜色分量的区间数增加到一定程度时，色彩迁移效果可以无限接近连续均匀的目标彩色。

图5(a)～(d)是两种不同场景中的两幅不同角度单色图。如图5所示，本发明方法先使用本发明方法对用cmos拍摄的两种不同厂场景中两个不同角度的4幅彩图所对应的灰度图进行色彩迁移，并将色彩迁移效果图与原彩色图像进行对比，凸显本发明方法的有效性，从图5两组不同场景中的两幅不同角度单色图像的色彩迁移效果图中可以发现，本发明算法能够得到很好的色彩迁移效果，在实验得到的效果图中，已经能够将树丛、草坪、道路进行明显的区分和彩色化；而且根据图4的多区间化后的色彩迁移效果图，我们可以得知，当亮度和颜色分量所分成的区间足够多时，本发明算法能够得到连续均匀的、无限接近目标彩色的色彩迁移效果。

用属于色彩迁移范畴的微光图像彩色化实验，并将实验效果与welsh算法比较，凸显本发明方法的优越性，如图6所示。图6实验选用课emccd拍摄的相似场景中的三幅不同照度条件下的源图像。从实验效果中可以看出，本发明提出的算法在三种照度条件下的源图像彩色化效果都是明显优于welsh算法的。本发明算法可以很明显地将图6(a)、(b)、(c)中的草坪和树木区别开来，给树木部分染上鲜艳的绿色，能够给草坪染上对应的灰黄色，三幅彩色化效果图颜色对比鲜明，视觉效果较好。而welsh算法所呈现出的彩色化效果图，并没有将树木和地面进行明显区分，整个视觉效果较本发明算法有较大劣势。这是因为welsh算法是基于局部的统计分布来实现图像彩色化的，而源图像中的噪声往往较多，会在很大程度上影响局部统计分布的计算以及后续的匹配工作；而本发明算法是基于图像分类实现的色彩迁移(彩色化)，先通过图像块的均值特征，将不同物体明显区分开，再映射相应的颜色，所以色彩迁移(彩色化)效果会比较好。