一种场景自适应的色调迁移方法
【技术领域】
[0001] 本发明属于虚拟现实技术领域，具体涉及一种场景自适应的色调迀移方法。
【背景技术】
[0002] 如何获得使目标图像在无监督条件下高效真实的具有源图像的颜色分布特征是 影视制作、电脑动画和广告传媒等领域所普遍面临的问题，一条行之有效却鲜有人提及的 方案是利用自适应的色调迀移算法执行目标图像和源图像之间的颜色自动迀移和匹配。本 发明正是基于这种方案提出的一种场景自适应的色调迀移方法。
[0003] 色调迀移是指将源图像的色调特征映射到目标图像上，包含了图像的辐照度特征 和色度特征，是影响场景风格和内容的重要因素。
[0004] 通过提取并映射源图像中的色调特征，即可使用这些数据来完成源图像色调到目 标图像色调的迀移。非线性映射类算法如累计直方图分布能够更好的表现出图像的细节但 是依赖于图像的色调分布，对图像内容不太强调的利用简单统计特征的方法不能充分表达 图像内容。针对这两类方法的适用环境，本发明综合两类方法的优势，在各种极端的输入下 获得鲁棒的自适应迀移结果。
[0005]目前很少有方案综合非线性映射算法和简单统计特征方法的优势，一个相近的工 作是Bonneel等人提出的色调迀移模型，他们对辐照度通道使用累计直方图映射，从而使 辐照度更好的体现源图像的细节；对色度通道使用蒙特卡罗仿射映射，从来使色度分布不 依赖于图像的内容。然而，该模型仅仅对辐照度通道使用三等分亮度带的方式，使得对于源 图像和目标图像具有明显不同的辐照度分布时会出现不理想的差错。
[0006] 本发明提出的场景自适应的色调迀移方法完全解决了现有方法所存在的主要问 题。通过对图像内像素的辐照度通道进行聚类，自适应的将辐照度划分成若干个不等数目 像素的亮度带，进而在源图像和目标图像间相应亮度带之间进行色调迀移可以解决现有方 法在图像间的分布显著不同时不能有效处理的问题；同时针对典型的色调迀移方法得到 的色调迀移结果仅保留源图像的色调特征，本发明提出一种动态权重调节模型能够使迀移 结果同时保持源图像和目标图像的特征，对于场景融合等应用有了更广泛的应用性和适用 性。
【发明内容】
[0007] 本发明的目的是解决在影视制作、电脑动画和广告传媒等领域难以实现的无监督 且高效、鲁棒的色调迀移问题，提出了一种场景自适应的色调迀移方法，可以实现源图像的 图像特征到目标图像的无监督高效迀移，并能根据需要动态的调整色调迀移结果。
[0008] 为完成本发明的目的，本发明采用的技术方案是：一种场景自适应的色调迀移方 法，包括以下步骤：
[0009] (1)将源图像和目标图像转换至LAB颜色空间；
[0010] (2)通过执行累计直方图非线性映射来匹配源图像和目标图像之间的辐照度分 布；标准直方图迀移函数定义为Lt= H 1CT1);其中操作符H表示归一化的辐照度累计分布 函数，T1代表目标图像中某像素在L通道下的累计概率分布值，L ,表示表示辐照度迀移后 的值；
[0011] (3)通过执行线性蒙特卡罗线性映射算法来匹配目标图像和源图像的色度分布； 在辐照度迀移的基础上，利用K-medoids算法将源图像和目标图像依照辐照度值分别聚类 成不同的亮度带；进而，在每一个聚类点集中选择相应的代表点；此时的聚类结果被视作 源图像和目标图像的初始分类；经过K-medoids算法聚类之后，聚类结果被保存在二元组 ，其中f表示辐照度代表点向量，f表示各聚类点集的像素数目，m表示聚类数 目；基于f向量，聚类点集频数低于阈值σ的点集将会与它临近的点集进行合并；基于f 向量，通过计算每个聚类C的类内辐照度平均距离d(C)同时合并d(C)低于阈值的类；至 此，则分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分；
[0012] 进而以计算出的亮度聚类为基础在源图像和目标图像之间相应辐照度带之间进 行配对，然后依据亮度带划分的像素带为基础，在相应的像素带对之间再次执行色度变换； 通过计算各个亮度带在LAB空间的a和b通道的平均值，a和b通道的平均值构成了一个平 均值向量[μ a，μ Jt和一个2x2的方阵T st;进而通过对目标图像的色度通道值a JP b屢 行蒙特卡罗线性变换，得到at'和bt' ；蒙特卡罗线性变换算法的公式如下所示：
[0014] 其中μ as和μ bs表示源图像a和b通道的平均值；μ at和μ bt表示目标图像中a 和b通道的平均值，Tst表示色度变换矩阵，T st定义如下所示：
[0016] 其中Σ 3ΡΣ汾别表示源图像和目标图像的协方差矩阵；
[0017] (4)、经过步骤（2)和（3)的算法处理，继而将辐照度迀移结果和色度迀移结果分 别作为LAB颜色空间中的L通道和AB通道合成为最终的色调迀移图像；
[0018] (5)为了进一步实施真实感场景融合，添加权重调节，使结果图像依照权重同时保 持源图像和目标图像的颜色特征。
[0019] 其中，辐照度迀移执行时，事先需要提取原图像和目标图像的辐照度数据。之后针 对辐照度数据，通过实现标准累计直方图分布算法来匹配源图像和目标图像之间的辐照度 分布。图像的辐照度计算通过将输入图像的颜色空间转换到LAB颜色空间，图像像素的L 通道值即为相应的辐照度值。特别的，当累计分布函数不可逆时，通过利用累计分布函数的 广义逆实施这种变换。同时针对输入图像对具有明显的噪声或具有显著不同直方图分布的 情况，采用一些滤波算法对其进行预处理。
[0020] 其中，通过使用线性蒙特卡罗线性映射算法来匹配目标图形和源图像的色度分 布。在辐照度迀移的基础上，利用K-medoids算法将源图像和目标图像分别聚类成不同的 亮度带。进而，我们在每一个聚类点集中选择相应的代表点。此时的聚类结果被视作源图 像和目标图像的初始分类。经过K-medoids算法聚类之后，通过计算每个聚类的类内辐照 度平均距离后合并平均距离低于指定阈值的类。至此，我们分别获得了源图像和目标图像 的最终聚类，并将它们作为最终的亮度带划分。进而在源图像和目标图像之间相应辐照度 带之间进行配对，然后在相应的亮度带对之间进行变换。
[0021] 其中，针对源图像具有显著局部对比的情况，需要对源图像和目标图像进行前后 背景分割后实施区域映射。首先提取初始蒙版，利用一系列的局部分类器来分类输入图像 局部特征，进而通过各种分类器的协作提取出前景物体。进而通过腐蚀和膨胀操作对初始 的蒙版进一步精化，通过求解稀疏线性方程系统可以获得全局最优化的蒙版。
[0022] 其中，针对传统的色调迀移图像仅和源图像的色调保持一致，为了进一步实施真 实感场景融合，需要添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜 色特征。其中源图像和目标图像的差异通过辐照度和色度差异两部分进行建模，同时辐照 度和色度差异分别是在相应的亮度聚类间进行建模计算，之后通过加权整合差异。
[0023] 本发明的原理在于：
[0024] 基于图像的辐照度累积直方图非线性变换，实现源图像到目标图像间的辐照度映 射从而保留源图像的辐照度细节。利用基于辐照度的亮度聚类，将图像自适应的划分成若 干亮度带，进而在源图像和目标图像相应的亮度带之间通过线性蒙特卡罗线性映射进行色 度迀移，可以得到更加准确、鲁棒的色度迀移结果。利用前后背景分割实现前后背景分离迀 移，可以在源图像具有显著的局部色调对比的情况下获得准确的色调迀移结果。利用源图 像和目标图像的权重调节色调迀移结果，使迀移结果根据需要同时保持源图像和目标图像 的特征。
[0025] 与现有技术相比，本发明的有益效果是：
[0026] (1)使用辐照度和色度分离进行迀移的机制，解决了现有方法不能保持源图像的 细节同时不依赖于图像内容的问题。
[0027] (2)使用基于累积直方图分布的辐照度迀移，解决了部分现有方法不能保持源图 像细节的问题。
[0028] (3)使用自适应的色度聚类，解决了源图像和目标图像具有明显不同的色调分布 时现有方法出现错误色调迀移结果的问题。
[0029] (4)使用基于前后景分割的色调迀移，解决了部分现有方法不能解决源图像具有 明显局部对比时的映射问题。
[0030] (5)使用基于权重调节的色调迀移结果动态调节，解决了现有方法仅能使迀移结 果具有源图像的色调特征，而不能同时保持源图像和目标图像特征的问题。
[0031] (6)与现有方法使用线性色调迀移、非线性色调迀移或者综合类方法，本方法的色 调迀移具有更高的准确性、调节性。
[0032] (7)与现有方法使用线性色调迀移、非线性色调迀移或者综合类方法，本方法的色 调迀移具有更高的鲁棒性，能够在各种输入条件下获得正确稳定的输出结果。
【附图说明】
[0033] 图1为本发明的色调迀移流程示意图；
[0034] 图2为本发明的色调迀移辐照度迀移示意图。其中图2(a)所在列分别代表目标 图像，目标辐照度图像，目标图像辐照度直方图统计；图2(b)所在列分别代表源图像，源图 像辐照度图像，目标图像辐照度直方图统计；图2(c)所在列分别代迀移结果图像，迀移结 果辐照度图像，迀移结果辐照度直方图统计。
[0035] 图3为本发明的色调迀移色度迀移示意图。其中图3(a)表示目标图像，图3(b) 表示源图像，图3(c)表示色度迀移后的图像。
[0036] 图4为本发明的各前后背景分割示意图。其中图4(a)表示输入图像；图4(b)表 示提取的蒙版图像；图4(c)表示通过蒙版提取的前景图像。
[0037] 图5为本发明的使用前后背景分割的色调迀移结果示意图。其中图5(a)表示目 标图像；图5 (b)表示源图像；图5 (c)表示不使用前后背景分割的色调迀移结果；图5 (d)表 示使用前后背景分割的色调迀移结果。
[0038] 图6为本发明的添加权重调节的色调迀移结果示意图。其中图6(a)表示目标图 像；图6(b)表示源图像；图6(c)表示不使用权重调节的色调迀移结果；图6(d)表示使用 权重调节的