基于特征相似性的非局部邻域灰度图像彩色化方法
【技术领域】
[0001] 本发明涉及一种灰度图像彩色化方法，尤其是基于特征相似性的非局部邻域灰度 图像彩色化方法。
【背景技术】
[0002] 彩色化作为计算机辅助过程，就是给黑白图像或者视频上颜色的过程。该项技术 目前在影视、医疗、太空探索及工业、科学等领域有着广泛的应用。一般的，彩色化方法分为 两类：基于参考图片的彩色化方法和基于用户涂写交互的彩色化方法。基于参考图片的彩 色化方法，即根据某种相关度把参考图片中的颜色转移到目标图像中的过程。这类方法虽 然能够获得比较好的彩色化结果，但是它对参考图片的依赖性比较大，因此制约了该方法 的发展。然而，基于用户涂写交互的彩色化方法，即通过用户给目标图像区域简单的涂上颜 色，颜色自动的扩散到图像的其他相关区域或者区域的其他地方的过程。这类方法把计算 机彩色化过程转化为优化求解过程，而人工进行着色工作则成为优化求解的约束条件。由 于这类方法易于实现，近些年来，越来越多的研宄人员投身于对这类方法的研宄，大大的促 进了该类方法的发展。
[0003] 基于用户涂写交互的彩色化方法在减少用户输入的前提下，不断提高图像彩色化 效果。比较有代表性的是Levin等人的方法，即先由用户在图像中的各个区域涂上适当的 彩色线条，颜色就自动的扩散到区域的其他地方。颜色扩散过程就是求解，使所有像素与其 邻域像素色度加权和的平方差最小的过程，参见AnatLevin，DaniLischinskiandYair Weiss.ColorizationusingOptimization.ACMTransactionsonGraphics. 2004,23 : 689-693。这种方法主要有两个缺点：一方面由于该方法是基于局部彩色化算法，所以各 区域的彩色化结果对用户的输入还是依赖性比较大，容易出现颜色渗透。另一方面该方法 只是利用局部亮度信息进行邻域的查找，难免对一些纹理比较丰富的图像的彩色化效果不 是很好。Yatziv等人采用颜色混合的方法，即对未着色像素，把到达该像素最短距离的三 个着色区域的颜色辅以一个关于距离的函数进行加权，从而得到最终的颜色。参见Liron YatzivandGuillermoSapiro.FastImageandVideoColorizationUsingChrominance Blending.ImageProcessing，IEEETransactionson. 2006,15 (5) :1120_1129.Yatiziv等 人利用测地线距离来确定各混合色的权重，有一定的合理性。但是对于亮度变化不剧烈而 颜色值变化剧烈的图像，彩色化效果就不是那么理想。Sheng等人利用基于Gabor的小波滤 波器来构建各个像素的特征向量，从而达到对不邻接的纹理像素的区域进行着色。参见Bin Sheng，HanqiuSun，ShunbinChen.XuehuiLiuandEnhuaWu.ColorizationUsingthe Rotation-InvariantFeatureSpace.IEEEcomputergraphicsandapplications，2011， 31 (2) :24-35.该方法虽然对纹理相似且颜色相近的图像，能够得到比较好的彩色化结果， 但是对纹理相似但是颜色不同的区域，就会产生颜色混合；另外，该方法对纹理欠丰富的图 像，会产生颜色渗透现象，以至于得到不理想的彩色化结果。Musialski等人提出了一个交 互的图像颜色编辑方法，该方法在保持原图像素之间特征距离的同时把颜色值映射到目标 图像上° 参见PrzemyslawMusialski，MingCui，JiepingYe，AnshumanRazdan，Peter Wonka.AFrameworkforInteractiveImageColorEditing.TheVisualComputer，2013， 29(11) :1173-1186.该方法对颜色相同的不连续区域，只需要在一个区域画上适当的颜色 线条，就能得到比较不错的彩色化效果，在一定程度上减少了用户的涂写线条数。然而，这 种方法同样没有考虑到图像的纹理信息。同时，没有考虑到图像亮度相同的区域涂上不同 颜色的线条时，彩色化结果将会出现颜色混合情况。
【发明内容】
[0004] 本发明的目的：本发明提出了一种基于特征相似性的非局部邻域灰度图像彩色化 方法，该方法只需要少量的人工输入，就可以把用户涂写的线条颜色，不仅扩散到亮度连续 的局部区域，还能扩散到不连续的纹理相似区域，而无需借助显式的图像分割技术。具有很 强的灵活性和广阔的适用性。由于该方法不仅考虑到图像的亮度信息和空间坐标信息，还 兼顾到图像的纹理信息，有效的提高了图像彩色化的质量，另一方面，该方法利用结果图， 对图像的纹理特征向量进行了约束，很好的防止了图像边界处颜色的渗透现象。
[0005] 本发明设计了一种基于特征相似性的非局部邻域灰度图像彩色化方法。该方法可 以概括为以下九个步骤：
[0006] (1)输入一张待处理RGB颜色空间中的灰度图像，作为输入图像sl，其宽度和高度 记为width，height;
[0007](2)运用结构张量（structuretensor)，求取步骤（1)输入图像si中，每个像素 的局部显著特征方向0d;输入图像的结构张量可以写成一个2*2的矩阵：
【主权项】
1. 一种基于特征相似性的非局部邻域灰度图像彩色化方法，可以阐述为以下九个步 骤： (1) 输入一张待处理RGB颜色空间中的灰度图像，作为输入图像si，其宽度和高度记为 width，height ; (2) 对于输入图像sl，运用结构张量（structure tensor)，求步骤（1)中输入图像si 的每个像素局部显著特征方向的角度9 d; (3) 由Gabor函数和步骤（4)得出的局部显著特征方向的角度0d，求出每个像素的方 向对齐的Gabor纹理特征向量F t; (4) 对步骤⑴中的输入图像si的每个像素，求取以该像素为中心的3*3窗口大小的 RTV(relative totalvariation)相对总变差，可以得到结果图，记为R; (5) 构建高维特征向量场，考虑到大多数图像不仅具有亮度信息而且存在丰富的纹理 信息，所以高维特征向量场由表示输入图像sI纹理信息的加权的方向对齐的Gabor纹理特 征向量RF t、输入图像si的亮度通道值L和输入图像si中每个像素的空间坐标p组成； (6) 用KNN(K-Nearest Neighborhood)求出输入图像si中，在高维特征向量场中，距每 个像素最近的20个像素（包括自身），作为对应像素的最近邻域； (7) 将步骤⑴中的输入图像si进行人工着色，得到着色图像，将输入图像si和着色 图像由RGB颜色空间转换到Lab颜色空间； (8) 计算各像素与其最近邻域像素（20个）之间的相关度矩阵，利用着色图像的a，b 颜色通道值，分别与相关度矩阵结合，构建稀疏线性方程组，求解稀疏线性方程组，得到a，b 颜色通道值； (9) 由步骤（8)中的输入图像si的亮度通道L与步骤（8)中求出的a，b颜色通道值， 构建一幅图像，将该图像由Lab颜色空间转化到RGB颜色空间，至此，得到一幅彩色图像。
【专利摘要】本发明提供了一种基于特征相似性的非局部邻域灰度图像彩色化方法。用户给定一张灰度图像作为输入图像；由输入图像得到显著特征方向场；根据显著特征方向场和输入图像得到纹理特征向量场；对输入图像用相对总变差方法计算得到结构图；由结构图、纹理特征向量场、灰度图像、图像空间坐标系统构造一个高维度的特征向量场；由该特征向量场得到每个像素的最近邻域；用户对输入图像进行少量的人工着色得到着色图像，把输入图像和着色图像转换到Lab颜色空间；结合着色图像和每个像素的最近邻域，构造稀疏线性方程组，求解得到目标图像；把目标图像转换到RGB颜色空间获得彩色化图像。本方法考虑了亮度、坐标和纹理特征，改进了彩色化效果。
【IPC分类】G06T3-00
【公开号】CN104851074
【申请号】CN201510153344
【发明人】赵汉理, 聂桂芝, 厉旭杰
【申请人】温州大学
【公开日】2015年8月19日
【申请日】2015年3月26日