专利名称：基于双边滤波器的黑白图像彩色化方法
技术领域：
本发明涉及的是一种图像处理技术领域的方法，具体是一种基于双边滤波器的黑 白图像彩色化方法。
背景技术：
黑白图像彩色化是给黑白图像加上色彩的处理过程。早期的彩色化技术主要用于 黑白照片或电影，并且通常采用人工染色的方法来处理照片或电影。这样的做的工作量非 常巨大。随着计算机技术的出现，计算机辅助的彩色化方法极大地提高了处理的工作效率。 计算机辅助的彩色化方法通常分为基于模板的方法和半人工干预的方法，前者在做彩色 化的最大挑战是获取合适的图像模板；而后者则是通过增加了人工干预来准确地添加目标 颜色。因此相对于模板匹配的彩色化方法，后者具有更好的实用性。经过对现有技术的文献检索发现，A. Levin.，D. Lischinski.，Y.Weiss在《ACM TransactionOn Graphics (美国计算机学会图形学汇刊)》第23卷，第3期，第689页到694 页发表的“Colorization Using Optimization (基于优化的彩色化方法)，，一文中提出基 于YUV空间亮度和色度相关性假设，通过最小均方差求解地彩色化方法，该技术是基于已 有的色度信息，利用了亮度和色度相关性来获取未知色度信息的方法，并且求解空间在YUV 空间。但是该技术无法对图像中信息丢失的区域进行彩色化。X ^ W M R M' L. Yatiz. ， G. Sapiro ^ ((IEEE Transaction On Image Processing (IEEE图像处理学报)》第15卷，第5期，第1120页到1129页发表的“Fast Image and VideoColorization Chrominance Blending (基于色度混合的快速图像 / 视频 彩色化方法)”一文中提出基于测地距离(geodesic distance)的色度加权的彩色化方法。 但是该技术未能考虑亮度信息缺失的情况，即原黑白图像破损的情况。另外，由于破损区域 的亮度信息丢失，从而无法获得正确的色度空间的加权，这就带来了破损区域误着色的问 题。
发明内容
本发明的目的在于克服现有技术的上述不足，提供一种基于双边滤波器的黑白图 像彩色化方法。本发明采用距离变换获得像素处理优先级，以便保证色彩扩散的正确性；并 且建立双边滤波器处理框架，利用框架中的点加权和块加权来描述图像的自相似性；最后 采用自适应加权选择策略来加速色彩化的过程。本发明是通过以下技术方案实现的，具体包括如下步骤步骤一，对待处理黑白图像进行标注处理，得到包含标注点和非标注点的标注图像。所述的标注处理是通过Photoshop实现的。步骤二，以标注图像中左上角的像素点为原点建立直角坐标系，得到标注图像中 每个像素点的位置信息和灰度信息，进而将标注的图像作色彩空间转换，得到转换后的图
4像的亮度分量Y、色度分量U和色度分量V，并将转换后的图像划分为mXn个大小相等的子 图像，分别给每个子图像进行数字编号。所述的色彩空间转换，是将图像从RGB空间转换到YUV空间，具体公式为 其中R，G，B分别为图像的红、绿、蓝颜色分量，Y为图像的亮度分量，U，V为图像 的色度分量。步骤三，分别对每个子图像中的非标注点进行距离变换处理，得到每个非标注点 的变换距离，将每个子图像中变换距离最大的非标注点作为该子图像的参考点，将包含变 换距离最大的参考点的子图像的处理顺序设为最高，以此类推，包含变换距离最小的参考 点的子图像的处理顺序最低。所述的距离变换处理，是 d(p，q)是非标注像素点p和标注像素点q的欧式距离，是标注点集合，是 非标注点集合，Df(p)是非标注点p的变换距离。步骤四，按照步骤三的子图像的处理顺序从高到低，分别对每个子图像进行基于 块的双边滤波处理，得到图像新的色度分量U’和色度分量V’，亮度分量Y保持不变，从而得 到mXn个新的子图像。所述的基于块的双边滤波处理，包括以下步骤4. 1)为第k个子图像进行相邻子图像选择处理，得到该子图像的相邻子图像集 合；所述的相邻子图像选择处理，是在第k个子图像的周围选择S个子图像，进而分 别得到这S个子图像中每个子图像与第k个子图像之间的平均块梯度值，去除其中平均块 梯度值等于0或者大于阈值T的子图像，剩下的子图像组成第k个子图像的相邻子图像集 4. 2)得到第k个子图像的几何距离加权和灰度值变换加权，具体是 其中是第k个子图像的数字编号为1的相邻子图像的几何距离加权，％(&是 第k个子图像的数字编号为1的相邻子图像的u分量灰度值变换加权，是第k个子图像的数字编号为1的相邻子图像的V分量灰度值变换加权，03是％的高斯核方差，是 高斯核方差，k，l为子图像的编号，Uk和Vk分别是第k个子图像处理前的的色度分量U 值和色度分量V值，Ux和义分别是第1个子图像处理前的色度分量U值和色度分量V值。
4. 3)得到第k个子图像新的色度分量U’和色度分量V’，具体是 其中U' k和V' k分别是第k个子图像处理后的色度分量U值和色度分量V值， N(k)是第k个子图像的相邻子图像集合。步骤五，将mXn个新的子图像按照原来的顺序进行拼接，并对拼接后的图像进行 颜色空间反变换，得到待处理黑白图像的彩色图像。所述的颜色空间反变换，是将图像从YUV空间转换到RGB空间，具体公式为R' = Y+l. 13983*V'G' = Y-0. 39465*U' -0. 58060*V'，B' = Y+2. 03211*U'其中R' ,G' ,B'为变换后的图像红、绿、蓝颜色分量，U'，V'为新的U、V分量， Y为图像的亮度分量。与现有技术相比，本发明的有益效果是利用距离变换、基于块的双边滤波器结构 及自适应加权选择策略，建立色彩修复和扩散的统一框架，克服了图像破损区域不能着色 的问题；现有的半人工干预的彩色化方法，都是基于亮度与色度的相关性假设，在亮度信息 丢失的情况下，色度信息同样无法得到正确恢复，而本发明充分利用了图像的自相似性，通 过基于块的双边滤波器统一框架实现了破损图像的修复和彩色化。由于本发明将色彩化归 结为色彩修复，不需要计算亮度空间的加权，从而克服了传统色彩化方法所无法解决的问 题，且以较短的计算时间获得了较高的峰值信噪比(PSNR)。
图1是实施例的待处理黑白图像；图2是实施例的第一种标注后的待处理图像；图3是实施例的第二种标注后的待处理图像；图4是实施例的第三种标注后的待处理图像；图5是实施例的第四种标注后的待处理图像；图6是实施例的第五种标注后的待处理图像。
具体实施例方式下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前 提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。实施例
本实施例对图1所示的大小为320X256像素的黑白图像作色彩化处理，包括如下 步骤第一步，在图像处理软件Photoshop中，对待处理黑白图像进行人工标注，标注线 条为5个像素点宽度。本实施例分别进行了五种不同的标注，标注后的图像分别如图2、图3、图4、图5和 图6所示。步骤二，以标注图像中左上角的像素点为原点建立直角坐标系，得到标注图像中 每个像素点的位置信息和灰度信息，进而将标注的图像作色彩空间转换，得到转换后的图 像的亮度分量Y、色度分量U和色度分量V，并将转换后的图像划分为mX n个大小相等的子 图像，分别给每个子图像进行数字编号。所述的色彩空间转换，是将图像从RGB空间转换到YUV空间，具体公式为Y = 0. 299*R+0. 587*G+0. 114*BU = 0. 436* (B_Y) / (1-0. 114)，V = 0. 615* (R-Y) / (1-0. 299)其中R，G，B分别为图像的红、绿、蓝颜色分量，Y为图像的亮度分量，U，V为图像 的色度分量。步骤三，分别对每个子图像中的非标注点进行距离变换处理，得到每个非标注点 的变换距离，将每个子图像中变换距离最大的非标注点为该子图像的参考点，将包含变换 距离最大的参考点的子图像的处理顺序设为最高，以此类推，包含变换距离最小的参考点 的子图像的处理顺序最低。所述的距离变换处理，是 其中 d(p，q)是非标注像素点p和标注像素点q的欧式距离，是标注点集合，是 非标注点集合，Df(p)是非标注点p的变换距离。步骤四，按照步骤三的子图像的处理顺序从高到低，分别对每个子图像进行基于 块的双边滤波处理，得到图像新的色度分量U’和色度分量V’，亮度分量Y保持不变，从而得 到mXn个新的子图像。所述的基于块的双边滤波处理，包括以下步骤4. 1)为第k个子图像进行相邻子图像选择处理，得到该子图像的相邻子图像集 合；所述的相邻子图像选择处理，是在第k个子图像的周围选择S个子图像，进而分 别得到这S个子图像中每个子图像与第k个子图像之间的平均块梯度值，去除其中平均块 梯度值等于0或者大于阈值T的子图像，剩下的子图像组成第k个子图像的相邻子图像集合。本实施例中S是4，阈值T是0.3。所述的平均块梯度值，具体公式为
其中^；⑴是编号为1的子图像与第k个子图像之间的平均梯度值，^;(/)是编号 为1的子图像与第k个子图像之间的水平梯度，是编号为1的子图像与第k个子图像 之间的垂直梯度。4. 2)得到第k个子图像的几何距离加权和灰度值变换加权，具体是 其中是第k个子图像的数字编号为1的相邻子图像的几何距离加权，^^&是 第k个子图像的数字编号为1的相邻子图像的U分量灰度值变换加权，是第k个子图 像的数字编号为1的相邻子图像的V分量灰度值变换加权，03是1的高斯核方差，是
高斯核方差，k，l为子图像的编号，Uk和Vk分别是第k个子图像处理前的的色度分量U 值和色度分量V值，Ux和A分别是第1个子图像处理前的色度分量U值和色度分量V值。4. 3)得到第k个子图像新的色度分量U’和色度分量V’，具体是 其中U' k和V' k分别是第k个子图像处理后的色度分量U值和色度分量V值， N(k)是第k个子图像的相邻子图像集合。步骤五，将mXn个新的子图像按照原来的顺序进行拼接，并对拼接后的图像进行 颜色空间反变换，得到待处理黑白图像的彩色图像。所述的颜色空间反变换，是将图像从YUV空间转换到RGB空间，具体公式为R' = Y+l. 13983*V'G' = Y-0. 39465*U' -0. 58060*V'，B' = Y+2. 03211*U'其中R' ,G' ,B'为变换后的图像红、绿、蓝颜色分量，U'，V'为新的U、V分量， Y为图像的亮度分量。本实施例的彩色化原理是通过建立统一双边滤波器框架，引入了距离变换和自 适应加权策略，保持了颜色分量之间的独立性，有效地解决了亮度信息缺失情况下的黑白 图像彩色化问题；在统一框架下实现了图像的修复和色彩化，并采用距离变换克服色彩误 扩散的问题；通过平均灰度梯度值阈值的控制有效地减少了灰度值变化加权的计算。因此， 通过建立了一种统一基于块的双边滤波器方法，可实现有效的图像修复和色彩化。
在同一的条件(硬件:CPUIntel (R) Core (TM) 2Duo, E4600i2. 4GHz,RAM 1. 98G ；软 件MATLAB R2007b)下，分别采用中值滤波方法、最佳邻域匹配方法、方向熵自适应方法和 本实施例方法对图2到图6共五幅标注后的黑白图像进行彩色化处理，得到的时间和PSNR 的结果如表1所示。由该表可知，本实施例方法不仅计算时间短，而且得到了最高的PSNR值。表 1
权利要求
一种基于双边滤波器的黑白图像彩色化方法，其特征在于，包括以下步骤步骤一，对待处理黑白图像进行标注处理，得到包含标注点和非标注点的标注图像；步骤二，以标注图像中左上角的像素点为原点建立直角坐标系，得到标注图像中每个像素点的位置信息和灰度信息，进而将标注的图像作色彩空间转换，得到转换后的图像的亮度分量Y、色度分量U和色度分量V，并将转换后的图像划分为m×n个大小相等的子图像，分别给每个子图像进行数字编号；步骤三，分别对每个子图像中的非标注点进行距离变换处理，得到每个非标注点的变换距离，将每个子图像中变换距离最大的非标注点为该子图像的参考点，将包含变换距离最大的参考点的子图像的处理顺序设为最高，以此类推，包含变换距离最小的参考点的子图像的处理顺序最低；步骤四，按照步骤三的子图像的处理顺序从高到低，分别对每个子图像进行基于块的双边滤波处理，得到图像新的色度分量U’和色度分量V’，亮度分量Y保持不变，从而得到m×n个新的子图像；步骤五，将m×n个新的子图像按照原来的顺序进行拼接，并对拼接后的图像进行颜色空间反变换，得到待处理黑白图像的彩色图像。
2.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤一 中所述的标注处理是通过Photoshop实现的。
3.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤二 中所述的色彩空间转换，是将图像从RGB空间转换到YUV空间，为Y= 0. 299*R+0. 587*G+0. 114*B U = 0. 436*(B-Y)/(l-0. 114)，V= 0. 615*(R-Y)/(l-0. 299)其中R，G，B分别为图像的红、绿、蓝颜色分量，Y为图像的亮度分量，U，V为图像的色度分量。
4.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤三 中所述的距离变换处理，是DAp) = min (d(p,q) +f(q)),q其中/⑷=n,[0 pi qd(p，q)是非标注像素点p和标注像素点q的欧式距离，是标注点集合，^^是非标 注点集合，Df(p)是非标注点p的变换距离。
5.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤四 中所述的基于块的双边滤波处理，包括以下步骤`4. 1)为第k个子图像进行相邻子图像选择处理，得到该子图像的相邻子图像集合； 4. 2)得到第k个子图像的几何距离加权和灰度值变换加权，为《)=-{勢},其中是第k个子图像的数字编号为1的相邻子图像的几何距离加权，W)^是第k 个子图像的数字编号为1的相邻子图像的U分量灰度值变换加权，是第k个子图像的 数字编号为1的相邻子图像的V分量灰度值变换加权，O s是Ws的高斯核方差，C^是WK的 高斯核方差，k，1为子图像的编号，Uk和Vk分别是第k个子图像处理前的的色度分量U值 和色度分量V值，Ux和A分别是第1个子图像处理前的色度分量U值和色度分量V值；，4. 3)得到第k个子图像新的色度分量U，和色度分量V’，为 其中u' k和V' k分别是第k个子图像处理后的色度分量U值和色度分量V值，N(k) 是第k个子图像的相邻子图像集合。
6.根据权利要求5所述的基于双边滤波器的黑白图像彩色化方法，其特征是，所述的 相邻子图像选择处理，是在第k个子图像的周围选择S个子图像，进而分别得到这S个子 图像中每个子图像与第k个子图像之间的平均块梯度值，去除其中平均块梯度值等于0或 者大于阈值T的子图像，剩下的子图像组成第k个子图像的相邻子图像集合。
7.根据权利要求1所述的基于双边滤波器的黑白图像彩色化方法，其特征是，步骤五 中所述的颜色空间反变换，是将图像从YUV空间转换到RGB空间，为 其中R'，G' ,B'为变换后的图像红、绿、蓝颜色分量，U'，V'为新的U、V分量，Y为 图像的亮度分量。
全文摘要
一种图像处理领域的基于双边滤波器的黑白图像彩色化方法，包括以下步骤标注黑白图像；对黑白图像做距离变换，得到图像块的处理优先级；在双边滤波器框架下计算当前块和相邻块间的几何距离加权和平均灰度梯度值，若平均灰度梯度值大于阈值，则相邻块与当前块相似性不足，因此不能用来预测当前块；反之，若平均灰度梯度值小于阈值，则计算当前块和相邻块灰度值变化加权，最后当前块的恢复值由当前块、几何距离加权和灰度变化加权得到。本发明克服了色彩化过程中的亮度与色度的相关性假设缺陷，有效地实现了对破损黑白图像的彩色化，且所用时间短，得到的峰值信噪比高。
文档编号H04N9/64GK101860655SQ20101021654
公开日2010年10月13日 申请日期2010年7月2日 优先权日2010年7月2日
发明者姚晨, 杨小康, 陈立 申请人:上海交通大学