一种基于glcm的灰度图像彩色化系统和方法
【专利摘要】本发明公开一种一种基于GLCM的灰度图像彩色化系统和方法，包括图像分块模块、灰度共生矩阵特征提取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块；能够解决以前方法的不足并适应工程实际需求，该方法能加快图像彩色化速度，并能改进图像的彩色化效果。
【专利说明】-种基于GLCM的灰度图像彩色化系统和方法
【技术领域】
[0001] 本发明属于图像处理领域，涉及一种灰度图像彩色化方法，特别涉及一种基于 GLCM(灰度共生矩阵，Gray-levelco-occurrencematrix)的灰度图像彩色化系统和方法。
【背景技术】
[0002] 图像是人类认识客观世界最常用的信息载体，图像信息除了包括景物形状、大小 等信息更包括颜色信息。没有颜色信息的图像是一种信息表达不完全的形式。在现实中， 夜视图像、铅笔手绘图像等都缺少丰富的色彩信息。特别是夜视领域中，微光和热成像技术 是当前主流技术，这两种图像都是灰度图像，提供的细节信息有限，而人眼对颜色的分辨率 远超对灰度层级的分辨率，如果利用彩色化处理将灰度图像中的细节信息凸现出来，可使 人眼对图像的细节有更丰富的认识。老旧照片或铅笔涂鸦绘画中，利用彩色化能生成图像 信息，使图像更生动形象。同一场景下的图像实现不同季节下的景色变化等。
[0003] 实现图像彩色化，需要基于参考图像，在参考图像的映射下实现颜色渲染。基于参 考图像的图像彩色化方法一般分为两大类：人工交互法和自动着色法。人工交互方法需要 人为绘画涂抹灰度图像，使其变为涂鸦或带有颜色痕迹的图像，然后进行颜色的渲染传播， 扩大至整幅图像。AnatLevin等人提出了基于优化扩展的彩色化方法，这种方法主要是基 于一种图像分割方法，设立优化条件，寻求最优的图像分割，然后进行着色。这个方法是半 自动的方法，所谓半自动方法就是说需要我们人为的在一副灰度图像上画出自己想要添加 的颜色线条，根据我们确定的这个颜色线条，结合分割方法，进行着色。这类方法的缺点主 要在于需要大量的人力手工标注图像，而且需要很好的观察与细致的工作才能实现好的效 果，费时费力。
[0004] 自动着色法是利用参考图像将色彩迁移到目标图像中。Welsh方法在过去Rein hard色彩传递方法的基础上进行改进，对目标图像的每个像素从源图像上匹配与之对应的 像素，利用像素亮度值与邻域统计值作为判断准则，将参考图像的颜色信息传递到目标图 像，同时保留目标图像的亮度信息。这类方法虽然减少人为干预，变为自动方法，但色彩渲 染效果并不好，只能实现大致的色调迁移，而不能鲜明的区分出各种物体。
【发明内容】
[0005] 本发明提供一种基于GLCM的灰度图像彩色化系统和方法，能够解决以前方法的 不足并适应工程实际需求，该方法能加快图像彩色化速度，并能改进图像的彩色化效果。
[0006] 本发明通过以下技术手段实现：
[0007] -种基于GLCM的灰度图像彩色化系统，包括图像分块模块、灰度共生矩阵特征提 取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块；
[0008] 所述的图像分块模块，采用像素块网格划分法，根据基本像素块进行图像划分；
[0009] 所述的灰度共生矩阵特征提取模块，针对每个像素块，分别计算像素块的灰度均 值、方差和0°方向、45°方向、90°方向、135°方向的灰度共生矩阵，提取灰度共生矩阵 的对比度、相关性、能量、同质性作为特征描述子，组成18维特征向量描述图像块的纹理特 征，综合所述各个特征形成表征像素块的特征描述子；
[0010] 所述的相似度匹配建立对应关系模块，通过计算特征向量的欧氏距离表现像素块 的近似程度；欧氏距离最小的灰度目标像素块，即为与之对应的最优匹配块；
[0011] 所述的颜色标记和初步修正模块，选取像素块的中心窗口位置作为颜色迁移点， 然后计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中 心窗口区域作为迁移区域，进行色彩赋值，生成标记涂鸦图像；
[0012] 所述的最优化着色模块，把颜色痕迹图像的颜色空间从RGB空间转换到YUV空间， 构造包含所有像素颜色系数的稀疏矩阵，依据任意像素与其邻域像素颜色加权差的平方和 最小原则构建方程组，此方程组用迭代法求解。
[0013] 其中，所述的基本像素块数目准则是10*10,对于不能整分的图像，采取向下取整 的方法。
[0014] 其中，所述的两个像素块之间相似度匹配的计算除了欧氏距离的叠加外，还要进 行灰度均值、方差和灰度共生矩阵特征的权重分配。
[0015] 其中，所述的像素块的灰度共生矩阵特征、方差和灰度均值的对应权重分别取值 0. 2,0. 1和0. 1，对于灰度共生矩阵中各个特征描述子的权重取值分别取0. 25,0. 25,0. 25， 0· 25。
[0016] 其中，像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设IrJ和 It』}是参考图像与目标图像对应的最优匹配块,设彩色参考像素块的尺寸大小为M*N,则选 取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]。
[0017] 其中，所述的灰度共生矩阵匹配产生误配时，根据相邻像素具有相似的灰度值则 具有相似颜色值的准则，进行结果修正，所述的修正过程是将计算灰度目标图像块的各中 心窗口的灰度值，进行相邻九宫格区域的比对，如果发现灰度值相似，而迁移色不一致，则 统计具有相似灰度值的相邻块的迁移色进行修正。
[0018] 其中，所述的图像将以相邻的四方格或九宫格像素作为单个像素的方式进行着 色，此单个像素记为四方格或九宫格像素块的超像素。计算四方格或九宫格像素块的亮度 均值作为超像素的亮度值，此时原图像会缩减至超像素组成的新图像。新图像以超像素为 彩色化的基本单元，将超像素代入最优化着色方法求解。求解得到的超像素的色度值作为 四方格或九宫格所有像素的色度值。
[0019] 一种基于GLCM的灰度图像彩色化系统的方法，实现步骤如下：步骤1:图像分块：
[0020] 即采用像素块网格划分法，根据基本像素块对图像进行像素块划分，然后利用像 素块进行特征提取和匹配；
[0021] 步骤2 :灰度共生矩阵特征提取：
[0022] 即针对每个像素块，分别计算像素块的灰度均值、方差和0°方向、45°方向、90° 方向、135°方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为 特征描述子，一共组成18维特征向量描述图像块的纹理特征，综合所述各个特征形成表征 像素块的特征描述子；
[0023] 步骤3 :相似度匹配建立对应关系：
[0024] 即通过计算特征向量的欧氏距离表现像素块的近似程度，计算出欧氏距离最小的 灰度目标像素块，就是与之对应的最优匹配块；
[0025] 步骤4:颜色标记和初步修正：
[0026] 即选取像素块的中心窗口位置作为颜色迁移点，然后计算彩色图像块中心窗口内 色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行 色彩赋值，生成标记涂鸦图像；步骤5:最优化着色：
[0027] 依据若相邻像素具有相同的亮度值则应具有相同的颜色值的原理。即先把颜色痕 迹图像的颜色空间从RGB空间转换到YUV空间，构造包含所有像素颜色系数的稀疏矩阵，依 据任意像素与其邻域像素颜色加权差的平方和最小原则构建方程组，此方程组用迭代法求 解。
[0028] 其中，两个像素块之间相似度匹配的计算除了欧氏距离的叠加，还要进行灰度均 值，方差和灰度共生矩阵特征的权重分配。
[0029] 其中，像素块的灰度共生矩阵特征、方差和灰度均值的对应权重分别取值0. 2,0. 1 和0. 1 ;对于灰度共生矩阵中各个特征描述子的权重取值分别取0. 25,0. 25,0. 25,0. 25。
[0030] 其中，所述的像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设 IrJ和It」}是参考图像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为 M*N，则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围[N/4,3N/4]，灰度目标图像中心 窗口的选取规则与之相同。
[0031] 其中，所述的图像将以相邻的四方格或九宫格像素作为单个像素的方式进行着 色，此单个像素记为四方格或九宫格像素块的超像素。计算四方格或九宫格像素块的亮度 均值作为超像素的亮度值，此时原图像会缩减至超像素组成的新图像。新图像以超像素为 彩色化的基本单元，将超像素代入最优化着色方法求解。求解得到的超像素的色度值作为 四方格或九宫格所有像素的色度值。
[0032] 本发明与现有技术相比所具有的优点是：
[0033] (1)加快了图像彩色化速度，能够为灰度图像视频彩色化的实时性打下基础；
[0034] (2)图像彩色化效果较传统方法更好，结果图像色彩信息更丰富自然；
[0035] (3)实现简单，处理过程明确，使用图像颜色痕迹的自动迁移代替人工手动涂鸦标 记，节省时间和劳动力，更容易实现计算机的自动处理。
【专利附图】
【附图说明】
[0036] 图1为本发明的系统架构图；
[0037] 图2为本发明的方法流程图；
[0038] 图3颜色标记结果修正示意图。
【具体实施方式】
[0039] 以下将结合附图对本发明的实现过程进行详细描述。
[0040] 一种基于GLCM的灰度图像彩色化系统，包括图像分块模块、灰度共生矩阵特征提 取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色模块。
[0041] 基于以上系统的一种新的图像自动彩色化方法，如图1所示，该方法利用具有相 似内容的图像作为参考图像，先对参考图像和目标图像分别进行分块，其次计算各块图像 灰度共生矩阵、灰度均值、方差等作为特征描述，然后计算各图像块特征向量的欧氏距离， 得出最优的像素块匹配关系，接着根据对应关系进行颜色痕迹的迁移，最后实现最优化颜 色传播。
[0042] 其步骤如下：
[0043] 步骤1:初始图像分块
[0044] 针对目标图像和参考图像采用像素块网格划分法，基本像素块数目准则是10*10， 然后根据图像尺寸大小再次细分，图像越大，分块数目越多。例如800*600的图像，按基本 像素块划分为10行10列，每块尺寸大小80*60。对于2400*1200的图像，可划分为20行20 列，每块大小120*60。但随着分块数目的增多，相应的匹配过程耗费时间也增多。因此，实 验过程中，选取10行10列的分块准则。对于不能整分的图像，为简化运算，我们采取向下 取整的方法。如768*512图像，先裁剪成760*510的尺寸，然后进行分块。因为图像的颜色 分布呈区域连续性状态，因此进行小范围裁剪并不影响最终的彩色化结果。假如图像尺寸 481*321，裁剪取整后为480*320,分块成10行10列，则每块大小48*32,之后利用像素块进 行特征提取和匹配。
[0045] 步骤2:GLCM特征提取
[0046] 针对每个像素块，分别计算像素块的灰度均值、方差和0°，45°，90°，135°的 4个方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特征描述 子，这样一共组成18维（1+1+4*4)特征向量描述图像块的纹理特征。
[0047] 以下为各个特征的计算过程：
[0048] (1)灰度均值和方差
[0049] 像素块的灰度均值是表征像素块的基本特征，图像中不同景物一般也会有不同的 灰度值，因此灰度均值能显著区分图像景物的类别。均值计算如公式1所示，
【权利要求】
1. 一种基于GLCM的灰度图像彩色化系统，其特征在于：包括图像分块模块、灰度共生 矩阵特征提取模块、相似度匹配建立对应关系模块、颜色标记和初步修正模块、最优化着色 模块； 所述的图像分块模块，采用像素块网格划分法，根据基本像素块进行图像划分； 所述的灰度共生矩阵特征提取模块，针对每个像素块，分别计算像素块的灰度均值、方 差和0°方向、45°方向、90°方向、135°方向的灰度共生矩阵，提取灰度共生矩阵的对比 度、相关性、能量、同质性作为特征描述子，组成18维特征向量描述图像块的纹理特征，综 合所述各个特征形成表征像素块的特征描述子； 所述的相似度匹配建立对应关系模块，通过计算特征向量的欧氏距离表现像素块的近 似程度；欧氏距离最小的灰度目标像素块，即为与之对应的最优匹配块； 所述的颜色标记和初步修正模块，选取像素块的中心窗口位置作为颜色迁移点，然后 计算彩色图像块中心窗口内色彩的颜色均值作为迁移色，然后同样选取灰度图像块中心窗 口区域作为迁移区域，进行色彩赋值，生成标记涂鸦图像； 所述的最优化着色模块，把颜色痕迹图像的颜色空间从RGB空间转换到YUV空间，构造 包含所有像素颜色系数的稀疏矩阵，依据任意像素与其邻域像素颜色加权差的平方和最小 原则构建方程组，此方程组用迭代法求解。
2. 根据权利要求1所述的基于GLCM的灰度图像彩色化系统，其特征在于：所述的基本 像素块数目准则是10*10,对于不能整分的图像，采取向下取整的方法。
3. 根据权利要求1所述的基于GLCM的灰度图像彩色化系统，其特征在于：所述的两个 像素块之间相似度匹配的计算除了欧氏距离的叠加外，还要进行灰度均值、方差和灰度共 生矩阵特征的权重分配；所述的像素块的灰度共生矩阵特征、方差和灰度均值的对应权重 分别取值0.2,0. 1和0. 1，对于灰度共生矩阵中各个特征描述子的权重取值分别取0.25， 0. 25,0. 25,0. 25。
4. 根据权利要求1所述的基于GLCM的灰度图像彩色化系统，其特征在于： 像素块的中心窗口和灰度目标图像中心窗口的选取规则为：假设IrJ和{tj是参考图 像与目标图像对应的最优匹配块，设彩色参考像素块的尺寸大小为M*N，则选取的中心窗 口长度范围是[M/4, 3M/4]，宽度范围[N/4, 3N/4]。
5. 根据权利要求1所述的基于GLCM的灰度图像彩色化系统，其特征在于：所述的灰度 共生矩阵匹配产生误配时，根据相邻像素具有相似的灰度值则具有相似颜色值的准则，进 行结果修正，所述的修正过程是将计算灰度目标图像块的各中心窗口的灰度值，进行相邻 九宫格区域的比对，如果发现灰度值相似，而迁移色不一致，则统计具有相似灰度值的相邻 块的迁移色进行修正。
6. 根据权利要求1所述的基于GLCM的灰度图像彩色化系统，其特征在于：所述的图像 将以相邻的四方格或九宫格像素作为单个像素的方式进行着色，此单个像素记为四方格或 九宫格像素块的超像素。计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，此 时原图像会缩减至超像素组成的新图像，新图像以超像素为彩色化的基本单元，将超像素 代入最优化着色方法求解，求解得到的超像素的色度值作为四方格或九宫格所有像素的色 度值。
7. -种基于GLCM的灰度图像彩色化系统的方法，其特征在于实现步骤如下： 步骤1:图像分块： 即采用像素块网格划分法，根据基本像素块对图像进行像素块划分，然后利用像素块 进行特征提取和匹配； 步骤2 :灰度共生矩阵特征提取： 即针对每个像素块，分别计算像素块的灰度均值、方差和0°方向、45°方向、90°方 向、135°方向的灰度共生矩阵，提取灰度共生矩阵的对比度、相关性、能量、同质性作为特 征描述子，一共组成18维特征向量描述图像块的纹理特征，综合所述各个特征形成表征像 素块的特征描述子； 步骤3 :相似度匹配建立对应关系： 即通过计算特征向量的欧氏距离表现像素块的近似程度，计算出欧氏距离最小的灰度 目标像素块，就是与之对应的最优匹配块； 步骤4 :颜色标记和初步修正： 即选取像素块的中心窗口位置作为颜色迁移点，然后计算彩色图像块中心窗口内色彩 的颜色均值作为迁移色，然后同样选取灰度图像块中心窗口区域作为迁移区域，进行色彩 赋值，生成标记涂鸦图像； 步骤5 :最优化着色： 依据若相邻像素具有相同的亮度值则应具有相同的颜色值的原理。先把颜色痕迹图像 的颜色空间从RGB空间转换到YUV空间，构造包含所有超像素颜色系数的稀疏矩阵，依据任 意像素与其邻域像素颜色加权差的平方和最小原则构建方程组，此方程组用迭代法求解。
8. 根据权利要求7所述的方法，其特征在于：两个像素块之间相似度匹配的计算除了 欧氏距离的叠加，还要进行灰度均值，方差和灰度共生矩阵特征的权重分配。像素块的灰度 共生矩阵特征、方差和灰度均值的对应权重分别取值〇. 2,0. 1和0. 1 ;对于灰度共生矩阵中 各个特征描述子的权重取值分别取〇. 25,0. 25,0. 25,0. 25。
9. 根据权利要求7所述的方法，其特征在于：所述的像素块的中心窗口和灰度目标图 像中心窗口的选取规则为：假设{rj和It」}是参考图像与目标图像对应的最优匹配块，设 彩色参考像素块的尺寸大小为M*N，则选取的中心窗口长度范围是[M/4,3M/4]，宽度范围 [N/4, 3N/4]，灰度目标图像中心窗口的选取规则与之相同。
10. 根据权利要求7所述的方法，其特征在于：所述的图像将以相邻的四方格或九宫 格像素作为单个像素的方式进行着色，此单个像素记为四方格或九宫格像素块的超像素； 计算四方格或九宫格像素块的亮度均值作为超像素的亮度值，以超像素为彩色化的基本单 元，代入最优化着色方法求解，求解得到的超像素的色度值作为四方格或九宫格像素块中 所有像素的色度值。
【文档编号】G06T7/40GK104376529SQ201410685330
【公开日】2015年2月25日 申请日期:2014年11月25日 优先权日:2014年11月25日
【发明者】李超, 王涛, 盛浩, 朱耿良 申请人:深圳北航新兴产业技术研究院