一种针对中红外图像上色的方法与流程

本发明属于图像处理领域，具体涉及一种图像上色的方法。

背景技术：

随着红外成像技术在军事领域的广泛应用，针对红外图像的各种图像处理技术快速发展起来。红外图像上色属于近些年来才开始发展的技术，对于红外图像分割、目标识别等具有重要意义。红外图像成像主要依靠物体的热辐射，根据辐射波长的不同大致可分为近红外图像，中红外图像和远红外图像，不同波段的红外图像成像过程和使用的设备不同。对于近红外图像，可以用同一镜头添加滤光片即可采集可见光彩色图像和对应的近红外图像，并且彩色图像与近红外图像之间是像素级别的对应关系，可通过构造点对点的映射关系实现二者之间的转换。对于中红外图像和远红外图像，只能用热红外成像仪成像，所成的像与可见光彩色图像之间不存在像素级别的一对一关系。现有技术对中红外图像上色主要利用神经网络来实现，从上色后的效果来看，不能很好的对场景中的物体进行上色从而无法有效的将图像中的主要物体与背景区分开来并且存在伪上色现象，即处理后物体的颜色与现实情况中物体可能的颜色相差较大，给人感官上的差别很大。

技术实现要素：

为了克服现有技术的不足，本发明提供了一种针对中红外图像上色的方法。首先构建中红外图像和彩色图像匹配的字典；再根据得到的字典，依据n近邻原则，找到与待上色中红外图像的小块匹配的彩色图像小块，进而构造彩色图像，得到初步上色后的中红外图像；最后利用全变分模型，对初步上色后的中红外图像去噪，得到最终的结果。该方法很好的将图像场景中的主要物体与背景区分开来，上色效果较为自然。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：建立中红外图像和彩色图像匹配字典；

步骤1-1：选取m幅大小相同的彩色图像，获取每一幅彩色图像对应的中红外图像，获取的中红外图像大小与彩色图像相同；彩色图像与自身对应的中红外图像组成图像对，共有m组图像对；

步骤1-2：将第k组图像对中的彩色图像按rgb值分为r通道图像、g通道图像和b通道图像，k＝1,…,m，将每个通道图像分割为p个s1×s2大小的矩形小块，再将每个通道图像的p个矩形小块按照矩形小块在通道图像中从左至右从上至下的位置顺序排序；将每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量，共生成p个列向量；再将每个通道的p个列向量组成一个二维矩阵，二维矩阵中列向量从左至右的排列顺序和列向量对应的p个矩形小块的排序相同；三个通道图像构成三个二维矩阵，分别记为和

将第k组图像对中的中红外图像分割为p个s1×s2大小的矩形小块，将中红外图像的p个矩形小块按照矩形小块在中红外图像中从左至右从上至下的位置顺序排序；将中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量，共生成p个列向量；再将p个列向量组成一个二维矩阵，二维矩阵中列向量从左至右的排列顺序和列向量对应的p个矩形小块的排序相同，记为dirk；

定义和分别为第k组图像对的r通道字典、g通道字典和b通道字典；

步骤1-3：将所有m组图像对采用步骤1-2的处理方法，得到m组图像对的r通道字典、g通道字典和b通道字典；将m组图像对的r通道字典、g通道字典和b通道字典按rgb三个通道分别合并，结果为：

，将合并后的结果记为：其中为总r通道字典，为总g通道字典，为总b通道字典；

和dir均为二维矩阵且大小相同；在每一个通道字典内部dir与中列序号相同的向量具有对应关系；

步骤2：中红外图像上色；

步骤2-1：将待上色的中红外图像分割成a个s1×s2大小的矩形小块，将中红外图像的a个矩形小块按照矩形小块在待上色的中红外图像中从左至右从上至下的位置顺序排序；将待上色的中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量，共生成a个列向量；再将a个列向量组成一个二维矩阵，二维矩阵中列向量从左至右的排列顺序和列向量对应的a个矩形小块的排序相同，记为δ^ir，其中第i个矩形小块生成的列向量记为δi^ir；

步骤2-2：采用n近邻原则在矩阵dir中找到与δi^ir距离最近的n个列向量，表示为使用总r通道字典、总g通道字典和总b通道字典，得到在二维矩阵和中对应的n个列序号相同的列向量分别为和

对和加权求和：

式中，分别表示待上色的中红外图像的第i个矩形小块生成的列向量对应的rgb三个通道图像小块列向量；按照步骤1-2中将每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量时的像素排序，将rgb三个通道图像小块列向量复原为rgb三个通道的图像小块；

wj为权重，计算如下：

步骤2-3：对待上色的中红外图像分割的每一个图像小块都进行步骤2-2的处理，得到中红外图像每一个图像小块对应的rgb三个通道的图像小块；再将得到的中红外图像每一个图像小块对应的rgb三个通道的图像小块按步骤2-1对中红外图像进行分割时从左至右从上至下的位置顺序分别拼接成完整的三幅rgb通道图像，并将得到的三幅rgb通道图像叠加成三维矩阵，从而得到初步上色后的彩色图像z；

步骤3：采用全变分模型去噪，构造目标函数：

式中，x为去噪后对中红外图像上色的彩色图像，为对x求微分，λ为惩罚因子；

迭代一次，得到：

式中，d为梯度下降的步长，为对z求微分。

优选地，步骤1-1所述的获取每一幅彩色图像对应的中红外图像的方法为：采用红外摄像头和可见光摄像头对同一场景进行拍照采样，经过图像去畸变、缩放和对准后，获得彩色图像与中红外图像的图像对；

优选地，步骤1-2所述的s1＝10，s2＝10。

优选地，步骤2-2所述的n近邻原则的n＝10。

优选地，步骤2-2所述的n近邻原则方法如下：

计算δi^ir与矩阵dir中每个列向量之间的距离，即求取两个向量相减后所得向量的二范数；将计算得到的所有距离按从小到大的顺序排序，取前n个距离对应的dir的列向量。

优选地，步骤3所述的λ＝0，d＝0.2。

优选地，步骤3所述的求微分的方法为用图像像素与其八邻域内像素的差值替代微分值。

由于采用了本发明的一种针对中红外图像上色的方法，对中红外图像上色后可以将图像场景中的主要物体与背景区分开来，上色效果较为自然。

附图说明

图1是彩色图像与中红外图像对示意图；

图2是采用本发明方法待上色的中红外图像；

图3是对图2上色时挑选的用于生成字典的三对彩色与中红外图像对；

图4是本发明方法得到的对图2上色后的rgb三个通道的图像；

图5是本发明方法得到的对图2上色后的初步彩色图像；

图6是本发明方法得到的初步彩色图像进行全变分模型去噪后的结果；

具体实施方式

下面结合附图和实施例对本发明进一步说明。

一种针对中红外图像上色的方法。包括以下步骤：

步骤1：建立中红外图像和彩色图像匹配字典；

步骤1-1：选取m幅大小相同的彩色图像，获取每一幅彩色图像对应的中红外图像，获取的中红外图像大小与彩色图像相同；彩色图像与自身对应的中红外图像组成图像对，共有m组图像对；

步骤1-2：将第k组图像对中的彩色图像按rgb值分为r通道图像、g通道图像和b通道图像，k＝1,…,m，将每个通道图像分割为p个s1×s2大小的矩形小块，再将每个通道图像的p个矩形小块按照矩形小块在通道图像中从左至右从上至下的位置顺序排序；将每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量，共生成p个列向量；再将每个通道的p个列向量组成一个二维矩阵，二维矩阵中列向量从左至右的排列顺序和列向量对应的p个矩形小块的排序相同；三个通道图像构成三个二维矩阵，分别记为和

将第k组图像对中的中红外图像分割为p个s1×s2大小的矩形小块，将中红外图像的p个矩形小块按照矩形小块在中红外图像中从左至右从上至下的位置顺序排序；将中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量，共生成p个列向量；再将p个列向量组成一个二维矩阵，二维矩阵中列向量从左至右的排列顺序和列向量对应的p个矩形小块的排序相同，记为dirk；

定义和分别为第k组图像对的r通道字典、g通道字典和b通道字典；

步骤1-3：将所有m组图像对采用步骤1-2的处理方法，得到m组图像对的r通道字典、g通道字典和b通道字典；将m组图像对的r通道字典、g通道字典和b通道字典按rgb三个通道分别合并，结果为：

，将合并后的结果记为：其中为总r通道字典，为总g通道字典，为总b通道字典；

和dir均为二维矩阵且大小相同；在每一个通道字典内部dir与中列序号相同的向量具有对应关系；

步骤2：中红外图像上色；

步骤2-1：将待上色的中红外图像分割成a个s1×s2大小的矩形小块，将中红外图像的a个矩形小块按照矩形小块在待上色的中红外图像中从左至右从上至下的位置顺序排序；将待上色的中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量，共生成a个列向量；再将a个列向量组成一个二维矩阵，二维矩阵中列向量从左至右的排列顺序和列向量对应的a个矩形小块的排序相同，记为δ^ir，其中第i个矩形小块生成的列向量记为δi^ir；

步骤2-2：采用n近邻原则在矩阵dir中找到与δi^ir距离最近的n个列向量，表示为使用总r通道字典、总g通道字典和总b通道字典，得到在二维矩阵和中对应的n个列序号相同的列向量分别为和

对和加权求和：

式中，分别表示待上色的中红外图像的第i个矩形小块生成的列向量对应的rgb三个通道图像小块列向量；按照步骤1-2中将每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量时的像素排序，将rgb三个通道图像小块列向量复原为rgb三个通道的图像小块；

wj为权重，计算如下：

步骤2-3：对待上色的中红外图像分割的每一个图像小块都进行步骤2-2的处理，得到中红外图像每一个图像小块对应的rgb三个通道的图像小块；再将得到的中红外图像每一个图像小块对应的rgb三个通道的图像小块按步骤2-1对中红外图像进行分割时从左至右从上至下的位置顺序分别拼接成完整的三幅rgb通道图像，并将得到的三幅rgb通道图像叠加成三维矩阵，从而得到初步上色后的彩色图像z；

步骤3：采用全变分模型去噪，构造目标函数：

式中，x为去噪后对中红外图像上色的彩色图像，为对x求微分，λ为惩罚因子；

迭代一次，得到：

式中，d为梯度下降的步长，为对z求微分。

实施例：

本实施例关于彩色图像和对应的中红外图像的获取方法，是采用红外摄像头和可见光摄像头对同一场景进行拍照采样，经过图像去畸变、缩放和对准后，获得一系列彩色图像与中红外图像匹配的图像对。图1所示为一对经过处理的图像对，左侧为彩色图像，右侧为中红外图像，可以看出同一物体在不同图像中的位置和大小是大致相同的。选用的待上色中红外图像如图2。

1、根据图2待上色的中红外图像选择三幅内容与图2中红外图像相近的中红外图像和这三幅中红外图像对应可见光彩色图像，图3为对应图2选择的三对可见光彩色图像与中红外图像，左侧为彩色图像，右侧为中红外图像。由于彩色图像具有三个通道，在每一个通道采取相同的操作，对这三对图像按步骤1所述构建字典分割块的尺寸s1×s2选择10*10。在每一个字典内部dir与中列序号相同的向量具有对应关系，这个对应关系是红外图像上色的关键。

2、对待上色中红外图像上色得到初步上色后的图像；

将待上色的中红外图像分成若干个10*10大小的小块，其中第i个矩形小块生成的列向量记为δi^ir，在dir的列向量中寻找10个与δi^ir距离最近的向量，这10个距离最近的向量表示为使用总r通道字典、总g通道字典和总b通道字典，在二维矩阵和对应的列向量为和对这些向量进行加权求和：

得到第i个矩形小块对应的rgb三个通道的图像小块

对待上色图像分成的每一个小块均采取上述步骤，将得到的三通道彩色图像小块列向量重新转换为10*10的三通道彩色图像小块，并拼接得到rgb三个通道的图像，如图4所示，并将得到的三幅rgb通道图像叠加成三维矩阵，从而得到初步的上色图像z，如图5。

3、对上一步得到的初步上色后图像利用步骤3全变分模型进行去噪处理；

取λ为0，取d为0.2，仅迭代一次，得到可得去噪后的图像如图6。

根据仿真结果，可以看出，利用本发明对中红外图像上色，很好的将物体与背景分离开来，并且上色效果自然。