专利名称：采用模式数据库的具有空间感的自然彩色夜视实现方法
技术领域：
本发明涉及一种彩色夜视图像实现方法。
背景技术：
“红外热成像”和“微光”是实现夜视观察的两个必不可少的技术途径，它们感应的是目标不同波段的辐射/反射，输出的单色图像具有信息互补性，融合这些互补信息可有效扩展目标观察的信息量。目前用于夜视图像的融合方法有灰度融合和假彩色融合两种方法，其中假彩色融合利用“来自不同传感器的信号差产生色差”的原理实现了彩色夜视。由于人眼对色彩的分辨率远大于对灰度的分辨率，彩色夜视图像将有助于人眼的识别，是目前夜视领域研究的热点。但是假彩色融合都采用了将经过某种预处理的不同信号分别送入R、G、B三个色彩通道的方法，因此形成的融合图像往往具有不真实的色彩(如绿树在假彩色图像中常常呈现不自然的红色)。研究表明，由于假彩色图像中景物的颜色与人类的心理记忆色相差甚远，影响了观察者对目标辨别的快速性和准确性。
为了使假彩色图像具有更自然的色彩，近年来提出了很多对假彩色图像进行色彩重映射的方法。Waxman提出一种将假彩色图像变换到HSV(色调、饱和度、亮度)色彩空间进行色调、饱和度调整的想法，但是没有给出具体方法。荷兰人力因素研究所(TNO)的Toet借鉴改善彩色照片偏色的色彩传递方法，用自然彩色图像的一阶统计信息(均值、标准差)去校正假彩色图像的色彩。但是由于假彩色图像中的各部分的色彩差异很大，用整张图片进行色彩传递后，夜视图像常常呈现出新的不自然色彩，当假彩色图像中的色彩较为丰富时，这种情况更为明显。Yufeng Zheng改进了Toet的方法，用先将假彩色图像分割成不同的区域，再对区域分别进行色彩校正的“局部色彩传递”代替了Toet的“全局色彩传递”，并且引入了色彩直方图规定化，还实现了各分割区域对期望呈现的色彩的自动选择。Yufeng Zheng的方法由于仍然是对假彩色图像进行色彩重映射，因此无法从根本上避免这种不自然色彩的产生。
发明内容
本发明的目的是使得夜视图像不仅具有自然的色彩，而且同时让夜视图像具有空间感，并且实现上述处理过程的自动化。
为了达到上述目的，本发明提供了一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其原理是通过直接为夜视图像中的景物赋予其特征色彩来彻底克服不自然色彩的产生，使多波段的夜视图像呈现均匀的自然色彩；通过特征色彩的色调对比和饱和度变化来反映物体的空间关系，使夜视图像具有空间感；通过构建夜视图像模式数据库，实现上述过程的自动化处理。本发明提供的方法包括下列步骤 步骤1、构建基于红外图像和微光图像的模式数据库。
步骤1.1、把红外图像和微光图像中的景物分为目标(人，车辆等热辐射体)、植物、土壤、建筑、道路、岩石、天空、云雾、水面以及其它(混合景物)大类，在每一大类中又按照物体在常规摄影方法得到的照片中离观察者远近的不同，定性地分为“远”、“中”、“近”小类，大类与小类组合成各种模式。所述的“远”是指通过常规摄影方法得到的照片中，处于远处的景物定义为“远”；所述的“近”是指通过常规摄影方法得到的照片中，处于近处的景物定义为“近”；其他则定义为“中”。
步骤1.2、计算得到各种模式对应的特征向量并为每一种模式指定其特征色彩，随后将特征向量及特征色彩存入模式数据库，同时对模式数据库内的特征向量进行高斯归一化。
所述的特征向量通过下列步骤求得 步骤1.2.1、对至少三组中的一组已配准的包含某种模式的物体的同一场景的红外图像和微光图像进行亮度规定化。
步骤1.2.2、将由步骤1.2.1得到的红外图像和微光图像融合成假彩色图像和灰度图像。
步骤1.2.3、将由步骤1.2.2得到的假彩色图像从RGB色彩空间变换到LUV色彩空间。
步骤1.2.4、在由步骤1.2.3得到的假彩色图像和由步骤1.2.2得到的灰度图像中，同时手动确定属于某种模式的区域R。所述的某种模式是指通过步骤1.1所得到的各种模式中的一种。
步骤1.2.5、计算区域R的辐射/反射特征和纹理特征。
步骤1.2.6、重复步骤1.2.1至步骤1.2.5，直至计算出来自不同组图像的同一模式的所有样本的辐射/反射特征和纹理特征，并求出这些样本的各特征对应项的均值，得到这一模式的特征向量。
步骤2、实现具有空间感的自然彩色夜视。
步骤2.1、对已配准的同一场景的红外图像和微光图像进行亮度规定化。
步骤2.2、将通过步骤2.1得到的红外图像和微光图像融合成假彩色图像和灰度图像。
步骤2.3、将假彩色图像从RGB彩色空间变换到LUV色彩空间。
步骤2.4、用均值漂移分割方法(Mean Shift分割方法)在LUV空间对假彩色图像进行分割，得到不同的区域。区域最少像素为图像总像素的0.1％至0.2％。
步骤2.5、提取通过步骤2.4所得到的区域的特征向量并对该特征向量进行高斯归一化。所述的特征向量是指辐射/反射特征和纹理特征。
步骤2.6、根据步骤2.5得到的特征向量，通过区域识别，在模式数据库中找到每个区所属模式，将模式数据库中的模式的特征色彩进行再修正，获得区域的特征色彩。
步骤2.7、在HSV空间合成图像。
步骤2.8、将合成图像从HSV空间变换至RGB空间，得到具有空间感的自然彩色夜视图像。
进一步，所述的步骤2.4中均值漂移分割方法(Mean Shift分割方法)中的色彩窗宽和空间窗宽根据图像的分辨率选取固定值。
所述的步骤2.7中HSV空间的色调、饱和度通道由各区域的特征色彩组成，HSV空间的亮度通道由灰度融合图像组成。
所述步骤1.2中的特征色彩是参考景物的自然色彩并遵循色彩透视规律得到的经验值，由HSV色彩空间的色调和饱和度表示。
所述的步骤2.2和所述的步骤1.2.2中的假彩色图像通过将红外图像送入RGB色彩空间的R通道，微光图像送入G通道，B通道置0得到。
所述的步骤2.2和所述的步骤1.2.2中的灰度图像通过对红外图像和微光图像应用已有的灰度融合算法得到。
所述的辐射/反射特征指物体所辐射/反射的红外/微光的强度的均值，由假彩色图像中相应区域在LUV空间中各通道的均值L，U，V所表示。
步骤2.1中所述的亮度规定化与步骤1.2.1中所述的亮度规定化的过程相同，既通过平移和放缩把输入的红外/微光的信号强度变换在一个由已知的公式规定的范围内，所述的公式为 其中，V、V*分别为图像的原亮度值和规定化后的亮度值，μ、σ和μ*、σ*分别为原亮度的均值、标准差和期望的均值、标准差。
本发明提供的一种采用模式数据库的具有空间感的自然彩色夜视实现方法具有下列有益效果 1)彻底克服了彩色夜视图像中不自然色彩的产生，通过直接为夜视图像中的景物赋予特征色彩使多波段的夜视图像呈现出均匀的自然色彩，提高了目标识别的效率； 2)本发明涉及一个夜视图像中尚未被研究但是至关重要的领域——图像的空间感，本发明采用色彩的透视变化来反映物体的空间关系，使夜视图像具有了空间感。空间感显著增强了夜视图像的场景感知性、增加了图像的信息容量； 3)本发明通过构建夜视图像模式数据库，实现了彩色夜视的自动化，可以稳定快速地获得具有空间感的自然彩色夜视图像。
图1为本发明提供的一种采用模式数据库的具有空间感的自然彩色夜视实现方法的总流程图； 图2为本发明的构建夜视图像模式数据库的流程示意图； 图3为本发明的自动实现具有空间感的自然彩色夜视的流程示意图； 图4为三组采用本发明的方法处理的夜视图像； 图5为图4中第一组夜视图像分别采用局部色彩传递的方法(a)、全局色彩传递的方法(b)和基于Welsh法对灰度融合图像彩色化的方法(c)的效果比较。
具体实施例方式 下述步骤可以用图1所示的流程图来概括，即先将红外图像、微光图像融合成假彩色图像和灰度图像，然后以各物体在假彩色图像和灰度图像中表现出的特征作为特征向量，为夜视图像中的不同景物在模式数据库中找到其特征色彩，并把特征色彩赋予该景物。
步骤1、构建红外图像和微光图像的模式数据库。该过程可以用图2所示的流程图来概括，即对第n组包含属于模式j的物体的同一场景的红外图像(IR(n))、微光图像(LL(n))先进行亮度规定化，然后融合成假彩色图像和灰度图像，并把假彩色图像由RGB空间转换至LUV空间。在假彩色图像和灰度融合图像中同时确定属于模式j的区域Rj(n)，计算区域Rj(n)的辐射/反射特征和纹理特征。重复上述过程直至获得第j个模式所有n组样本的辐射/反射特征和纹理特征，并由n组样本各特征的相应项的均值组成该模式的特征向量。为该模式确定特征色彩(HSV空间的色调和饱和度)。将该模式的特征向量和特征色彩对应地存入模式数据库。重复上述所有过程，直至为所有模式都在数据库中建立起特征向量及特征色彩。具体步骤如下 步骤1.1、把如图4所示的第一行的红外图像和第二行的微光图像中的景物分为目标(人，车辆等热辐射体)、植物、土壤、建筑、道路、岩石、天空、云雾、水面以及其它(混合景物)共10大类，在每一大类中又按照物体在常规摄影方法得到的照片中离观察者远近的不同，定性地分为“远”、“中”、“近”共3小类，大类与小类组合成30种模式。
步骤1.2、计算得到30种模式对应的特征向量及特征色彩，随后将其存入模式数据库，同时对模式数据库中的特征向量进行高斯归一化。
所述的特征向量通过下列步骤得到 步骤1.2.1、对已配准的第n(n＝1，2，3)组包含属于模式j的物体的同一场景的红外图像(IR(n))和微光图像(LL(n))进行亮度规定化。亮度规定化的公式为 其中，V、V*分别为图像的原亮度值和规定化后的亮度值，μ、σ和μ*、σ*分别为原亮度的均值、标准差和期望的均值、标准差。在图4所示的第一行的红外图像和第二行的微光图像中，μ*、σ*分别取90、50。
步骤1.2.2、将由步骤1.2.1得到的红外图像和微光图像融合成假彩色图像和灰度图像。所述的假彩色图像的融合公式为 其中，IR为红外图像，LL为微光图像。
所述的灰度图像的融合采用拉普拉斯金字塔融合算法，分解的层数为4层，融合规则为选择对应层中最大的系数作为融合后的系数。
步骤1.2.3、将由步骤1.2.2得到的假彩色图像从RGB色彩空间变换到LUV色彩空间。所用到的变换公式为 Yn＝0.3230 U＝13L(u′-u′n)，u′n＝0.2009 V＝13L(v′-v′n)，v′n＝0.4610 u′＝4X/(X+15Y+3Z)， v′＝9Y/(X+15Y+3Z)， 其中，XYZ空间是变换的过渡空间。
至此，步骤1.2.3结束。
步骤1.2.4、在由步骤1.2.3得到的假彩色图像和由步骤1.2.2得到的灰度图像中，同时手动确定属于模式j的区域Rj(n)； 步骤1.2.5、计算区域Rj(n)的辐射/反射特征和纹理特征。
区域Rj(n)的辐射/反射特征为(Lj(n)，Uj(n)，Vj(n)，Rj(n)，Gj(n))。Lj(n)，Uj(n)，Vj(n)是假彩色图像中的Rj(n)在LUV空间中各通道的均值。Rj(n)，Gj(n)由将Lj(n))，Uj(n)，Vj(n)转换至RGB空间得到，其中B通道为0。所用到的变换公式为 u′＝U/13L+u′n，u′n＝0.2009 v′＝V/13L+v′n，v′n＝0.4610 Yn＝0.3230 X＝Y(9u′/4v′)， Z＝Y((12-3u′-20v′)/4v′)， 其中，XYZ空间是变换的过渡空间。
区域Rj(n)的纹理特征由灰度融合图像中相应区域的熵、能量、反差、同质性、相关等5个基于灰度共生矩阵的统计量表示，纹理特征为(Shj(n)，Jj(n)，Conj(n)，Homj(n)，Corj(n))，其中 Sh，J，Con，Hom，Cor分别为熵、能量、反差、同质性、相关。[p，q]是灰度共生矩阵的坐标，P[p，q]是相应坐标点的值，μp，μq分别是Pp，Pq的均值，σp，σq分别是Pp，Pq的标准差，为灰度共生矩阵每一行的元素和，为灰度共生矩阵每一列的元素和。
步骤1.2.6、重复步骤1.2.1至步骤1.2.5，直至计算出来自3组图像的模式j的所有样本的辐射/反射特征和纹理特征，并由所有样本各特征的相应项的均值组成该模式的特征向量 所述的特征色彩是参考景物的自然色彩并遵循色彩透视规律，既离观察者近的模式色彩饱和度高，色调间的对比强；离观察者远的模式色彩饱和度低，色调间的对比弱，得到的经验值，由HSV色彩空间的色调和饱和度表示。由此得到模式j的特征色彩为(Hj*，Sj*)。
步骤2、实现具有空间感的自然彩色夜视该过程可以用图3所示的流程图来概括，即将输入的红外图像(IR)、微光图像(LL)先进行与模式数据库相同的亮度规定化、假彩色融合和灰度融合。将假彩色图像由RGB空间转换至LUV空间后进行图像分割，然后提取每个分割区域的特征向量。将每个区域的特征向量与模式数据库中的模式比较，进行区域识别。找到其模式后，将模式所对应的特征色彩进行相应的修正，得到该区域的特征色彩。在HSV空间中合成图像，色调、饱和度由特征色彩确定，亮度由灰度融合图像确定。最后将合成图像从HSV空间转换至RGB空间，得到具有空间感的自然彩色夜视图像。具体步骤如下 步骤2.1、对图4中第一行的红外图像(IR)和图4中第二行的微观图像(LL)进行亮度规定化，该过程与步骤1.2.1相同。
步骤2.2、将通过步骤2.1得到的红外图像和微观图像融合成假彩色图像和灰度图像。该过程与步骤1.2.2相同。得到图4中第三行的灰度图像和图4中第四行的假彩色图像。
步骤2.3、将假彩色图像从RGB彩色空间变换到LUV色彩空间。变换方法与步骤1.2.3完全相同。
步骤2.4、用Mean Shift分割方法在LUV空间对假彩色图像进行分割，得到不同的区域。其中，Mean Shift分割方法的核函数为 其中，p＝3，C＝1，xs表示像素的2维坐标，xr表示该像素的3维色彩向量，hs为空间窗宽，取值16，hr为色彩窗宽，取值20。区域最少像素数根据如如4所示的示例图像设定为100。空间窗宽取值及色彩窗宽取值针对图4所示的实验图像，该图像分辨率为270*360。得到图4中第五行所示的图像。
步骤2.5、提取通过步骤2.4所得到的区域的特征向量；所述的特征向量是指辐射/反射特征和纹理特征。
纹理特征通过下述步骤得到 首先将通过步骤2.4所得到的区域映射到红外/微光的灰度融合图像，随后计算得到相应区域的纹理特征。
辐射/反射特征的计算方法与步骤1.2.5中计算区域Rj(n)的辐射/反射特征的方法完全相同。第i个区域的经过高斯归一化的特征向量表示为Mi＝(Li，Ui，Vi，Ri，Gi，Shi，Ji，Coni，Homi，Cori)。
步骤2.6、根据步骤2.5得到的特征向量，通过区域识别，在模式数据库中找到每个区域所属模式，将模式数据库中的模式的特征色彩进行再修正，获得区域的特征色彩。
区域识别采用最小距离法，既若第i个区域的特征向量为Mi＝(Li，Ui，Vi，Ri，Gi，Shi，Ji，Coni，Homi，Cori)模式的特征向量为定义距离为 其中 w1和w2为权值，在如图4所示的实验图像中，w1＝w2＝0.5。令Di最小的j设为J，既是第i个区域的模式。若模式J的特征色彩为(HJ*，SJ*)，则第i个区域的特征色彩为(Hi，Si)，其中 至此，步骤2.6结束。得到图4中第六行所示的图像。
步骤2.7、在HSV空间合成图像。
各区域的特征色彩组成色调(H)、饱和度(S)通道，灰度融合图像F组成亮度(V)通道。公式如下 V＝F， 至此，步骤2.7结束。
步骤2.8、将合成图像从HSV空间变换至RGB空间，得到具有空间感的自然彩色夜视图像。变换公式如下 p＝V(1-S)， q＝V(1-f·S)， t＝V[1-S(1-f)]， 至此，步骤2.8结束。得到图4中第七行所示的图像。
图5为图4中第一组夜视图像分别采用局部色彩传递的方法(a)、全局色彩传递的方法(b)和基于Welsh法对灰度融合图像彩色化的方法(c)的效果比较。从图中可以看出，局部色彩传递的效果要好于全局色彩传递，而基于Welsh法对灰度融合图像彩色化的方法并不直接适用于夜视图像的处理，它产生了较单一的色彩，并且模糊了夜视图像中的细节信息。将图5中的各方法与图4中采用本发明方法处理的相应夜视图像进行比较可以看出，在色彩的自然性、图像的空间感等方面本发明的方法显著优于其他各方法。
权利要求
1.一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于，包括下列步骤
步骤1、构建红外图像和微光图像的模式数据库；
步骤1.1、把红外图像和微光图像中的景物分为目标(人，车辆等热辐射体)、植物、土壤、建筑、道路、岩石、天空、云雾、水面以及其它(混合景物)大类，在每一大类中又按照物体在常规摄影方法得到的照片中离观察者远近的不同，定性地分为“远”、“中”、“近”小类，大类与小类组合成各种模式；
步骤1.2、计算得到各种模式对应的特征向量并为每一种模式指定其特征色彩，随后将特征向量及特征色彩存入模式数据库，同时对模式数据库内的特征向量进行高斯归一化；
所述的特征向量通过下列步骤求得
步骤1.2.1、对至少三组中的一组已配准的包含某种模式的物体的同一场景的红外图像和微光图像进行亮度规定化；
步骤1.2.2、将由步骤1.2.1得到的红外图像和微光图像融合成假彩色图像和灰度图像；
步骤1.2.3、将由步骤1.2.2得到的假彩色图像从RGB色彩空间变换到LUV色彩空间；
步骤1.2.4、在由步骤1.2.3得到的假彩色图像和由步骤1.2.2得到的灰度图像中，同时手动确定属于某种模式的区域R；所述的某种模式是指通过步骤1.1所得到的各种模式中的一种；
步骤1.2.5、计算区域R的辐射/反射特征和纹理特征；
步骤1.2.6、重复步骤1.2.3至步骤1.2.7，直至计算出来自不同组图像的同一模式的所有样本的辐射/反射特征和纹理特征，并求出这些样本的各特征对应项的均值，得到这一模式的特征向量；
步骤2、实现具有空间感的自然彩色夜视；
步骤2.1、对已配准的同一场景的红外图像和微光图像进行亮度规定化；
步骤2.2、将通过步骤2.1得到的红外图像和微光图像融合成假彩色图像和灰度图像；
步骤2.3、将假彩色图像从RGB彩色空间变换到LUV色彩空间；
步骤2.4、用均值漂移分割方法在LUV空间对假彩色图像进行分割，得到不同的区域；区域最少像素为图像总像素的0.1％至2％；
步骤2.5、提取通过步骤2.4所得到的区域的特征向量并对该特征向量进行高斯归一化；所述的特征向量是指辐射/反射特征和纹理特征；
步骤2.6、根据步骤2.5得到的特征向量，通过区域识别，在模式数据库中找到每个区域所属模式，将模式数据库中的模式的特征色彩进行再修正，获得区域的特征色彩；
步骤2.7、在HSV空间合成图像；
步骤2.8、将合成图像从HSV空间变换至RGB空间，得到具有空间感的自然彩色夜视图像。
2.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于，所述的步骤2.4中均值漂移分割方法(Mean Shift分割方法)中的色彩窗宽和空间窗宽根据图像的分辨率选取固定值。
3.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于，所述的步骤2.7中HSV空间的色调、饱和度通道由各区域的特征色彩组成，HSV空间的亮度通道由灰度融合图像组成。
4.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于，所述步骤1.2中的特征色彩是参考景物的自然色彩并遵循色彩透视规律得到的经验值，由HSV色彩空间的色调和饱和度表示。
5.如权利要求1所述的一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于，所述的步骤2.2和所述的步骤1.2.2中的假彩色图像通过将红外图像送入RGB色彩空间的R通道，微光图像送入G通道，B通道置0得到。
6.如权利要求1所述的一种具有空间感的自然彩色夜视图像实现方法，其特征在于，所述的步骤2.2和所述的步骤1.2.2中的灰度图像通过对红外图像和微光图像应用已有的灰度融合算法得到。
7.如权利要求1所述的一种具有空间感的自然彩色夜视图像实现方法，其特征在于，所述的辐射/反射特征指物体所辐射/反射的红外/微光的强度的均值，由假彩色图像中相应区域在LUV空间中各通道的均值L，U，V所表示。
8.如权利要求1所述的一种具有空间感的自然彩色夜视图像实现方法，其特征在于，步骤2.1中所述的亮度规定化与步骤1.2.1中所述的亮度规定化的过程相同，即通过平移和放缩把输入的红外/微光的信号强度变换在一个由已知的公式规定的范围内，所述的公式为
其中，V、V*分别为图像的原亮度值和规定化后的亮度值，μ、σ和μ*、σ*分别为原亮度的均值、标准差和期望的均值、标准差。
全文摘要
本发明提供了一种采用模式数据库的具有空间感的自然彩色夜视实现方法，其特征在于，包括下列步骤1)构建基于红外图像和微光图像的模式数据库；2)实现具有空间感的自然彩色夜视图像。该方法的优点是提高了目标识别的效率，使夜视图像具有了空间感并且可以稳定快速地获得具有空间感的自然彩色夜视图像。
文档编号G06K9/62GK101303733SQ20081003801
公开日2008年11月12日 申请日期2008年5月26日 优先权日2008年5月26日
发明者谷小婧, 孙韶媛, 方建安 申请人:东华大学