专利名称：基于像素空间相关性的图像融合效果实时评价方法及装置的制作方法
技术领域：
本发明涉及一种图像质量评价技术，特别是一种基于像素空间相关性的图像融合 效果实时评价方法及其装置。
二
背景技术：
图像融合是指综合两个或多个源图像的信息，以获取对同一场景更为精确、更为 全面、更为可靠的图像描述。融合处理的目的在于依据不同谱段图像特征，取长补短, 优化图像质量，来改善图像的清晰度，进而提高目标的发现与识别概率。现有的图像 融合效果评价方法主要采用信息熵、交叉熵、平均互信息、均方根误差、峰值信噪比 等指标，以及现场实测目标探测与识别概率的主观评价方法。信息熵能够给出图像平 均信息量的多少，但并不能说明融合图像在图像清晰度方面的改善；同样交叉熵、互 信息、均方根误差、峰值信噪比的指标也只是给出了融合图像对于参考图像(标准图 像)的逼近程度，均不能反映融合图像的清晰程度。而主观评价为了保证在统计上有 意义，参加评分的观察者至少应有20名，而且评价结果往往受图像类型、试验环境等 影响。
在对融合图像的空间分辨率评价方面，新加坡NanyangTechnological University的 V. Buntilov， T. Bretschneider发表"A Fusion Evaluation Approach with Region Relating Objective Function for Multispectral Image Sharpening"的文章中提出一种"基于区别客
观预期的区域类型和实际融合结果的区域类型的融合图像空间质量评价"方法(2005 IEEE International Geoscience and Remote Sensing Symposium, volume 4， page 2830-2833)。该方法根据源图的"梯度图像"的梯度门限值分别将源图分为三种不同 类型的区域，然后根据源图中的相同位置像素点所属的融合区域类型将像素点分为九 种预期的区域类型；融合图像也根据"梯度图像"的梯度门限值分为三种不同类型的 区域，根据与源图中的相同位置像素点所属的融合区域类型比较的结果将像素点分为 九种实际的区域类型；最后统计融合结果图中的像素点所属的实际区域类型和预期的 区域类型的区别来评价融合结果的图像空间质量。该方法在产生"梯度图像"时需要
经过直方图均衡和边缘检测，边缘检测算子的选择会影响到"梯度图像"的质量；在 根据梯度门限值对"梯度图像"的像素点进行分类时，梯度值门限的选取也需要根据 不同的图像类型进行调整，实用性比较差；同时该方法在使用时要求参与融合的源图 要具有较强的相关性。
三
发明内容
本发明的目的在于提供一种能够有效地实时评价融合系统在不同场景工作时，融 合图像在清晰度方面相对于源图改善情况的基于像素空间相关性的图像融合效果实时 评价方法及其装置。
实现本发明目的的技术解决方案为 一种基于像素空间相关性的图像融合效果实 时评价方法，包括以下步骤
1.1参与图像融合效果评价的视频信号由摄像机的输出端连接到视频输入端，完成
视频信号的输入，并同时输入多路信号，输入的信号为PAL制或NTSC制的标准视频
信号；
1.2经过视频输入端的视频信号由视频采集部分分别转化为数字图像信号，即将标 准的PAL制或NTSC制视频信号分别转换为数字色差信号，其输出格式为ITU-R BT.656,并将数字色差信号按帧存储；
1.3将每帧数字色差信号中的亮度信号经过图像预处理，即采用多帧累加平均的图 像平滑方法来改善融合图像的效果；
1.4经过平滑后的多路亮度图像进行图像融合，融合方法采用灰度调制方法；
1.5平滑后的多路亮度图像数据以及融合图像经过灰度共生矩阵快速求取得到每 路亮度图像对应的灰度共生矩阵，灰度共生矩阵记录各种灰度数组的出现个数；
1.6在任一灰度级确定的情况下，由灰度共生矩阵计算另一灰度级散布的标准偏 差，并对标准偏差求平均值；
1.7将多个灰度共生矩阵的标准偏差平均值输入到评价结果显示部分，由评价结果 显示部分计算出改善因子的值，并将结果叠加到融合图像上；
1.8带有显示结果的融合图像由评价结果显示部分调整为标准的ITU-R BT.656格 式，由视频编码器编码成标准视频信号输出到结果显示器。
本发明基于像素空间相关性的图像融合效果实时评价方法釆用灰度共生矩阵的快 速求取法来融合图像，即首先建立256*256字节的存储空间用来存储灰度共生矩阵， 当图像文件准备好后取出对应图像左上角位置当前像素的灰度值，然后计算对偶像素 点的位置并取出对偶像素点的灰度值，在灰度共生矩阵中当前像素灰度值、对偶像素 灰度值对应的位置中存储的数值加1，接着判断对偶像素的位置是否到了图像文件的末 尾；如果不是文件尾，则把当前像素点的位置右移，继续计算，如果已经到达图像文 件的末尾，则结束运算。
一种实现上述的基于像素空间相关性的图像融合效果实时评价方法的装置，包括 视频输入端、评价结果显示器，视频输入端连接图像融合效果评估板中的视频采集模 块，在该图像融合效果评估板中，该视频采集模块连接灰度共生矩阵求取模块，该灰 度共生矩阵求取模块连接标准偏差求取模块，该标准偏差求取模块连接评价结果显示 模块，所述的视频采集模块、灰度共生矩阵求取模块、标准偏差求取模块和评价结果 显示模块分别与数据存储模块相连，该评价结果显示模块连接图像融合效果评估板之 外的视频输出端，该视频输出端连接评价结果显示器；评价控制键盘分别连接图像融 合效果评估板中的视频采集模块、灰度共生矩阵求取模块和评价结果显示模块。
本发明基于像素空间相关性的图像融合效果实时评价装置，在图像融合效果评估 板中加入图像预处理模块和融合模块，该图像预处理模块分别连接视频采集模块和融 合模块，该融合模块连接灰度共生矩阵求取模块，所述的图像预处理模块与融合模块 分别连接数据存储模块和评价控制键盘连接。
本发明基于像素空间相关性的图像融合效果实时评价装置的图像融合效果评估板 为四片视频解码器分别与数字信号处理芯片的四个视频端口相连，且与数字信号处理 芯片的控制总线相连，该数字信号处理芯片的扩展数据总线分别与串口控制、SDRAM 与FLASH相连；该数字信号处理芯片具有能够进行图像预处理、融合计算、灰度共生 矩阵的求取、标准偏差的求取、评价结果的显示数据计算的CPU，该CPU和数据存储 模块之间的数据交换由外部存储器接口数据总线来完成，评价控制键盘通过串行口和 图像融合效果评估板之间进行数据交换。
本发明与现有技术相比，其显著优点为(1)能够从图像清晰度的角度评价融合
图像相对于源图的改善程度；(2)可以进行实时的融合图像效果评价，根据场景的变 化及时给出评价结果；(3)能够对参与融合的不同波段的视频图像进行融合图像的评 价，不限制源图之间的相关性；(4)评价算法硬件实现效率高，且不需要参考标准图 像。
四
图1是本发明基于像素空间相关性的图像融合效果实时评价方法中灰度共生矩阵 的快速求取法的流程图。
图2是本发明基于像素空间相关性的图像融合效果实时评价装置的结构示意图。
图3是本发明基于像素空间相关性的图像融合效果实时评价装置中图像融合效果 评估板实例的结构图。
图4是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像 和紫外图像进行融合效果评价时输入的微光图像。
图5是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像 和紫外图像进行融合效果评价时输入的紫外图像。
图6是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像 和紫外图像进行融合效果评价时得到的融合图像。
图7是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像 和紫外图像进行融合效果评价时得到的评价结果。
五
具体实施例方式
下面结合附图对本发明作进一步详细说明。
本发明基于像素空间相关性的图像融合效果实时评价方法，包括以下步骤-1.1参与图像融合效果评价的视频信号由摄像机的输出端连接到视频输入端，完成 视频信号的输入，并同时输入多路信号，如输入的视频信号1和视频信号2是图4、图 5所示的微光信号、紫外信号，该微光信号、紫外信号为PAL制或NTSC制的标准视 频信号。
1.2经过视频输入端的视频信号由视频采集部分分别转化为数字图像信号，即将标
准的PAL制或NTSC制视频信号分别转换为数字色差信号，其输出格式为ITU-R BT.656,并将数字色差信号按帧存储。
1.3将每帧数字色差信号中的亮度信号经过图像预处理，即采用多帧累加平均的图 像平滑方法来改善融合图像的效果。
1.4经过平滑后的多路亮度图像进行图像融合，融合方法采用灰度调制方法，融合 后的图像如图6所示。
1.5平滑后的多路亮度图像数据以及融合图像经过灰度共生矩阵快速求取得到每 路亮度图像对应的灰度共生矩阵，灰度共生矩阵记录间距确定的一对相邻像素(m, n) 与(m， n+l)构成的像素偶，在整幅图像中，它们在灰度数组[<^，(72]上的出现频度，灰度 共生矩阵表征为//2D:
<formula>formula see original document page 8</formula>
一般说来，由灰度共生矩阵表征的图像二维直方图的形象外貌大致是沿着(GbG2) 平面的45°斜线分布，它能清楚地定量表征图像中相邻像素间灰度级的相关程度，而 相邻像素灰度空间相关度，恰好是图像清晰度的一种统计表征。相关性差(清晰度好) 的图像，散布范围宽；相关性强(清晰度差)的图像散布范围窄。
结合图l，其中采用灰度共生矩阵的快速求取法来融合图像，即首先建立256*256 字节的存储空间用来存储灰度共生矩阵，当图像文件准备好后取出对应图像左上角位 置当前像素的灰度值，然后计算对偶像素点的位置并取出对偶像素点的灰度值，在灰 度共生矩阵中当前像素灰度值、对偶像素灰度值对应的位置中存储的数值加1，接着判 断对偶像素的位置是否到了图像文件的末尾；如果不是文件尾，则把当前像素点的位 置右移，继续计算，如果已经到达图像文件的末尾，则结束运算。
1.6在任一灰度级确定的情况下，由灰度共生矩阵计算另一灰度级散布的标准偏 差，并对标准偏差求平均值。即对不同的/(/=1,/=2......)，获得/^2D后，求得在由灰度
共生矩阵表征的图像二维直方图的灰度数组[G,G2]中，任一灰度级G,确定的情况下，
另一灰度级G2散布的标准偏差(T:<formula>formula see original document page 9</formula>最终得到可以用来表征图像相邻像素间相关度的函数(如选择标准偏差的平均
值)
<formula>formula see original document page 9</formula>式中/表示像素偶之间的距离。
在采用此装置对微光图像和紫外图像进行融合效果评价时，微光图像标准偏差的 平均值为11.297，紫外图像标准偏差的平均值为13.8，融合图像标准偏差的平均值为 21.84。
1.7将多个灰度共生矩阵的标准偏差平均值输入到评价结果显示部分，由评价结果 显示部分计算出改善因子的值，并将结果叠加到融合图像上。
融合改善因子Z (力定义为
<formula>formula see original document page 9</formula>
式中ff/KO表示融合图像的相关度函数，"5(/)表示源图像的相关度函数。通过上式运算得
到的融合改善因子为融合/视频信号1=1.933;融合/视频信号2=1.583。
其中对图像融合效果的评估算法，采用像素空间相关法。评价图像融合效果的像 素空间相关法，利用灰度共生矩阵二维直方图进行统计指标的判别，从而实现判定融 合像质改善水平的评价技术。
1.8带有显示结果的融合图像由评价结果显示部分调整为标准的ITU-RBT.656格 式，由视频编码器编码成标准视频信号输出到结果显示器，显示结果如图7所示。
结合图2，本发明的实现上述基于像素空间相关性的图像融合效果实时评价方法的 装置，包括视频输入端、评价结果显示器，当输入视频信号中存在融合视频时，视频
输入端连接图像融合效果评估板中的视频采集模块，图像融合效果评估板完成视频图 像的采集、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示以及数据存储的 工作，即在该图像融合效果评估板中，该视频采集模块连接灰度共生矩阵求取模块， 该灰度共生矩阵求取模块连接标准偏差求取模块，该标准偏差求取模块连接评价结果 显示模块，所述的视频采集模块、灰度共生矩阵求取模块、标准偏差求取模块和评价 结果显示模块分别与数据存储模块相连，该评价结果显示模块连接图像融合效果评估 板之外的视频输出端，该视频输出端连接评价结果显示器，该评价结果显示器用于输 出评价结果，包括融合视频及源图的改善因子。评价控制键盘分别连接图像融合效果 评估板中的视频采集模块、灰度共生矩阵求取模块和评价结果显示模块。所述的评价 控制键盘根据视频信号输入情况，控制图像预处理及融合模块的工作；控制灰度共生 矩阵求取的参数设置，以及评价结果显示的时间选取。
当输入视频信号中不存在融合视频时，在评价控制键盘的作用下，图像融合效果 评估板完成视频图像的采集、视频信号的预处理、图像融合计算、灰度共生矩阵的求 取、标准偏差的求取、评价结果的显示以及数据存储的工作。与视频信号融合的融合 视频信号由图像融合效果评估板中的融合模块计算得到，即在上述图像融合效果评估 板中加入图像预处理模块和融合模块，该图像预处理模块分别连接视频采集模块和融 合模块，该融合模块连接灰度共生矩阵求取模块，所述的图像预处理模块与融合模块 分别连接数据存储模块和评价控制键盘连接。
结合图2和图3，基于数字信号处理芯片(如TMS320DM642)而设计图像融合效 果评估板。视频图像釆集模块采用四片视频解码器(如SAA7111)，将NTSC、 PAL视 频信号转换成数字色差信号，其输出格式为ITU-RBT.656。视频解码器的配置是通过 数字信号处理芯片的控制总线来完成，数据存储模块采用4Mx64位的SDRAM;程序 存储器采用4Mx8位的FLASH。评价结果显示模块中的视频数据输出采用视频编码器 (如THS8134),它支持PAL与NTSC格式的视频编码，其输入为BT.656格式的数字 视频，它的配置也是通过控制总线来完成的。图像预处理、融合计算、灰度共生矩阵 的求取、标准偏差的求取、评价结果的显示数据的计算由数字信号处理芯片的CPU来 完成，CPU和数据存储模块之间的数据交换由外部存储器接口数据总线来完成。评价
控制键盘通过串行口和图像融合效果评估板之间进行数据交换。各部分的工作过程如 下
1、 装置各部分上电以后，数字信号处理芯片首先进行初始化，包括程序的引导和 地址分配以及由控制总线配置视频解码器及视频编码器等；
2、 解码后的数字图像信号分别经数字信号处理芯片的视频输入端在数据总线的控 制下存储于SDRAM中；
3、 数字信号处理芯片按帧从SDRAM中读取输入数字信号，根据评价控制键盘的 输入对每帧图像分别求取灰度共生矩阵，将求取结果存储于SDRAM中；
4、 数字信号处理芯片对每帧图像的灰度共生矩阵结果进行标准偏差值的求取并将 求取结果综合为显示数字视频信号；
5、 响应评价控制键盘的显示信号，将该时的评价结果数字视频信号以及融合结果 信号经视频编码器编码，准备输出显示结果。
本发明基于像素空间相关性的图像融合效果实时评价装置的工作流程详述如下-参与融合的视频信号及融合结果视频信号经由视频输入端连接到图像融合效果评估板 的视频图像采集模块，将视频信号转变为数字图像信号之后按帧存储于数据存储模块; 灰度共生矩阵求取模块根据控制键盘设定的像素偶距离求取数据存储模块中数字图像 信号的灰度统计结果，并将结果存储于数据存储模块的特定区域；标准偏差求取模块 读取数据存储模块的灰度共生矩阵结果，计算出所有灰度级G,确定的情况下，另一灰 度级G2散布的标准偏差，并存储于数据存储模块的特定区域；评价结果显示模块根据 控制键盘，确定需要显示的数据，并且将数据转换为适合显示的视频信号以及融合图 像，经由输出端送到评价结果显示器进行评价结果输出；当输入视频信号中不存在融 合视频信号时，在评价控制键盘的控制下，选择装置中的融合算法来求取融合视频信 号，由求取的融合视频信号代替输入融合视频信号完成后续处理。
权利要求
1、一种基于像素空间相关性的图像融合效果实时评价方法，包括以下步骤1.1参与图像融合效果评价的视频信号由摄像机的输出端连接到视频输入端，完成视频信号的输入，并同时输入多路信号，输入的信号为PAL制或NTSC制的标准视频信号；1.2经过视频输入端的视频信号由视频采集部分分别转化为数字图像信号，即将标准的PAL制或NTSC制视频信号分别转换为数字色差信号，其输出格式为ITU-RBT.656，并将数字色差信号按帧存储；1.3将每帧数字色差信号中的亮度信号经过图像预处理，即采用多帧累加平均的图像平滑方法来改善融合图像的效果；1.4经过平滑后的多路亮度图像进行图像融合，融合方法采用灰度调制方法；1.5平滑后的多路亮度图像数据以及融合图像经过灰度共生矩阵快速求取得到每路亮度图像对应的灰度共生矩阵，灰度共生矩阵记录各种灰度数组的出现个数；1.6在任一灰度级确定的情况下，由灰度共生矩阵计算另一灰度级散布的标准偏差，并对标准偏差求平均值；1.7将多个灰度共生矩阵的标准偏差平均值输入到评价结果显示部分，由评价结果显示部分计算出改善因子的值，并将结果叠加到融合图像上；1.8带有显示结果的融合图像由评价结果显示部分调整为标准的ITU-R BT.656格式，由视频编码器编码成标准视频信号输出到结果显示器。
2、 根据权利要求1所述的基于像素空间相关性的图像融合效果实时评价方法，其 特征在于采用灰度共生矩阵的快速求取法来融合图像，即首先建立256*256字节的 存储空间用来存储灰度共生矩阵，当图像文件准备好后取出对应图像左上角位置当前 像素的灰度值，然后计算对偶像素点的位置并取出对偶像素点的灰度值，在灰度共生 矩阵中当前像素灰度值、对偶像素灰度值对应的位置中存储的数值加1，接着判断对偶 像素的位置是否到了图像文件的末尾；如果不是文件尾，则把当前像素点的位置右移， 继续计算，如果己经到达图像文件的末尾，则结束运算。
3、 一种实现权利要求1或2所述的基于像素空间相关性的图像融合效果实时评价方法的装置，包括视频输入端、评价结果显示器，其特征在于视频输入端连接图像 融合效果评估板中的视频采集模块，在该图像融合效果评估板中，该视频采集模块连 接灰度共生矩阵求取模块，该灰度共生矩阵求取模块连接标准偏差求取模块，该标准 偏差求取模块连接评价结果显示模块，所述的视频采集模块、灰度共生矩阵求取模块、 标准偏差求取模块和评价结果显示模块分别与数据存储模块相连，该评价结果显示模 块连接图像融合效果评估板之外的视频输出端，该视频输出端连接评价结果显示器； 评价控制键盘分别连接图像融合效果评估板中的视频采集模块、灰度共生矩阵求取模 块和评价结果显示模块。
4、 根据权利要求3所述的基于像素空间相关性的图像融合效果实时评价装置，其 特征在于在图像融合效果评估板中加入图像预处理模块和融合模块，该图像预处理 模块分别连接视频采集模块和融合模块，该融合模块连接灰度共生矩阵求取模块，所 述的图像预处理模块与融合模块分别连接数据存储模块和评价控制键盘连接。
5、 根据权利要求3所述的基于像素空间相关性的图像融合效果实时评价装置，其 特征在于图像融合效果评估板为四片视频解码器分别与数字信号处理芯片的四个视 频端口相连，且与数字信号处理芯片的控制总线相连，该数字信号处理芯片的扩展数 据总线分别与串口控制、SDRAM与FLASH相连；该数字信号处理芯片具有能够进行 图像预处理、融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示数 据计算的CPU，该CPU和数据存储模块之间的数据交换由外部存储器接口数据总线来 完成，评价控制键盘通过串行口和图像融合效果评估板之间进行数据交换。
全文摘要
本发明公开了一种基于像素空间相关性的图像融合效果实时评价方法及其装置。本评价方法是参与融合的视频信号和融合视频信号经视频输入端将视频信号输入到图像融合效果评估板，在评价控制键盘的作用下，图像融合效果评估板完成视频图像的采集、视频信号的预处理、图像融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示以及数据存储的工作，并经由输出端在评价结果显示器上显示。本评价装置为依次相连的视频输入端、图像融合效果评估板、评价控制键盘和视频输出端以及评价结果显示器。本发明能够从图像清晰度的角度评价融合图像相对于源图的改善；可以进行实时的融合图像质量评价，根据场景的变化及时给出评价结果。
文档编号H04N5/202GK101115131SQ20061004083
公开日2008年1月30日 申请日期2006年7月28日 优先权日2006年7月28日
发明者毅 张, 闯 张, 张保民, 柏连发, 钱惟贤, 钱 陈, 顾国华 申请人:南京理工大学