面向苹果品质检测的图像融合方法与流程

本发明涉及一种面向苹果品质检测的图像融合方法，是一种可用于水果质量检测领域的融合方法，在水果品质检测中有广泛地应用。

背景技术：

我国作为水果产业大国，水果产业一直占据着重要的经济地位，从1993年开始，无论在种植面积还是总产量，我国的水果产业一直保持在世界第一的水平。但遗憾的是，我国的水果产业与其他国家相比，存在诸多问题，主要有果品质量差、整体价格较低、出口量小以及附加值低等。究其原因，主要是因为我国的水果产后处理技术薄弱，大部分的产品没有进行品质检测和分级，在采摘后直接进入市场，导致水果中质量不一，没有市场竞争力。另一方面，在水果的采摘、运输、存储过程中都容易造成水果损伤，而早期的轻微损伤很难直接检测出来，这些未被检测出损伤的水果会逐渐演变成深程度的病变，被病菌侵入，造成组织腐败，甚至会发生交叉感染，感染未损伤的水果，给果农或者水果厂商带来巨大的损失。无论是对水果进行分级还是防止在水果后期运输保存中出现损伤，都必须采取高效的措施来对水果品质进行检测。

传统的水果品质检测通常是有肉眼直接进行观察，存在有很多缺点，比如辨别率低，速度慢，不能够识别水果内部损伤等问题。可见光图像检测系统被广泛用于农产品品质检测，主要是通过对农产品的亮度，颜色等信息来检测产品品质。相比与用肉眼人工检测，可见光图像检测系统具有速度快，精度较高，可以自动化等优点。但是，可见光图像检测系统只能够检测到水果外部损伤，对于表皮轻微的碰蹭损伤以及内部损伤无法检测出来。红外成像系统具备检测水果次表面或内部缺陷的能力，但是红外图像的分辨率比较低，并且检测不出来苹果表皮损伤。通过图像融合技术将可见光图像与红外图像综合，得到的融合图像即包含了红外图像中水果次表面损伤信息，又包含可见光图像中丰富的水果表皮信息，包含的信息更丰富，使得在接下来进行的苹果品质检测结果更加准确。

当前，已有部分学者开展了将图像融合技术用于农产品品质检测的研究。主要成果有：1993年，peleg等研究了多传感器检测水果和蔬菜的品质；wen在1998年将苹果作为研究对象，使用可见光与红外相机同时采集苹果的图像用于检测水果缺陷，并在2000年设计了一种近红外与中红外的图像融合系统用于水果表面缺陷检测；cheng等人也在2003年设计出新的基于波长为700-1000nm的近红外和波长为3.5-5μm或8-12μm的中红外水果缺陷检测系统；2005年，邓巍等以桃的品质检测为示例，研究了多传感器融合技术在水果品质检测的可行性；2009年，王克俊等使用图像融合技术研究了检测苹果缺陷的问题；郭志明将近红外光谱与高光谱图像进行融合用于苹果品质的快速无损检测。2016年，关济雨将近红外和高光谱散射图像进行融合用于水果损伤评估。

近年来，基于多尺度变换的图像融合方法越来越流行，这主要是因为基于多尺度变换的图像融合方法将原始图像分为低频信息和高频信息，更好的表现了图像的本质信息，从而有利于图像融合中对待融合图像进行信息提取。常用的多尺度变换有离散小波变换，平稳小波变换，双数复小波变换，曲波变换，轮廓波变换，非下采样轮廓波变换等。人们基于上述多尺度分解工具提出了许多基于多尺度变换的图像融合方法。例如：j.lewis等使用双数复小波作为多尺度变换工具，使用基于区域的规则进行融合，f.nencini等根据图像的曲波变换系数对遥感图像进行融合，q.zhang等则是研究了如何将非下采样轮廓波变换用于图像融合。当前，四元数小波变换是一种新颖的有效的多尺度变换工具，由于其可以提供丰富的尺度信息以及幅值相位信息，已经成为非常流行的多尺度变换工具，被广泛应用于图像去噪，图像分类，图像纹理检索等。考虑到四元数小波变换的优点，在本发明中我们使用四元数小波变换作为多尺度变换工具。同时，由于导向滤波可以根据指导图去除决策图中的噪声干扰，因此本发明在高频融合时，将高频系数作为导向滤波的输入，待融合图像作为导向滤波的指导图，得到的滤波后的高频系数更好的反映了图像中的特征，使得融合结果更加精细。因此，本发明构造了一种基于四元数小波变换与导向滤波的水果图像融合方法，得到的融合后的水果图像质量较优，更有利于水果品质检测。

技术实现要素：

本发明的目的是针对上述现有技术的不足，提出一种面向苹果品质检测的图像融合方法，以解决已有的红外与可见光苹果图像融合技术所得融合图像水果表面不清晰以及次表面缺陷不明显的问题。该发明得到的融合图像即包含了红外图像中水果次表面损伤信息，又包含可见光图像中丰富的水果表皮信息，包含的信息更丰富，使得在接下来进行的苹果品质检测结果更加准确。

本发明解决其技术问题所采用的技术方案如下：

一种面向苹果品质检测的图像融合方法，其特征在于包括以下步骤：

1)对苹果的可见光图像和红外图像分别使用四元数小波变换得到低频子带与高频子带；

2)采用不同的融合规则融合图像的低频子带和高频子带；

2.1)对低频子带使用基于局部平均梯度与局部标准差的加权平均方法进行融合；

2.2)对高频子带采用基于导向滤波的绝对值取大的融合规则实现融合；

3)对步骤2)所得低、高频子带融合系数，执行逆四元数小波变换获得最终的红外与可见光苹果融合图像。

作为一种优选方案，所述的面向苹果品质检测的图像融合方法，步骤1)所述对尺寸为m×n大小的待融合图像ia和ib使用四元数小波变换得到低频子带系数和高频子带系数其中，表示第n个低频子带系数(x,y)处的值，表示第l层d方向的第n个高频子带系数(x,y)点处的值。

作为一种优选方案，步骤2.1)所述对低频子带使用基于局部平均梯度的加权平均方法进行融合，具体如下：

首先，计算低频系数的局部平均梯度与局部标准差计算公式为：

其中，和分别为低频系数在x和y方向上的梯度，上式计算以(x,y)为中心，大小为w＝(2×i+1)×(2×j+1)区域梯度的均值。是指以(x,y)为中心的窗体w的均值。根据上述公式分别计算出待融合图像低频系数的局部平均梯度和因此，低频融合中的权重定义为：

最后，根据权值计算低频融合系数

从而，完成图像低频子带系数的融合。

作为一种优选方案，步骤2.2)所述对高频子带采用基于导向滤波的绝对值取大的融合规则实现融合，具体如下：

使用待融合图像作为导向图，将高频系数作为输入进行滤波，使用滤波后的高频系数代替原始的高频系数来判断高频系数的显著性。这一滤波过程表示为：

其中，gf()表示导向滤波，*代表a或者b，|·|表示绝对值操作；

根据导向滤波后的高频系数，我们采用选取规则进行融合，最终融合后的高频系数

从而，完成图像各个高频方向子带系数的融合。

本发明相对比现有图像融合方法具有如下的优点：

1、本发明采用基于四元数小波变换的图像融合方法。四元数小波变换是复小波变换的一个扩展，可以提供更加丰富的尺度信息来描述二维信号中的几何结构，相比于离散小波变换和双数复小波变换等，四元数小波变换在分解图像时提供了更多的系数。四元数小波变换满足近似的平移不变性，这样使得在融合图像时，如果红外图像与可见光图像没有精确配准，四元数小波变换可以克服这种问题。与传统的多尺度变换相比，四元数小波变换还可以提供图像的局部幅值-相位分析。因此，使用四元数小波变换作为多尺度分解工具，可以更加准确的提取到原始待融合图像中的特征,得到信息量更丰富、清晰度更高、质量更好的融合图像。

2、本发明对低频子带使用基于局部平均梯度与局部标准差的加权平均方法进行融合。苹果图像经过四元数变换后得到的低频子带反映了图像的概貌信息，低频子带融合的质量直接关系到最终融合图像的主观效果。本发明考虑到局部平均梯度与局部标准差可以反映苹果图像中表皮纹理信息，因此采用基于两者的综合特征作为融合过程的活动测度。该综合特征相比单一特征能够更加精确的度量低频系数的显著性，通过该综合特征计算融合的权重，有利于揭示图像的本质性质，得到更好的低频融合结果。

3、本发明对高频子带采用基于导向滤波的绝对值取大的融合规则实现融合。高频子带反映了图像中对应位置的信息丰富程度，通常，在苹果图像中，高频系数的绝对值越大，表示包含的纹理信息越鲜明，特别是在表皮条纹边缘部分，高频系数的绝对值会特别大，而但在条纹内部，高频系数会偏小一些。直接使用高频系数绝对值作为融合时的判断指标时，提取的主要是苹果表皮条纹的边缘信息而不是完整的条纹信息。为了解决这个问题，本发明使用待融合图像作为导向图，将高频系数作为输入进行滤波，使用滤波后的高频系数代替原始的高频系数来判断高频系数的显著性。该融合规则可以最大限度地保护待融合苹果图像中的边缘轮廓，缺陷信息和纹理信息，避免丢失细节，从而增加苹果图像的可检测性，可信度和可理解性。

附图说明

图1是本发明面向苹果品质检测的图像融合方法的流程图。

图2(a)是本发明第一个实施例的待融合可见光苹果图像。

图2(b)是本发明第一个实施例的待融合红外苹果图像。

图2(c)-(h)是本发明第一个实施例的融合结果示意图。

图3(a)是本发明第二个实施例的待融合可见光苹果图像。

图3(b)是本发明第二个实施例的待融合红外苹果图像。

图3(c)-(h)是本发明第二个实施例的融合结果示意图。

图中：(c)基于lp的融合图像；(d)基于dtcwt的融合图像；(e)基于nsct的融合图像；(f)基于dc的融合图像；(g)基于pcnn的融合图像；(h)本发明方法的融合图像。

具体实施方式

下面对本发明的两个实施例结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图1所示，详细的实施方式和具体的操作步骤如下：

步骤1，将尺寸为m×n大小的待融合图像ia和ib使用四元数小波变换得到低频子带系数和高频子带系数其中，表示第n个低频子带系数(x,y)处的值，表示第l层d方向的第n个高频子带系数(x,y)点处的值。其中，qwt分解层数为三层。

步骤2，对低频子带使用基于局部平均梯度的加权平均方法进行融合，具体如下：

首先，计算低频系数的局部平均梯度与局部标准差计算公式为：

其中，和分别为低频系数在x和y方向上的梯度，上式计算以(x,y)为中心，大小为w＝(2×i+1)×(2×j+1)区域梯度的均值，在本发明中i与j定义为2。是指以(x,y)为中心的窗体w的均值。根据上述公式分别计算出待融合图像低频系数的局部平均梯度和因此，低频融合中的权重定义为：

最后，根据权值计算低频融合系数

从而，完成图像低频子带系数的融合。

步骤3，对高频子带采用基于导向滤波的绝对值取大的融合规则实现融合，具体如下：

使用待融合图像作为导向图，将高频系数作为输入进行滤波，使用滤波后的高频系数代替原始的高频系数来判断高频系数的显著性。本发明中四元数小波分解尺度为3层，导向滤波的局部窗口半径从尺度1到尺度3分别定义为9、5和3，规则化参数为0.001。这一滤波过程表示为：

其中，gf()表示导向滤波，*代表a或者b，|·|表示绝对值操作；

根据导向滤波后的高频系数，我们采用选取规则进行融合，最终融合后的高频系数

从而，完成图像各个高频方向子带系数的融合。

步骤4，对高、低频子带融合系数执行qwt逆变换获得最终的苹果融合图像。

本发明的效果可以通过以下实验结果作进一步说明：

1、实验条件与方法

硬件平台为：intel(r)处理器，cpu主频3.5ghz，内存8.0gb；

软件平台为：windows10操作系统，matlabr2016a；实验中采用两组已配准的可见光与红外图像，图像大小均为256×256，bmp格式。第一组待融合图像见图2(a)和图2(b)，第二组待融合图像见图3(a)和图3(b)。

实验时采用现有的五种融合方法作为对比方法，其中：

方法1为基于拉普拉斯金字塔(lp)的融合方法；

方法2基于双数复小波分解(dtcwt)的融合方法；

方法3非下采样轮廓波变换(nsct)的融合方法，方法1-3参见文章《ageneralframeworkforimagefusionbasedonmulti-scaletransformandsparserepresentation》,informationfusion,2015,24:147-164。

方法4基于对比度(dc)的融合方法,参见文章《directivecontrastbasedmultimodalmedicalimagefusioninnsctdomain》，ieeetransactionsonmultimedia,2013,15:1014-1024。

方法5基于脉冲耦合神经网络(pcnn)的融合方法，参见文章《非降采样contourlet域内空间频率激励的pcnn图像融合算法》，自动化学报,2008,34(12):1508-1514。

2、仿真内容

仿真一：遵循本发明的技术方案，对第一组可见光与红外苹果图像(见图2(a)和图2(b))进行融合，图2(c)-图2(h)为对比方法和本发明方法的仿真实验结果。图2(a)为待融合的可见光苹果图像，图2(b)为待融合的红外苹果图像。这组实验主要是将红外苹果图像中的4个缺陷点融入到可见光苹果图像中，保持可见光图像中苹果的细节纹理信息。图2(c)和2(d)是分别用lp方法和dtcwt方法得到的融合图像。这两幅图像都保留了红外图像中的4个缺陷点，但缺少可见光图像中的纹理信息。nsct方法和dc方法得到的融合图像(图2(e)和2(f))效果更差，不仅丢失红外图像中的缺陷点信息，可见光图像中的纹理信息也没有很好的保留，甚至出现一些原始图像中没有的黑色区域。pcnn方法得到的结果(图2(g))很好的保留了可见光图像中的信息，但是丢失了红外图像中的一个缺陷点。图2(h)是本发明提出的融合方法得到的实验结果，很明显红外图像中的4个缺陷点都被呈现于融合图像中，同时可见光图像中的纹理信息也得到了保留。因此，相比于其他融合方法，本发明设计的融合方法具有有效性，可用于苹果品质检测。

仿真二：遵循本发明的技术方案，对第二组可见光与红外苹果图像(见图3(a)和图3(b))进行融合，图3(c)-图3(h)为对比方法和本发明方法的仿真实验结果。图3(a)与3(b)分别是待融合的可见光图像和红外图像，图3(c)至3(h)是使用不同融合方法得到的融合图像。这组中，各个融合方法得到的融合图像中出现的问题与第一组实验结果类似。lp方法得到的融合图像丢失了可见光图像中的纹理细节信息。基于nsct方法和dc方法的融合图像不仅丢失了可见光图像中的信息，而且还出现了大量的块状干扰，使得融合图像的主观效果更差。基于pcnn方法的融合结果以红外图像信息为主，缺少了大量可见光图像中苹果表皮纹理。本发明设计的融合方法在保留可见光图像中苹果表面的纹理信息的同时，将红外图像中果柄部分的信息也完美的融合进来，与其他几组实验结果相比，本发明设计的融合方法在主观上表现最佳。

将本发明的融合结果与对比方法的融合结果进行客观指标评价。

表1给出了第一组可见光与红外苹果图像融合结果的客观评价指标；

表2给出了第二组可见光与红外苹果图像融合结果的客观评价指标；

表1基于各种融合方法的融合性能比较(图2(a)和图2(b))

表2基于各种融合方法的融合性能比较(图3(a)和图3(b))

表1、表2中的g是边缘信息，p是相位一致信息，s是piella度量，y是结构相似度量以及cb是chen-blum度量。边缘信息g表示融合图像中包含的边缘信息含量；相位一致信息p表示图像的特征丰富度；piella度量s表示在不引入失真的前提下有多少信息从待融合图像中转移到融合图像中；结构相似度量y反映了融合图像与待融合图像结构信息的相似性；chen-blum度量cb重点考虑了待融合图像与融合图像的局部特征的相似性。所有的这5个指标都是值越大表示融合效果越好。

表格中加黑的值表示最优的客观指标值。由表1和表2我们可以看出，本发明提出的融合方法的客观指标都好于其他融合方法，主要是因为，本发明提出的融合方法采用四元数小波变换作为多尺度变换工具，得到了待融合图像中丰富的尺度信息和相位信息，使得提取待融合图像中的信息更加丰富准确。低频部分根据以系数的局部平均梯度来计算融合权重，该权重较好的度量了待融合低频系数的重要程度。同时在高频融合部分引入导向滤波，使得融合过程中提取信息更加精细准确，并减弱了噪声的干扰。本发明设计的融合方法在主观上没有明显失误的情况下，客观指标也取得了不错的表现，完整的保留了原始待融合图像中的有用信息。利用该融合结果进行品质检测使得检测结果更加准确可靠。