一种多波段图像融合识别方法与流程

文档序号:14474722阅读:471来源:国知局

本发明属于图像计算机技术领域,具体涉及一种多波段图像融合识别方法,该方法主要用于工作于多波段成像探测系统。



背景技术:

目前所谓的多波段图像融合识别方法的绝大部分基于双波段图像。常见的组合有:可见光和毫米波图像融合,可见光与红外图像融合,红外不同波段图像融合等组合。这种所谓的基于多波段的图像融合识别方法,不能称为真正意义上的多波段图像融合识别方法。基于两种波段融合图像识别方法直接应用到三种及以上波段图像融合识别,会带来很多问题。



技术实现要素:

本发明要解决的技术问题是提供一种多波段成像系统中目标属性融合识别方法,本发明提出的融合算法是长波红外图像、中波红外图像和可见光图像的融合识别算法,是真正意义上多波段图像融合识别算法。本发明的多波段图像融合识别方法使得对图像数据处理,更加不受干扰影响,成像效果更好。

本发明通过下述技术方案实现:

一种多波段图像融合识别方法,包括以下步骤:

a1:用中波红外图像、长波红外图像、可见光图像的训练样本分别进行样本训练后,分别一一对应生成中波红外图像分类器、长波红外图像分类器、可见光图像分类器;

a2:将中波红外图像、长波红外图像进行特征融合,再经图像重构后获取融合图像,并将融合图像与训练样本合并形成融合训练样本;

a3:采用中波红外图像分类器、长波红外图像分类器、可见光图像分类器对融合训练样本进行分类处理,并获得每个分类器各自对每一类的正确判别率、错误判别率、拒判别率;

a4:以中波红外摄像、长波红外摄像、可见光摄像的方式获得目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像,并分别对应送入到中波红外图像分类器、长波红外图像分类器、可见光图像分类器内进行分类和提取目标特征信息,获得分类结果,由对应的分类结果与对应的分类器的正确判别率分析获得每个分类器的概率分配函数;

a5:选择任意2个分类器的概率分配函数进行冲突判定后,用合成或选择的方式获得中间概率分配函数;

a6:用中间概率分配函数与余下分类器的概率分配函数进行冲突判定后,用合成或选择的方式获得最终概率分配函数;

a7:在最终概率分配函数大于阈值时,输出识别结果。

a1的具体过程为:

a11:分别采用中波红外摄像机、长波红外摄像机、可见光摄像机对应的获得中波红外图像、长波红外图像、可见光图像,

a12:分别将中波红外图像、长波红外图像、可见光图像各自经预处理后,提取目标特征信息,依据目标特征进行目标的检测、跟踪,并获取目标区域形成训练样本,训练样本进行样本训练后,分别一一对应生成中波红外图像分类器、长波红外图像分类器、可见光图像分类器。

a2的具体过程为:

a21:将中波红外图像、长波红外图像经图像配准、滤波去噪预处理后,提取目标特征信息,进行特征融合,再经图像重构后获取融合图像;

a22:将融合图像与训练样本合并形成融合训练样本。

a3的具体过程为:加载中波红外图像分类器、长波红外图像分类器、可见光图像分类器,将融合训练样本分别送人到中波红外图像分类器、长波红外图像分类器、可见光图像分类器,获得融合训练样本中波分类结果、融合训练样本长波分类结果、融合训练样本可见光分类结果,获得中波红外图像分类器、长波红外图像分类器、可见光图像分类器分别各自对每一类的正确判别率、错误判别率、拒判别率,每一类的正确判别率视为其它各类的错误判别率。

a4的具体过程为:

a41:分别采用中波红外摄像机、长波红外摄像机、可见光摄像机对应的获得目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像,将目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像一一对应的送入到中波红外图像分类器、长波红外图像分类器、可见光图像分类器内进行分类和提取目标特征信息,获得目标视频帧中波分类结果、目标视频帧长波分类结果、目标视频帧可见光分类结果;

a42:根据目标视频帧中波分类结果和中波红外图像分类器对每一类的正确判别率、错误判别率,找到对应中波概率分配函数;根据目标视频帧长波分类结果和中波红外图像分类器对每一类的正确判别率、错误判别率,找到对应长波概率分配函数,根据目标视频帧可见光分类结果和可见光图像分类器对每一类的正确判别率、错误判别率,找到对应可见光概率分配函数。

a5的具体过程为:

a51:对中波概率分配函数和长波概率分配函数进行冲突分析判定,若冲突则转a53、不冲突则转a52;

a52:合成中波概率分配函数和长波概率分配函数形成中间概率分配函数,再转a54、a6;

a53:比较中波红外图像分类器和长波红外图像分类器的正确判别率,若中波红外图像分类器的正确判别率为高,则选择中波概率分配函数作为中间概率分配函数,若长波红外图像分类器的正确判别率为高,则长波概率分配函数作为中间概率分配函数,再转a54、a6;

a54:将中波红外图像分类器和长波红外图像分类器的正确判别率进行加权、平均、求和后作为中间正确判别率,转a6;

a6的具体过程为:

a61:对中间概率分配函数和可见光概率分配函数进行冲突分析判定,若冲突则转a63、不冲突则转a62;

a62:合成中间概率分配函数和可见光概率分配函数形成最终概率分配函数,再转a7;

a63:比较可见光图像分类器的正确判别率和中间正确判别率,若中间正确判别率为高,则选择中间概率分配函数作为最终概率分配函数,若可见光图像分类器的正确判别率为高,则可见光图像分类器所对应的概率分配函数作为最终概率分配函数,再转a7。

a7的具体过程为:在最终概率分配函数大于阈值时,则在目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像上叠加目标特征信息而获得最终图像,最终图像和目标属性分类结果传送至显示输出模块,分别进行显示和输出识别结果,目标特征信息包括:目标大小、轮廓、纹理、外接矩形信息。

合成中波概率分配函数和长波概率分配函数形成中间概率分配函数的具体过程为:得到中波概率分配函数和长波概率分配函数,按照修正d-s、贝叶斯、模糊推理的概率分配函数合成规则,得到中间概率分配函数。

合成中间概率分配函数和可见光概率分配函数形成最终概率分配函数的具体过程为:得到中间概率分配函数和可见光概率分配函数,按照修正d-s、贝叶斯、模糊推理的概率分配函数合成规则,得到最终概率分配函数。

本发明的设计原理为:不同波段的传感器具有不同的成像特点,成像的谱段覆盖了可见光、毫米波、红外光等波段。可见光图像具有丰富的细节和色彩信息以及较高的分辨率,但容易受天气及时间等条件的影响。红外波段的图像分辨率低,细节不足,但可以全天候工作,抗干扰能力强。从目标来讲,长波红外图像中目标的轮廓特征比较清楚,中波红外图像的目标轮廓特征不清楚,但是目标高温区层次感较强。本发明的系统中,利用长波红外、中波红外和可见光传感器进行融合识别,可以充分利用图像之间的信息互补,通过构建对目标对象描述更全面的模型,不但能够增强图像的理解度及信息的可靠性,还能够提高目标的检测概率以及目标属性识别准确率。而如何基于长波红外、中波红外和可见光传感器进行构建合理的融合识别模型是为最为关键的核心,本发明研究发现:将中波红外图像和长波红外图像进行融合,用来补充训练样本,在补充后的训练样本的基础上进行数据处理,因此可以在具有丰富的细节和色彩信息以及较高的分辨率的可见光图像上、以及利用中波红外图像和长波红外图像各自的优势进行分类划分,将各自优势最大的数据融合,因此,可以最大化的降低信息的损失。本发明先是构建3种分类器,而中波红外图像和长波红外图像的融合图像作为补充训练样本,由于融合图像是利用的特征提前融合技术,使得原始单一的训练样本具有了中波红外图像和长波红外图像各自优势的突出特点,加重了中波红外、长波红外各自优势信息的概率,然后利用概率函数的合成或选择优势明显的概率函数作为最终概率函数,同时在判定时使得3种概率函数都参与到信息运算,相当于在较高的分辨率图像的基础上,特别强调突出了红外成像优点比重的设计。

本发明与现有技术相比,具有如下的优点和有益效果:本发明所述的一种多波段图像融合识别方法,充分利用各波段图像的图像信息和各波段分类器初步分类结论提供的信息,并且将其转化为对各种结论的基本概率赋值,降低了信息的损失,融合系统使概率赋值更加合理化,解决了证据冲突时的合成问题,提高了目标识别准确率,满足多波段探测系统的需求目标识别精度需求。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:

图1是本发明的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。

实施例一

如图1所示,

一种多波段图像融合识别方法,包括以下步骤:

a1:用中波红外图像、长波红外图像、可见光图像的训练样本分别进行样本训练后,分别一一对应生成中波红外图像分类器、长波红外图像分类器、可见光图像分类器;

a2:将中波红外图像、长波红外图像进行特征融合,再经图像重构后获取融合图像,并将融合图像与训练样本合并形成融合训练样本;

a3:采用中波红外图像分类器、长波红外图像分类器、可见光图像分类器对融合训练样本进行分类处理,并获得每个分类器各自对每一类的正确判别率、错误判别率、拒判别率;

a4:以中波红外摄像、长波红外摄像、可见光摄像的方式获得目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像,并分别对应送入到中波红外图像分类器、长波红外图像分类器、可见光图像分类器内进行分类和提取目标特征信息,获得分类结果,由对应的分类结果与对应的分类器的正确判别率分析获得每个分类器的概率分配函数;

a5:选择任意2个分类器的概率分配函数进行冲突判定后,用合成或选择的方式获得中间概率分配函数;

a6:用中间概率分配函数与余下分类器的概率分配函数进行冲突判定后,用合成或选择的方式获得最终概率分配函数;

a7:在最终概率分配函数大于阈值时,输出识别结果。

a1的具体过程为:

a11:分别采用中波红外摄像机、长波红外摄像机、可见光摄像机对应的获得中波红外图像、长波红外图像、可见光图像,

a12:分别将中波红外图像、长波红外图像、可见光图像各自经预处理后,提取目标特征信息,依据目标特征进行目标的检测、跟踪,并获取目标区域形成训练样本,训练样本进行样本训练后,分别一一对应生成中波红外图像分类器、长波红外图像分类器、可见光图像分类器。

a2的具体过程为:

a21:将中波红外图像、长波红外图像经图像配准、滤波去噪预处理后,提取目标特征信息,进行特征融合,再经图像重构后获取融合图像;

a22:将融合图像与训练样本合并形成融合训练样本。

a3的具体过程为:加载中波红外图像分类器、长波红外图像分类器、可见光图像分类器,将融合训练样本分别送人到中波红外图像分类器、长波红外图像分类器、可见光图像分类器,获得融合训练样本中波分类结果、融合训练样本长波分类结果、融合训练样本可见光分类结果,获得中波红外图像分类器、长波红外图像分类器、可见光图像分类器分别各自对每一类的正确判别率、错误判别率、拒判别率,每一类的正确判别率视为其它各类的错误判别率。

a4的具体过程为:

a41:分别采用中波红外摄像机、长波红外摄像机、可见光摄像机对应的获得目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像,将目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像一一对应的送入到中波红外图像分类器、长波红外图像分类器、可见光图像分类器内进行分类和提取目标特征信息,获得目标视频帧中波分类结果、目标视频帧长波分类结果、目标视频帧可见光分类结果;

a42:根据目标视频帧中波分类结果和中波红外图像分类器对每一类的正确判别率、错误判别率,找到对应中波概率分配函数;根据目标视频帧长波分类结果和中波红外图像分类器对每一类的正确判别率、错误判别率,找到对应长波概率分配函数,根据目标视频帧可见光分类结果和可见光图像分类器对每一类的正确判别率、错误判别率,找到对应可见光概率分配函数。

a5的具体过程为:

a51:对中波概率分配函数和长波概率分配函数进行冲突分析判定,若冲突则转a53、不冲突则转a52;

a52:合成中波概率分配函数和长波概率分配函数形成中间概率分配函数,再转a54、a6;

a53:比较中波红外图像分类器和长波红外图像分类器的正确判别率,若中波红外图像分类器的正确判别率为高,则选择中波概率分配函数作为中间概率分配函数,若长波红外图像分类器的正确判别率为高,则长波概率分配函数作为中间概率分配函数,再转a54、a6;

a54:将中波红外图像分类器和长波红外图像分类器的正确判别率进行加权、平均、求和后作为中间正确判别率,转a6;

a6的具体过程为:

a61:对中间概率分配函数和可见光概率分配函数进行冲突分析判定,若冲突则转a63、不冲突则转a62;

a62:合成中间概率分配函数和可见光概率分配函数形成最终概率分配函数,再转a7;

a63:比较可见光图像分类器的正确判别率和中间正确判别率,若中间正确判别率为高,则选择中间概率分配函数作为最终概率分配函数,若可见光图像分类器的正确判别率为高,则可见光图像分类器所对应的概率分配函数作为最终概率分配函数,再转a7。

a7的具体过程为:在最终概率分配函数大于阈值时,则在目标视频帧中波红外图像、目标视频帧长波红外图像、目标视频帧可见光图像上叠加目标特征信息而获得最终图像,最终图像和目标属性分类结果传送至显示输出模块,分别进行显示和输出识别结果,目标特征信息包括:目标大小、轮廓、纹理、外接矩形信息。

合成中波概率分配函数和长波概率分配函数形成中间概率分配函数的具体过程为:得到中波概率分配函数和长波概率分配函数,按照修正d-s、贝叶斯、模糊推理的概率分配函数合成规则,得到中间概率分配函数。

合成中间概率分配函数和可见光概率分配函数形成最终概率分配函数的具体过程为:得到中间概率分配函数和可见光概率分配函数,按照修正d-s、贝叶斯、模糊推理的概率分配函数合成规则,得到最终概率分配函数。

如图1所示,

在提取图像特征时,需要合理的特性信息,因此本实施例图1中还给出了图像提取特征信息的过程如下:

s1、初始化,读取待识别的图像

s2、由进行图像中目标特征提取,

s3、并经选择特征各自相关度量基准,

s4、生成各自图像识别证据集,

s5、按计算图像目标区域熵值,

s6、进行目标区域熵值检测,熵值小于阈值时,则转到步骤s2提取更多的目标特征信息;否则执行步骤s7,

s7、计算图像目标区域灰度一致性,并进行目标区域灰度一致性检测,当局部灰度一致性小于阈值时,则转到步骤s2提取更多的目标特征信息。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1