图像特征识别方法、相关装置及存储介质与流程

文档序号:17064910发布日期:2019-03-08 22:50阅读:329来源:国知局
图像特征识别方法、相关装置及存储介质与流程

本申请涉及电子技术领域,尤其涉及一种图像特征识别方法、相关装置及存储介质。



背景技术:

几何代数概述:近年来几何代数模型已被成功应用到信息处理等领域中,它能将几何问题转化为代数的方式进行解决,为几何分析提供了一个功能强大的代数框架。高光谱图像可以用三维矢量场来表示,矢量场中的数据是由同一个坐标位置处的不同波段的像素组成的矢量。对于多维矢量数据的操作与分析,传统的多维欧式空间已经无法为其提供完全的理论支撑,它无法充分利用多维矢量数据的方向和几何信息。几何代数也称clifford代数,是由clifford代数和grassmann发展而来,它为多维矢量运算、分析提供了一个功能强大的几何和代数框架,同时提供了一种完备的、线性的、低复杂度的描述方法,作为进行几何分析的有效工具,近年来被成功应用到了信息处理领域中。因此,本申请拟发展一套基于几何代数的高光谱图像空谱域兴趣点检测的框架,为高光谱图像空谱域兴趣点的研究提供一套新的方法。

近年来高光谱图像在很多领域都有着广泛的应用,包括遥感、机器视觉、人工智能、医学、天文学等。与灰度图像和彩色图像不同的是,高光谱图像是由可见光、近红外、短波红外、中波红外、热红外等多个波段的图像叠加而成。因此,高光谱图像能够比灰度图像和彩色图像提供更多的信息。特征提取是一种常见的图像分析的方法,然而现有的高光谱图像的特征提取方法还不成熟,主要是提取高光谱图像的全局特征,即将整个图像中的所有目标作为一个整体,但是全局特征提取不能解决较为复杂的目标识别和分割问题。另外,高光谱的空谱域兴趣点作为能够区别一个物体与另一个物体的重要局部特征,它的检测与描述对于机器视觉认知来说是十分重要的一部分。因此,为了充分利用局部特征本身具有的优点和克服现有的高光谱图像分析方法的不足,获取更多高光谱图像的关键信息。

空谱域兴趣点作为高光谱图像和遥感图像局部特征中重要的一种,它在高光谱图像和遥感图像的目标识别领域中有着重要的应用。然而现有的很多三维图像的局部特征检测算法都是在二维图像的局部特征检测算法的基础上扩展而来的,并没有充分利用三维的图像序列所隐藏的一些信息,从而降低了这些算法的鲁棒性。



技术实现要素:

本申请实施例提供一种图像特征识别方法、相关装置及存储介质,该方法包括融合光谱值修正量的高光谱图像空谱域兴趣点检测算法,以及适合在几何代数模型下对特征点进行描述的描述算法。

本申请实施例第一方面提供一种图像特征识别方法,包括:

将待处理图像输入至特征提取模型中,提取得到高光谱空谱域兴趣点ssip特征点;所述特征提取模型包括:几何代数子模型和尺度空间处理子模型;所述几何代数子模型用于获取所述待处理图像在高光谱空谱域中的,具有光谱梯度信息的几何代数矢量;所述尺度空间处理子模型通过内积和外积的几何代数空间运算实现对应的欧式空间运算;

将所述ssip特征点输入至特征描述模型中,得到所述待处理图像的特征描述子;

根据所述特征描述子进行分类识别。

进一步的,所述将待处理图像输入至特征提取模型中,提取得到高光谱空谱域兴趣点ssip特征点,包括:

将待处理图像输入至所述几何代数子模型中,得到具有光谱梯度信息的几何代数矢量;

将所述几何代数矢量输入至尺度空间处理子模型中,得到所述ssip特征点。

进一步的,所述将所述几何代数矢量输入至尺度空间处理子模型中,得到所述ssip特征点,包括:

根据所述几何代数矢量与所述尺度空间处理子模型中的高斯函数进行卷积运算,得到几何代数框架下的高光谱空谱域的高斯差分响应值图像;所述高斯差分响应值图像包括:已修改光谱值信息的高斯差分响应值图像和梯度变化信息的高斯差分响应值图像;

基于高光谱图像的高斯差分金字塔分别对所述已修改光谱值信息的高斯差分响应值图像和所述梯度变化信息的高斯差分响应值图像,进行特征点搜索,以所述特征点搜索的结果作为所述ssip特征点。

进一步的,所述高斯函数通过以下公式表示:

其中,σ为中的高斯函数的尺度因子,所述为高光谱图像的三维几何代数空间,p为所述三维几何代数空间的像素点,符号∧表示外积,符号·表示为内积,所述g(σ)为关于尺度因子的函数,且高斯窗口的大小为l×l×l,l=6σ+1。

进一步的,所述根据所述几何代数矢量与所述尺度空间处理子模型中的高斯函数进行卷积运算,得到几何代数框架下的高光谱空谱域的高斯差分响应值图像,包括:

根据所述高斯函数和所述几何代数矢量构造umsgc的尺度空间,其中,所述尺度空间通过以下公式表示:

其中,符号为卷积运算,l(p,σ)表示所述尺度空间,g(p,σ)表示所述高斯函数,所述f′(p)表示所述几何代数矢量;

根据所述尺度空间以及以下公式换算,得到所述几何代数框架下的高光谱空谱域的高斯差分响应值图像;

其中,ds(p,σ)表示所述已修改光谱值信息的高斯差分响应值图像,dg(p,σ)表示所述梯度变化信息的高斯差分响应值图像。

进一步的,所述基于高光谱图像的高斯差分金字塔分别对所述已修改光谱值信息的高斯差分响应值图像和所述梯度变化信息的高斯差分响应值图像,进行特征点搜索,以所述特征点搜索的结果作为所述ssip特征点,包括:

以下公式作为搜索条件,基于高光谱图像的高斯差分金字塔分别对所述已修改光谱值信息的高斯差分响应值图像和所述梯度变化信息的高斯差分响应值图像,进行特征点搜索;

p=arg(max(ds(p,σ))&min(dg(p,σ)))

其中,ds(p,σ)表示所述已修改光谱值信息的高斯差分响应值图像,dg(p,σ)表示所述梯度变化信息的高斯差分响应值图像。

进一步的,所述将所述ssip特征点输入至特征描述模型中,得到所述待处理图像的特征描述子,包括:

将所述ssip特征点的局部图像信息形成一个基准方向;

对所述基准方向进行旋转;

根据所述旋转之后所述ssip特征点的特征信息,生成所述特征描述子。

本申请实施例第二方面提供的一种电子装置,包括:

特征提取单元,用于将待处理图像输入至特征提取模型中,提取得到高光谱空谱域兴趣点ssip特征点;所述特征提取模型包括:几何代数子模型和尺度空间处理子模型;所述几何代数子模型用于获取所述待处理图像在高光谱空谱域中的,具有光谱梯度信息的几何代数矢量;所述尺度空间处理子模型通过内积和外积的几何代数空间运算实现对应的欧式空间运算;

特征描述单元,用于将所述ssip特征点输入至特征描述模型中,得到所述待处理图像的特征描述子;

分类识别单元,用于根据所述特征描述子进行分类识别。

本申请实施例第三方面提供另一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现上述本申请实施例第一方面提供的图像特征识别方法。

本申请实施例第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述本申请实施例第一方面提供的图像特征识别方法。

由上可见,通过本申请方案中的几何代数子模型提取的ssip特征点体现了光谱梯度信息,光谱梯度信息是反映光谱曲线变化的重要因素,而不同的物质具有不同的光谱曲线,因此,本申请的ssip特征点可以通过不同的光谱梯度信息反映不同物质的特征,使得检测到的ssip特征点更加准确;并且,本申请的尺度空间处理子模型可以通过内积和外积的高斯运算实现对所述几何代数矢量的欧式空间运算,使得检测到的ssip特征点的数量更加丰富,位置更加准确。

附图说明

图1-a为本申请实施例提供的图像特征识别方法的流程示意图;

图1-b为本申请实施例提供的高斯金字塔的构建过程的示意图;

图1-c为本申请实施例提供的特征描述的一个示意图;

图1-d为本申请实施例提供的特征描述的另一个示意图;

图1-e为本申请实施例提供的特征描述的直方图示意图;

图1-f为本申请实施例提供的算法提取效果示意图;

图1-g为现有技术提供的算法提取效果示意图;

图1-h为反映了不同码本数量下平均分类准确率的变化情况的示意图;

图1-i为十次分类实验准确率的波动情况的示意图;

图1-j为本申请所提算法下进行一次分类实验所得分类准确率的混淆矩阵的示意图;

图2为本申请一实施例提供的电子装置结构示意图;

图3为本申请另一实施例提供的电子装置硬件结构示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。

本申请采用几何代数作为数学分析工具,发展了一种在尺度不变特征变换(sift,scale-invariantfeaturetransform)框架下的基于高光谱图像的光谱值及其修正量和梯度变化信息矩阵的高光谱空谱域兴趣点(spatial-spectralinterestpoint,ssip)检测和描述算法,定义为umsgc-sift。首先,本申请建立了几何代数框架下的高光谱图像处理与分析模型,构建了一个融合光谱值及其修正量和梯度变化信息的统一模型(umsgc,unifiedmodelofspectralvalueandgradientchange),即本申请实施例中的几何代数子模型;在此模型基础上,为了得到数量丰富、位置准确的ssip特征点,提出了一套umsgc上的尺度空间生成算法(体现在本申请实施例的尺度空间处理子模型中),并在此基础上提出适合在几何代数模型下应用的umsgc-sift特征描述子。最后,在高光谱图像数据集上对本申请所提的算法进行了目标识别实验,实验结果显示本申请的算法具有比其他现有的高光谱图像上的ssip检测和描述算法有更好的性能。

实施例一

请参阅图1-a,本申请实施例提供一种图像特征识别方法,包括:

101、将待处理图像输入至特征提取模型中,提取得到高光谱空谱域兴趣点ssip特征点;

将待处理图像输入至特征提取模型中,提取得到高光谱空谱域兴趣点ssip特征点;所述特征提取模型包括:几何代数子模型和尺度空间处理子模型;所述几何代数子模型用于获取所述待处理图像在高光谱空谱域中的,具有光谱梯度信息的几何代数矢量;所述尺度空间处理子模型通过内积和外积的几何代数空间运算实现对应的欧式空间运算。

其中,所述待处理图像为有限长波段的高光谱图像。高光谱图像可以表示为一个高光谱图像立方体,包括空域信息(x,y)与光谱域信息λ。

在本申请实施例中,几何代数子模型为融合了光谱值及其修正量,以及光谱梯度变化信息的统一模型。其中,光谱梯度信息是反映光谱曲线变化的重要因素,而不同的物质具有不同的光谱曲线,因此,不同的光谱梯度信息往往反映着不同的物质。而光谱曲线指的是指高光谱图像中空域中的某一点(x,y)对应的整个谱域中光谱值所形成的一条曲线。

进一步的,在本申请实施例中,提出在高光谱图像三维几何代数空间中用于生成尺度空间的高斯函数。在获取到所述几何代数矢量之后,根据所述几何代数矢量与所述尺度空间处理子模型中的高斯函数进行卷积运算,得到几何代数框架下的高光谱空谱域的高斯差分响应值图像;所述高斯差分响应值图像包括:已修改光谱值信息的高斯差分响应值图像和梯度变化信息的高斯差分响应值图像;基于高光谱图像的高斯差分金字塔分别对所述已修改光谱值信息的高斯差分响应值图像和所述梯度变化信息的高斯差分响应值图像,进行特征点搜索,以所述特征点搜索的结果作为所述ssip特征点。

102、将所述ssip特征点输入至特征描述模型中,得到所述待处理图像的特征描述子;

在本申请实施例中,所述特征描述模型用于所述ssip特征点进行特征描述,得到所述ssip特征点的特征描述子。示例性的,特征描述后可以可以得到特征点的位置、尺度和方向等信息。

在提取到ssip特征点之后,为了充分反映ssip特征点附近局部图像的形状和纹理特性,使得特征描述子具有更好的鲁棒性和独特性以便后续的目标识别和图像分类,本申请结合3dsift框架提出适合几何代数模型下的ssip特征描述子,称之为umsgc-sift。

103、根据所述特征描述子进行分类识别。

示例性的,在获得所述特征描述子之后,可以对所述特征描述子进行一些数据统计处理,再利用支持向量机(svm,supportvectormachine)分类器进行分类识别。

由上可见,通过本申请方案中的几何代数子模型提取的ssip特征点体现了光谱梯度信息,光谱梯度信息是反映光谱曲线变化的重要因素,而不同的物质具有不同的光谱曲线,因此,本申请的ssip特征点可以通过不同的光谱梯度信息反映不同物质的特征,使得检测到的ssip特征点更加准确;并且,本申请的尺度空间处理子模型可以通过内积和外积的高斯运算实现对所述几何代数矢量的欧式空间运算,使得检测到的ssip特征点的数量更加丰富,位置更加准确。

实施例二

为了便于理解,本申请实施例对特征提取模型中的几何代数子模型和尺度空间处理子模型进行详细的介绍,具体包括:

几何代数子模型的设定:

为了更好的将几何代数模型与高光谱图像结合起来,并对光谱曲线进行深入的分析以提出高光谱图像(hsi,hyperspectralimage)的光谱值和梯度变化信息的统一模型(即本申请实施例中的几何代数子模型),首先给出几何代数空间中的高光谱图像的一般表达;接着,对高光谱图像的光谱曲线及其变化规律进行分析,得出相同物质的光谱曲线大致的变化规律几乎一致的结论,然后在上述基础上,给出光谱梯度的概念,并详细描述光谱值和梯度变化信息的统一模型。

本申请中特征提取算法均在一个有限长波段的高光谱图像中进行,因此高光谱图像可以表示为一个高光谱图像立方体,包括空域信息(x,y)与光谱域信息λ,即对于一个空域尺寸为m*n,高光谱图像波段数为n的高光谱图像f,它可以表示为:

f=f(x,y,λ)(1)

式中,f(x,y,λ)表示高光谱图像的函数,(x,y,λ)表示3维坐标,x和y表示空域坐标,0<x<m,0<y<n,λ表示光谱域坐标,0<λ<n。

本申请采用几何代数作为高光谱图像表示和分析的数学框架,因此,下面首先介绍几何代数框架下的高光谱图像的数学表示模型。

是高光谱图像空域和光谱域组成的三维欧式空间,它的规范正交基为{e1,e2,e3},那么这些规范正交基通过几何积张成上的几何代数空间为称为高光谱图像的三维几何代数空间,本申请后续部分将其简记为它的一组规范基为:

e3:={ei|i=0,1,2,…,23-1}={1,e1,e2,e3,e1∧e2,e2∧e3,e1∧e3,e1∧e2∧e3}(2)

其中,∧是几何代数外积,e1∧e2,e2∧e3,e1∧e3是由三个正交基e1,e2,e3得到的三个独立的二重外积,这三个二重外积几何意义上分别表示了空间两个矢量表示的平面,e1∧e2∧e3是三重外积:e1∧e2∧e3=(e1∧e2)e3,其几何解释是:二重外积e1∧e2沿着矢量e3移动所获得的有向几何体。{e1,e2,e3}可以看作的3维向量子空间的基向量{x,y,λ}。

将e1e2e3记为i,由于eiej=ei∧ej=eij,ei2=1,则e1e2=ie3,e2e3=ie1以及e3e1=ie2。并满足

(e1e2)2=(e2e3)2=(e3e1)2=-1(3)

则高光谱图像可以表示为:

f=f(p)(4)

其中p=xe1+ye2+λe3,表示高光谱图像f的像元。

设高光谱图像f中坐标为(x1,y1,λ1)与(x2,y2,λ2)的两个像元p1,p2,且p1=x1e1+y1e2+λ1e3,p2=x2e1+y2e2+λ2e3,则它们的几何积可以表示为:

p1p2=p1·p2+p1∧p2(5)

它表示两个矢量的几何积是由内积(p1·p2)和外积(p1∧p2)之和组成。在中,p1和p2的距离可以用δp表示,即:

δp=p1-p2=(x1-x2)e1+(y1-y2)e2+(λ1-λ2)e3(6)

它表示一个从p2指向p1的矢量,它不仅是两个像素点距离的度量,而且也可以反映高光谱图像中的梯度信息。

高光谱图像光谱曲线的分析:

光谱曲线是指高光谱图像中空域中的某一点(x,y)对应的整个谱域中光谱值所形成的一条曲线。本次实验中,选取一幅高光谱图像中不同目标对应的若干个点来对比它们的光谱曲线,通过分析它们的变化规律,从中提取出重要的隐藏在高光谱图像的物质信息。

实验证明,对于空域中同为一种物质的点的光谱曲线,它们在谱域的变化是非常的接近的,但是对于不同物质的光谱曲线变化却很大。因此,通过研究它们光谱值的波动情况和光谱曲线的变化率来完成目标检测与识别将会是行之有效的一种方法。在空域中通过对不同点的光谱曲线的变化率进行计算,方便寻找出物质中隐藏的重要信息,为ssip的检测以及描述奠定了一个更好的基础,同时也为高光谱图像的匹配、分类以及目标识别提供一个研究方法,并将性能提高。

综合以上的分析,抛开外界环境、高光谱图像数据采集、传输、预处理等过程中受到的噪声影响,一般情况下高光谱图像中同一物质的光谱曲线具有相同或者相似的变化规律,因此它们的光谱值以及光谱曲线变化率在一定的邻域内将会很接近,这为对它们的研究和分析提供了便利,为此将以此为依据为高光谱图像局部特征的提取提出一个优秀的基于光谱值和光谱曲线变化率的统一模型。

高光谱图像光谱值和梯度变化信息的统一模型:

类似于二维图像中定义的梯度,本申请中定义高光谱图像的梯度信息为在同一空域点内的不同波段(即光谱曲线)上光谱值的变化率。由以上的分析可知,高光谱图像同一物质往往有相同或者变化相似的光谱曲线,因此对光谱曲线梯度信息的研究在目标识别方面具有非常重要的意义。

几何代数空间下高光谱图像梯度的定义:

假设和p=xe1+ye2+λe3,则hsi可以表示为f=f(p),定义

为高光谱图像f在几何代数空间中p点的梯度,记为gradf(p),即

gradf(p)=fx(p)e1+fy(p)e2+fλ(p)e3.(8)

其中fx(p)和fy(p)为空域上x和y方向的偏导,fλ(p)为谱域方向上的偏导。高光谱图像空域上的梯度(fx(p)e1+fy(p)e2)反映了空域二维图像的边缘信息,而谱域上的梯度(fλ(p)e3)则反映了不同物质所特有的物质信息。为了检测具有不同类别性质的空谱域兴趣点(ssip),将以谱域上的梯度为探究重点,以得到具有不同物质属性的ssip.

根据hsi中ssip的定义,ssip是在hsi中空域和光谱域上均具有显著变化的点。为了充分利用hsi的空域和谱域的信息,提出了一个新的基于光谱值和梯度变化信息的统一模型。为了便于表达,下面首先给出了两个关于这个模型的定义:

定义1(光谱梯度).假设和p0=xie1+yje2+λke3,p1=xie1+yje2+(λk+1)e3,p2=xie1+yje2+(λk-1)e3,p3=xie1+yje2+(λk+2)e3,p4=xie1+yje2+(λk-2)e3.则中p0处的光谱梯度gp0定义为:

其中

反映了像素点p0处的梯度大小和方向,使用它的模值来反映它的变化幅度,而它的方向定义为光谱曲线在波段λk中点p0的切线方向。一般来说,在该点的梯度模值越大,则光谱曲线在该点的变化量就越大,反之亦然。由于同一种物质在同一空域的不同谱域有着相同或变化相似的光谱曲线,而光谱曲线的变化即为光谱梯度,若在l×l邻域内为同一物质,则它们相同或者变化相似的光谱曲线,且它们在此邻域内的梯度大小应该很接近,为此对其进行如下分析和处理。

设si(i=0,1)表示在λi=λk+i平面上以pi为中心的l×l的邻域共l2个点的集合,s2表示在λ2=λk-1平面上以p2为中心的l×l的邻域共l2个点的集合,其中λk∈[2,n-1],为此得到:

其中,上s0内的任意一点pij的光谱梯度。s0内的平均梯度模值为:

若在点p0的l×l-1邻域内为同一物质,则其方差

其中ε为经验值,是单位梯度方差的阈值。为了方便和简化后续的计算,定义一个梯度变化矢量g′p0,假设是光谱梯度在p0的标准差,则光谱梯度变化矢量的模值定义如下:

定义2(光谱梯度变化矢量)光谱梯度的标准差为光谱梯度变化矢量的模值,的方向为光谱梯度的方向。

一方面由于外部环境,高光谱图像数据采集、运输、预处理等噪声的影响,同样的物质可能光谱曲线会存在差异,为此使用式(17)来修正光谱值,以减少“同谱异物”对特征提取和表达时的影响;另一方面,光谱曲线受变化率(即梯度)和光谱值的影响,因此,对于hsi中的同一物质,除了梯度之外,还考虑光谱曲线上的光谱值的校正值,其定义如下:

其中f(p0)为p0处的光谱值,fδ(p0)是修正后的光谱值,为光谱值的修正量,定义为以为中心的3σ邻域的标准差,即

其中σ为高斯尺度因子,是以p0为中心的3σ邻域的均值,且

其中ε1为经验值,是单位光谱值修正量的标准差阈值。

因此,对于同一种物质,梯度矢量与修正后的光谱值必须同时满足(12-19)式,于是为了表现位于的像素点所具有的含修正量的光谱值信息和梯度变化信息,定义一个新的几何代数矢量f′(p0),命名为高光谱图像像素点的光谱值-梯度变化矢量(spectralvalue-gradientchangevector,svgcv),其形式如下:

其中fδ(p0)为修正后p0处的光谱值,为梯度变化矢量。它是一个既含有标量信息又含有矢量信息的矢量,不仅反映了光谱值信息,而且还反映了梯度方向及其大小变化情况。

基于上述定义和描述,高光谱图像f变换为一个以谱值与梯度变化矢量(svgcv,spectralvalueandthegradientchangevector)为元素的三维矩阵,这里称之为光谱值信息和梯度变化信息的统一模型(unifiedmodelofspectralvalueandgradientchange,umsgc),记为:

f′=f′(p)(21)

其中,f′(p)为本发明实施例中的几何代数矢量,是自变量为p,因变量为svgcv的函数。

在通过几何代数子模型得到几何代数矢量之后,将所述几何代数矢量输入至需要尺度空间处理子模型中进行处理,以得到得到所述ssip特征点。尺度空间处理子模型包括:尺度空间和特征点搜索两部分内容,具体为:

尺度空间生成:

在现有技术中,图像的尺度空间是由图像和不同尺度的高斯函数卷积产生的,借鉴这种思路,本申请提出如下在高光谱图像三维几何代数空间中用于生成尺度空间的高斯函数。

且p=xe1+ye2+λe3,令其中σ0为欧式空间中高斯函数的尺度因子,则本申请设计了在高光谱图像三维几何代数空间中的高斯函数如下。

其中,σ为中的高斯函数的尺度因子,所述为高光谱图像的三维几何代数空间,p为所述三维几何代数空间的像素点,符号∧表示外积,符号·表示为内积,所述g(σ)为关于尺度因子的函数,且高斯窗口的大小为l×l×l,l=6σ+1。

在尺度因子函数g(σ)中,从而易得在欧式几何空间(|p∧σ|2-(p·σ)2)可以作如下展开:

所以

因此(22)式变成

可见,将g(p,σ)转为中的形式与普通三维高斯函数是一致的,因此,本申请设计的g(p,σ)是有效的高斯函数。

本申请中的高光谱图像的高斯尺度空间由一个变尺度的高斯函数g(p,σ)与高光谱图像的umsgcf′(p)卷积产生,具体如下所示。

其中为卷积运算,可见本申请的尺度空间由两部分组成,一个标量尺度空间,一个矢量尺度空间。

在sift特征检测算法的框架中,特征点的检测是在高斯差分(differenceofgaussian,dog)的响应值图像上进行非最大值抑制得到的。在上述高光谱图像umsgc的尺度空间的基础上,几何代数框架下的高光谱图像的空谱域高斯差分(dog)的响应值图像d(p,σ)可通过如下的式子获得:

d(p,σ)是高光谱图像的空谱域高斯差分响应值图像,g(p,σ)为高斯核函数,l(p,σ)表示尺度空间,k是表示两相邻尺度空间倍数的参数。可看出,d(p,σ)包含已修正光谱值信息的高斯差分响应值图像ds(p,σ)和梯度变化信息的高斯差分响应值图像dg(p,σ)。因此,在构建d(p,σ)时,可以分解为计算ds(p,σ)和dg(p,σ)。

特征点搜索:

基于高光谱图像的高斯差分金字塔分别对所述已修改光谱值信息的高斯差分响应值图像和所述梯度变化信息的高斯差分响应值图像,进行特征点搜索,以所述特征点搜索的结果作为所述ssip特征点。

将高斯差分金字塔分为o组(octave),每组有s层(level),下一组的图像由上一组图像按照隔点采样得到。请参阅图1-b,展示了高斯金字塔的构建过程。图中第一组(firstoctave)的高斯图像是高光谱图像序列尺度化得到的,从第二组起,每一组都是有上一组经过下采样得到的,本申请中设定的组数o=4。

特征点的搜索是通过同一组内各高斯差分金字塔相邻层之间的比较完成的。每个采样点都要和它所有的相邻点进行比较,看其是否比它的图像域和尺度域(3*3*3*3)的相邻点大或者小。本申请中,由于本申请的空谱域兴趣点既要在空域上是特征点又要具有梯度变化不显著的点,因此,如果p满足:

p=arg(max(ds(p,σ))&min(|dg(p,σ)|))(25)

则p是极值点,即特征点。

实施例三

本申请实施例对特征描述模型进行详细的介绍,具体包括:

为了实现对提取到的特征点进行描述,将所述ssip特征点的局部图像信息形成一个基准方向,为此结合几何代数的框架模型提出适合高光谱图像的umsgc-sift描述子。使用图像梯度的方法求取该基准方向。

且p0=xie1+yje2+λke3,

p1=(xi-1)e1+yje2+λke3,p2=(xi+1)e1+yje2+λke3,

p3=xie1+(yj-1)e2+λke3,p4=xie1+(yj+1)e2+λke3,

p5=xie1+yje2+(λk-1)e3,p6=xie1+yje2+(λk+1)e3,则p0的模值如下表示:

为便于表述,以g(p0,σ)表示p0所在尺度空间的高斯滤波器,在特征点检测的时候,每个特征点都有对应的尺度值σ。

根据公式(23),l(pi)可以表示为:

然后,可以得到

需要注意的是,等式(28)可以看作是在e1轴方向上导数和p0高斯滤波器的卷积。与p1和p2情况类似,可以得到e2轴和e3轴方向的结果:

则等式(26)可以简化为:

根据等式(28)-(30),可以推断,光谱域中的梯度信息已经包含在尺度空间l(p,σ)和模m中。在提出的umsgc-sift中,使用两个方向角(θ和)作为检测到的特征点的参数,如下所示:

因此,可以看出,这样,每个特征点就包含有六个信息包括位置、尺度和方向。为了使特征矢量具有旋转不变性,需要以特征点为中心,将特征点附近领域内图像梯度的位置和方向旋转一个方向角得到旋转后的高斯图像(mσbp×mσbp×mσbp),如图1-c所示,然后再开始生成特征点描述矢量。

在生成特征点描述矢量时,将特征点p0的邻域分为bp×bp×bp个子区域(取bp=4),每个子区域的尺寸为mσ个像元。如图1-d所示,由于θ的取值范围为(0,2π)和的取值范围只能是所以按每45°划分为一个方向,可以有8×4个方向。统计每个子区域(mσ×mσ×mσ)的8×4个方向的梯度方向直方图,并对同一方向不同子区域的梯度幅值进行累加,取最大的梯度幅值对应的方向作为特征点p0的主方向。

如图1-e所示,统计子区域的模值的直方图,按一定顺序排列,得到最终的特征描述矢量,其维数为bp×bp×bp×8×4=2048。

实施例四

为了验证本申请技术方案的有效性,本申请实施例对特征提取算法和以及描述算法进行实验。本申请实施例是提取到的特征的分布情况,根据提取的特征是否位于空域上的光谱值变化显著与谱域上梯度变化相近的点,以验证提取算法的准确性;另一个是将其应用于高光谱图像的目标识别中,用目标识别的准确率来衡量来反映stip特征提取和描述算法的性能。高光谱图像的分类框架这样设置:首先,使用umsgc-sift算法提取ssips并使用umsgc-sift算法对其进行描述,接着,使用k-means聚类对获得的描述子进行码本学习;然后,利用学习所得的码本对待训练的高光谱图像进行直方图统计,获得训练样本的直方图统计并对svm分类器进行训练;最后,使用测试数据以类似于训练的方式获得统计直方图后进行分类测试。

本申请主要用单类分类准确率和多类平均分类准确率来度量分类的准确率。

设第i类的用于测试高光谱图像数量为num_test_i,被正确识别的该类的高光谱图像数目为num_correct_i,则该类的分类准确率记为accuracy_i,定义如下.

设进行实验的高光谱图像数据一共有n类,则这n类的平均分类准确率定义如下.

以下就对实验结果进行分析:

高光谱图像的ssip提取

为了检验提出的算法在高光谱图像的ssip提取效果,在相同的实验条件下使用本申请提出的umsgc-sift算法和传统的3dharris算法对同一张高光谱图像进行ssip提取。高光谱图像是停车场的一辆白色轿车,总共有728个波段,使用umsgc-sift算法一共提取到7250个ssip,而使用传统的3dharris算法只能提取到3913个ssip,其中,图1-f和图1-g分别是本申请提出的umsgc-sift算法和传统的3dharris算法的提取效果图;在图1-f中,a,b,c,d,e,f,g,h分别是高光谱图像的第93、163、208、394、421、531、571、640波段上的ssip分布情况;在图1-g中,a,b,c,d,e,f,g,h分别是高光谱图像的第93、163、208、394、421、531、571、640波段上的ssip分布情况。

对比图1-f和图1-g,可以看到很明显的差别:首先观察图1-g,在所示的8张图片中,前5张图对应的高光谱图像的波段上,传统的3dharris算法几乎检测不到兴趣点,后面的3张图中,在高光谱图像的对应波段上虽然检测出少量的ssip,但是(f)和(g)图中几乎都是噪声点(将不落在目标上的ssip称为噪声点),并无多少ssip坐落在目标(轿车)上,(h)图虽然检测到相对较多的ssip,但是只有将近一半的ssip是在目标上的,噪声点的占比约为一半。而从图1-f可以看到,本申请提出的umsgc-sift算法在高光谱图像上提取到的ssip数量丰富,大量的ssip分布于目标光谱值变化显著的地方,而且位置准确,ssip几乎都分布在目标上,再者,噪声点数量很少,噪声点的占比率很低。这是因为本申请所提算法在sift框架下,不仅考虑了高光谱中空域的光谱值信息,而且考虑了高光谱的梯度信息并加入了光谱值的修正量,它一方面继承了sift算法能提取丰富的特征点的优点,另一方面对梯度信息的有效利用也可以有效保证所提取的ssip是处于梯度变化显著的地方,更加能凸显高光谱图像中隐藏的信息,因而能更加有效的提取到丰富的真正的ssip。

高光谱图像的分类

由于实验的分类是是采用的是bow模型的分类框架,因此实验时码本(亦称视觉词汇)的数量对于实验的分类结果有一定的影响。为此,本申请通过实验来寻找最优的码本数,以便能为后续的分类实验提供一个好的实验参数进而得到一个更加好的分类结果。实验时使用的数据是11类的979张高光谱图像,码本数量numberwords设置从100到2500等梯度增加,进行实验得到如图1-h所示的结果。

图1-h反映了不同码本数量下平均分类准确率的变化情况,从图中可以看到,随着码本数量的增大,分类准确率有着逐渐下降的趋势,分类准确率由码本数为100时的接近88%逐渐下降到2500时的82%左右,码本数在300时分类准确率达到将近89%,可见码本数量对分类准确率的影响还是很明显的,因此在进行分类实验时码本数量的大小应该控制在200—300的范围内。

为了验证算法的有效性及性能,本申请实施例对数据库的11个类别的979张高光谱图像使用本申请所提算法umsgc-sift进行提取然后使用umsgc-sift算法对提取到的ssip进行描述,再进行分类,分类时使用的码本数为200。为了与其他算法进行对比,现有技术提出的算法以3dsift为描述子在相同的实验条件下进行分类实验,不失一般性,还对2维的伪彩色图像进行了分类实验,得到了表1的实验结果。表1中,算法所得的平均分类准确率88.30%是经过十次的分类结果取平均后得到的,十次的分类结果如图1-i所示,虚线表示的是平均准确率88.30%对应的水平线。

表1.不同算法的分类结果:

从表1可以看出,本申请实施例所提算法得到的实验结果相比现有技术所得的结果提升了2.95%,相较于缺乏光谱信息的二维伪彩色图像的结果,本申请实施例的准确率更是提高了18.62%。究其原因,提出的umsgc-sift算法可以提取到数量更加丰富、位置更加准确的兴趣点,能够更好的反映高光谱图像中物质所具有的独有属性,使用umsgc-sift算法描述后,ssip周围的信息表现得更加的充分,更能反映各类物质的本质,因此在分类时能够得到更好的结果。图1-i展示出了这十次分类实验准确率的波动情况,从图可以看出,本申请实施例提出的算法得到的结果在进行分类时得到的分类准确率具有期望大、波动小等特点,因此稳定性非常好。综合表1和图1-i来看,本申请实施例提出的算法在充分的利用了高光谱图像的光谱值和梯度信息,并加入了光谱值的修正量后,提取到的特征点数量更加的丰富,位置更准确,更能够充分发掘隐藏在高光谱图像中的物质信息,然后再经过umsgc-sift算法的描述后,特征点周围的信息得到更加充分的利用,因此能够得到更好的分类结果,并且算法的分类性能很稳定。

图1-j显示了在本申请所提算法下进行一次分类实验所得分类准确率的混淆矩阵(confusionmatrix)。从中可以看到,混泥土路这个类别中有相当部分的图像被误分到沥青路这个类别中去,这是由于混泥土路和沥青路有较多相似的部分,包括特征点以及特征点周围的光谱值信息和光谱域的梯度信息等。比如,这两个类的图像在光谱域都有相似的反射比以及光谱波长和梯度信息等都较为相近,因而在分类时这两个类别就容易出现误分类的情况。表2展示了几个不同类别的高光谱图像在不同的波段范围内梯度变化矢量模值的平均值和光谱值修正量的平均值的分布情况。

表2的数据是在不同类别的高光谱图空域上取若干个不同的点坐标,然后计算出这些坐标点在不同波段范围内梯度变化矢量模值和光谱值修正量的平均值,再对同一类别下的几个坐标点得到的平均值再取均值,从而得到表2的结果。从表2可以看到,在1-200的波段范围内,沥青路和水泥路的梯度变化矢量的均值相差不大,分布在这一波段范围内的特征点有许多相似的性质,这就是图1-j混淆矩阵中有几个混泥土路的图像被误分到沥青路这一类别去的主要原因。图1-j中,草地这一类别也有少许图像被误分到树这一类别中,知道,绿光的波长范围大概是492纳米到577纳米,对应表2实验数据的100到200这一波段范围,而这一波段范围的梯度变化矢量模值的均值和光谱值的修正量的均值都相差不大,因此处于这一波段的特征点将会有许多相似的地方,因而分类时出现一定数量的误分也在情理当中。由此分类实验可知,梯度变化矢量和光谱值的修正量确实能够对高光谱图像的分类产生一定的影响,他们首先影响局部特征的提取,进而影响分类结果。因此,只要能够设置合适的梯度方差阈值ε和光谱值修正量的标准差阈值ε1便能得到很好的分类效果。

实施例五

请参阅图2,为本申请实施例提供一种电子装置。该电子装置可用于实现上述图1-a所示实施例提供的图像特征识别方法。如图2所示,该电子装置主要包括:

特征提取单元201,用于将待处理图像输入至特征提取模型中,提取得到高光谱空谱域兴趣点ssip特征点;所述特征提取模型包括:几何代数子模型和尺度空间处理子模型;所述几何代数子模型用于获取所述待处理图像在高光谱空谱域中的,具有光谱梯度信息的几何代数矢量;所述尺度空间处理子模型通过内积和外积的几何代数空间运算实现对应的欧式空间运算;

特征描述单元202,用于将所述ssip特征点输入至特征描述模型中,得到所述待处理图像的特征描述子;

分类识别单元203,用于根据所述特征描述子进行分类识别。

需要说明的是,以上图2示例的电子装置的实施方式中,各功能模块的划分仅是举例说明,实际应用中可以根据需要,例如相应硬件的配置要求或者软件的实现的便利考虑,而将上述功能分配由不同的功能模块完成,即将电子装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。而且,在实际应用中,本实施例中的相应的功能模块可以是由相应的硬件实现,也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则,以下不再赘述。

本实施例提供的电子装置中各功能模块实现各自功能的具体过程,请参见上述图1-a所示实施例中描述的具体内容,此处不再赘述。

实施例三

本申请实施例提供一种电子装置,请参阅图3,该电子装置包括:

存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序,处理器302执行该计算机程序时,实现前述图1-a所示实施例中描述的图像特征识别方法。

进一步的,该电子装置还包括:

至少一个输入设备303以及至少一个输出设备304。

上述存储器301、处理器302、输入设备303以及输出设备304,通过总线305连接。

其中,输入设备303具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备304具体可为显示屏。

存储器301可以是高速随机存取记忆体(ram,randomaccessmemory)存储器,也可为非不稳定的存储器(non-volatilememory),例如磁盘存储器。存储器301用于存储一组可执行程序代码,处理器302与存储器301耦合。

进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述各实施例中的电子装置中,该计算机可读存储介质可以是前述图3所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述图1-a所示实施例中描述的图像特征识别方法。进一步的,该计算机可存储介质还可以是u盘、移动硬盘、只读存储器(rom,read-onlymemory)、ram、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上为对本申请所提供的图像特征识别方法、电子装置及计算机可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1