一种图像特征提取方法、装置及电子设备与流程

1.本技术涉及图像处理领域，尤其涉及一种图像特征提取方法、装置及电子设备。


背景技术：

2.随着人们对生物特征识别技术发展的兴趣日益浓厚，图像识别逐渐在日常生活中被广泛应用。图像特征提取作为其中一个重要的技术环节，决定了图像识别的准确率。
3.由于在采集图像时光照和角度等参数的影响，使得从所采集的图像中提取的图像特征中存在大量与主要特征无关的噪声，影响了图像特征提取的效果，从而使图像识别的结果不准确。


技术实现要素：

4.本技术提供了一种图像特征提取方法、装置及电子设备，用以在图像识别的图像特征提取阶段中，去除图像样本中与主要特征无关的噪声，并改善了图像特征提取的效果，从而提升图像识别的准确度。
5.第一方面，本技术提供了一种图像特征提取方法，所述方法包括：
6.获取m个不同类别的重构图像样本集，其中，所述重构样本图像集基于对m个图像样本集中的每个图像样本进行小波变换得到，每个重构图像样本集中为同一类别的重构图像样本，m为大于0的整数；
7.基于m个重构图像样本集中包括的重构图像样本的矩阵和样本总数，确定总体均值矩阵，其中，样本总数为m个重构图像样本集中包括的所有重构图像样本数量之和；
8.确定每个重构图像样本集所对应的类均值矩阵，得到m个类均值矩阵，其中，所述类均值矩阵基于每个重构样本集中的所有重构图像样本矩阵得到；
9.根据所述总体均值矩阵与所有类均值矩阵计算协方差矩阵，并确定所述协方差矩阵的r个最大特征值，其中，r为大于1的整数；
10.根据每个最大特征值对应的特征向量分别提取每个图像样本各自对应的图像特征。
11.通过上述方法，对图像样本进行小波变换以及降维，然后提取最大特征值对应的关键特征，减少了图像样本中特征的噪声，提升了图像特征提取的效率和准确度。
12.在一种可能的设计中，确定每个重构图像样本集所对应的类均值矩阵，得到m个类均值矩阵，所述方法包括：
13.分别根据每个重构图像样本集中所有重构图像样本对应的矩阵，确定m个和值矩阵；
14.分别根据每个重构图像样本集对应的和值矩阵与样本数量值，确定m个类均值矩阵，其中，样本数量值为每个重构图像样本集中重构图像样本的数量。
15.通过上述方法，计算得到类均值矩阵，并应用至后续协方差矩阵的计算中，使根据所得的协方差矩阵来提取的图像特征具有可分性。
16.在一种可能的设计中，根据所有类均值矩阵计算协方差矩阵，所述方法包括：
17.获取m个重构图像样本集各自对应的差值矩阵，其中，所述差值矩阵根据每个重构图像样本集各自对应的类均值矩阵与所述总体均值矩阵确定；
18.分别根据每个重构图像样本集各自对应的差值矩阵与每个重构图像样本集的样本数量值，确定m个均值矩阵；
19.根据m个均值矩阵，确定所述协方差矩阵。
20.通过上述方法，计算得到的协方差矩阵中保留了任一图像样本集中包含的图像样本的数据，从而保证根据该协方差矩阵提取的图像特征具有不同类别的图像样本集之间的可分性。
21.在一种可能的设计中，根据每个最大特征值对应的特征向量分别提取每个图像样本矩阵各自对应的图像特征，所述方法包括：
22.分别获取所述协方差矩阵的r个最大特征值各自对应的特征向量，得到r个特征向量；
23.根据r个特征向量构造投影矩阵，并生成所述投影矩阵对应的子空间；
24.通过将m个重构图像样本集中包括的所有重构图像样本的矩阵投影至所述子空间中进行特征提取。
25.通过上述方法，省略了将图像转换为一维图像向量的矢量化过程，还根据最大特征值对应的特征向量构造了投影矩阵，并将图像样本投影至投影矩阵从而实现了图像特征的降维与特征提取，提高图像特征提取的计算效率。
26.第二方面，本技术提供了一种图像特征提取装置，所述装置包括：
27.获取模块，用于获取m个不同类别的重构图像样本集，其中，所述重构样本图像集基于对m个图像样本集中的每个图像样本进行小波变换得到，每个重构图像样本集中为同一类别的重构图像样本，m为大于0的整数；
28.第一确定模块，用于基于m个重构图像样本集中包括的重构图像样本的矩阵和样本总数，确定总体均值矩阵，其中，样本总数为m个重构图像样本集中包括的所有重构图像样本数量之和；
29.第二确定模块，确定每个重构图像样本集所对应的类均值矩阵，得到m个类均值矩阵，其中，所述类均值矩阵基于每个重构样本集中的所有重构图像样本矩阵得到；
30.计算模块，用于根据所述总体均值矩阵与所有类均值矩阵计算协方差矩阵，并确定所述协方差矩阵的r个最大特征值，其中，r为大于1的整数；
31.提取模块，用于根据每个最大特征值对应的特征向量分别提取每个图像样本各自对应的图像特征。
32.在一种可能的设计中，所述第二确定模块包括：
33.和值矩阵确定单元，用于分别根据每个重构图像样本集中所有重构图像样本对应的矩阵，确定m个和值矩阵；
34.类均值矩阵确定单元，用于分别根据每个重构图像样本集对应的和值矩阵与样本数量值，确定m个类均值矩阵，其中，样本数量值为每个重构图像样本集中重构图像样本的数量。
35.在一种可能的设计中，所述计算模块包括：
36.获取单元，用于获取m个重构图像样本集各自对应的差值矩阵，其中，所述差值矩阵根据每个重构图像样本集各自对应的类均值矩阵与所述总体均值矩阵确定；
37.均值矩阵确定单元，用于分别根据每个重构图像样本集各自对应的差值矩阵与每个重构图像样本集的样本数量值，确定m个均值矩阵；
38.协方差矩阵确定单元，用于根据m个均值矩阵，确定所述协方差矩阵。
39.在一种可能的设计中，所述提取模块包括：
40.特征向量获取单元，用于分别获取所述协方差矩阵的r个最大特征值各自对应的特征向量，得到r个特征向量；
41.构造单元，用于根据r个特征向量构造投影矩阵，并生成所述投影矩阵对应的子空间；
42.提取单元，用于通过将m个重构图像样本集中包括的所有重构图像样本的矩阵投影至所述子空间中进行特征提取。
43.第三方面，本技术提供了一种电子设备，包括：
44.存储器，用于存放计算机程序；
45.处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的方法步骤。
46.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像特征提取方法步骤。
47.上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
48.图1为本技术提供的一种图像特征提取方法的流程图；
49.图2为本技术提供的一种控制装置的结构示意图；
50.图3为本技术提供的一种电子设备的结构示意图。
具体实施方式
51.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本技术的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。a与b连接，可以表示：a与b直接连接和a与b通过c连接这两种情况。另外，在本技术的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
52.下面结合附图，对本技术实施例进行详细描述。
53.在进行图像识别时，需要对待识别的图像样本进行特征提取，由于图像样本在采集时存在光照以及角度等参数的影响，从图像样本中提取的特征存在与主要特征无关的噪声，从而影响图像特征提取的效果，进而导致图像识别的准确度降低。.为了解决上述问题，本技术提供了一种图像特征提取方法，首先将待进行图像特征提取的图像样本分类为至少
一个图像样本集，通过将每个图像样本集中的图像样本进行小波变换来实现初步去噪，进一步根据每类图像样本的类均值矩阵和总体均值矩阵计算得到协方差矩阵，并由协方差矩阵的最大特征值对应的特征向量构造投影矩阵，再基于投影矩阵对所有图像样本进行降维和特征提取，从而实现了进一步对图像样本特征的去噪。
54.如图1所示，为本技术实施例提供的一种图像特征提取方法流程图，具体包括以下步骤：
55.步骤s11，获取m个不同类别的重构图像样本集；
56.在本技术所提供方法中，对图像样本进行特征提取之前，需要先获取至少一个重构图像样本集，其中，重构图像样本集中的图像样本通过小波变换得到。
57.具体来说，c1,c2,c3,
…
,ck为待进行特征提取的k个图像样本，每个图像样本的数据都可以用一个m
×
n的矩阵表示。首先，将所有图像样本按照模式类别的不同进行分类，在一些例子中，可以利用分类器对至少一个图像样本进行处理来实现图像样本的模式分类，其中，分类器是一种基于自动学习(automl)区分识别样本的模式类别的计算机程序。在本实施例中，可以通过选用支持向量机、最近邻分类器或贝叶斯分类器等不同种类分类器的其中一种，将k个图像样本按照不同的模式类别分类为m个图像样本集，分别为ω1,ω2,ω3,
…
,ωm，每个图像样本集中有ni(i＝1,2,
…
,m)个图像样本。其中，k、m、m以及n都为大于0的整数，且
58.然后，对图像样本{ck(m,n)}(k＝1,2,
…
,k)进行小波变换，其中主要包括两个步骤，分别为小波分解和小波重构。在本实施例中，选用分解阶数为4的db4小波基，并根据db4小波函数构造一对由低通滤波器和高通滤波器组成的正交镜像滤波器，其中低通滤波器为h，高通滤波器为g。然后分别对图像样本c1,c2,c3,
…
,ck进行小波分解，得到低频分量dk、水平高频分量垂直高频分量以及对角高频分量小波分解的公式如下：
[0059][0060]
进一步，对图像样本进行小波重构。考虑到图像样本的能量主要分布在低频分量，而图像特征中的噪声主要分布在高频分量，因此为了在保留主要特征的前提下去除图像样本的噪声，则需要在对图像样本进行重构时降低图像样本的高频分量，并增加图像样本的低频分量，从而得到重构图像样本fk，小波重构的公式如下：
[0061]
[0062]
在对图像样本进行小波分解得到的结果中，只有dk为低频分量，而以及都为高频分量，因此为了去除图像特征中的噪声，a0的取值范围为[1.2,1.5]，而a1、a2以及a3的取值范围为[0.9,1.0]。很明显，通过上述的重构过程可以增加低频分量的权重，并且降低高频分量的权重，去除图像特征中的噪声。
[0063]
综上所述，对m个图像样本集中包含的所有图像样本c1,c2,c3,
…
,ck都分别进行了小波变换，得到各自对应的重构图像样本f1,f2,f3,
…
,fk。然而，图像样本的模式分类并没有因此受到影响，也就是说，重构图像样本仍然遵循对图像样本模式分类的结果，重构图像样本f1,f2,f3,
…
,fk也分类为m个重构图像样本集，每个重构图像样本集中有ni(i＝1,2,
…
,m)个图像样本。
[0064]
通过本技术所提供的方法，基于小波变换对图像样本进行分解和重构，对图像样本中的特征进行去噪。
[0065]
步骤s12，基于m个重构图像样本集中包括的重构图像样本的矩阵和样本总数，确定总体均值矩阵；
[0066]
在对每个图像样本分别进行了小波变换之后，为了得到其总体协方差矩阵，进而实现对图像样本的特征提取，首先需要计算总体均值矩阵，具体来说，m个重构图像样本集中包括的所有重构图像样本的矩阵之和与样本总数k的比值即为总体均值矩阵，总体均值矩阵的计算公式如下：
[0067][0068]
步骤s13，确定每个重构图像样本集所对应的类均值矩阵，得到m个类均值矩阵；
[0069]
在一种可能的应用场景中，具体来说，先分别计算每个重构图像样本集中所有重构图像样本对应的矩阵之和，得到m个和值矩阵，再分别计算每个重构图像样本集对应的和值矩阵与对应的样本数量值ni的比，从而得到m个类均值矩阵，分别为类均值矩阵的计算公式如下：
[0070][0071]
通过本技术所提供的方法，在计算协方差矩阵之前，先计算了类均值矩阵，考虑了每个图像样本集对应的不同模式分类之间的类间距离，又由于所得的每个类均值矩阵是对应的图像样本集中包含的图像样本矩阵的线性组合，因此根据考虑类间距离计算出的协方差矩阵来提取图像特征，得到的图像特征具有可分性。
[0072]
步骤s14，根据总体均值矩阵与所有类均值矩阵计算协方差矩阵，并确定协方差矩阵r个最大特征值；
[0073]
接着，根据总体均值矩阵与类均值矩阵计算协方差矩阵，并确定协方差矩阵r个最大特征值。具体来说，在一种可能的应用场景中，先分别计算每个重构图像样本集各自的类均值矩阵与总体均值矩阵之差，得到差值矩阵
然后，分别计算每个重构图像样本集各自对应的差值矩阵与差值转置矩阵的乘积，接着分别除以每个重构图像样本集的样本数量值ni，得到m个均值矩阵，分别为进而计算m个均值矩阵的和，得到所述协方差矩阵g，协方差矩阵的计算公式如下：
[0074][0075]
通过上述方法，由于在计算协方差矩阵时利用了类均值矩阵，使得到的协方差矩阵保留了任一图像样本集中包含的图像样本的数据，从而保证根据协方差矩阵的特征向量来提取的图像特征具有不同类别的图像样本集之间的可分性。
[0076]
在得到图像样本的协方差矩阵之后，为了得到特征向量，需要对协方差矩阵进行特征值分解，公式如下：
[0077]
gxi＝μixi[0078]
其中，μi为特征值，xi为特征向量。
[0079]
将分解协方差矩阵得到的特征值按从大到小的顺序排列，确定前r个最大特征值，分别为μ1,μ2,μ3,
…
,μr。由于本技术提供的方法基于二维图像矩阵，而不是一维图像向量，又由于r决定了图像样本矩阵降维之后得到的特征矩阵的维数，因此至少需要获取2个最大特征值对应的特征向量作为投影向量，所以r的取值为大于1的整数。
[0080]
通过本技术所提供的方法，通过根据协方差矩阵得到最大特征值，确定图像样本中的主要特征，将得到的最大特征值应用至后续图像特征的降维和提取，有效去除了冗余特征和不相关特征。
[0081]
步骤s15，根据每个最大特征值对应的特征向量分别提取每个图像样本各自对应的图像特征。
[0082]
在一种可能的应用场景中，分别获取所述协方差矩阵的r个最大特征值各自对应的特征向量，得到r个特征向量，分别为x1,x2,x3,
…
,xr。然后根据r个特征向量构造投影矩阵p，为p[x1,x2,x3,
…
,xr]，并生成由p张成的子空间；最后将重构图像样本f1,f2,f3,
…
,fk的矩阵投影至根据投影矩阵p张成的子空间中进行特征提取，得到特征矩阵f
′1,f
′2,
…
,f
′k，投影公式如下：
[0083]f′k＝fkp
[0084]
通过上述方法，省略了将图像样本转换为一维图像向量的矢量化过程，还根据最大特征值对应的特征向量构造了投影矩阵，并将图像样本投影至投影矩阵从而实现了图像特征的降维与特征提取，提高图像特征提取的计算效率。
[0085]
由于现有方案通过引入二次特征提取来弥补类间信息缺失的问题，使得计算量大，本方案直接针对传统的pca方法，提出了一种基于类间特征的改进方法，通过本技术所提供的方法，对图像样本进行小波变换，并提取最大特征值对应的关键特征，减少了图像样本中特征的噪声，提升了图像特征提取的效率和准确度。
[0086]
基于同一发明构思，本技术还提供了一种控制装置，如图2所示，为本技术中一种控制装置的结构示意图，所述装置包括：
[0087]
获取模块21，用于获取m个不同类别的重构图像样本集，其中，所述重构样本图像集基于对m个图像样本集中的每个图像样本进行小波变换得到，每个重构图像样本集中为同一类别的重构图像样本，m为大于0的整数；
[0088]
第一确定模块22，用于基于m个重构图像样本集中包括的重构图像样本的矩阵和样本总数，确定总体均值矩阵，其中，样本总数为m个重构图像样本集中包括的所有重构图像样本数量之和；
[0089]
第二确定模块23，确定每个重构图像样本集所对应的类均值矩阵，得到m个类均值矩阵，其中，所述类均值矩阵基于每个重构样本集中的所有重构图像样本矩阵得到；
[0090]
计算模块24，用于根据所述总体均值矩阵与所有类均值矩阵计算协方差矩阵，并确定所述协方差矩阵r个最大特征值，其中，r为大于0的整数；
[0091]
提取模块25，用于根据每个最大特征值对应的特征向量分别提取每个图像样本各自对应的图像特征。
[0092]
在一种可能的设计中，所述第二确定模块包括：
[0093]
和值矩阵确定单元，用于分别根据每个重构图像样本集中所有重构图像样本对应的矩阵，确定m个和值矩阵；
[0094]
类均值矩阵确定单元，用于分别根据每个重构图像样本集对应的和值矩阵与样本数量值，确定m个类均值矩阵，其中，样本数量值为每个重构图像样本集中重构图像样本的数量。
[0095]
在一种可能的设计中，所述计算模块包括：
[0096]
获取单元，用于获取m个重构图像样本集各自对应的差值矩阵，其中，所述差值矩阵根据每个重构图像样本集各自对应的类均值矩阵与所述总体均值矩阵确定；
[0097]
均值矩阵确定单元，用于分别根据每个重构图像样本集各自对应的差值矩阵与每个重构图像样本集的样本数量值，确定m个均值矩阵；
[0098]
协方差矩阵确定单元，用于根据m个均值矩阵，确定所述协方差矩阵。
[0099]
在一种可能的设计中，所述提取模块包括：
[0100]
特征向量获取单元，用于分别获取所述协方差矩阵的r个最大特征值各自对应的特征向量，得到r个特征向量；
[0101]
构造单元，用于根据r个特征向量构造投影矩阵，并生成所述投影矩阵对应的子空间；
[0102]
提取单元，用于通过将m个重构图像样本集中包括的所有重构图像样本的矩阵投影至所述子空间中进行特征提取。
[0103]
通过本技术提供的控制装置，对图像样本进行小波变换以及降维，然后提取最大特征值对应的关键特征，减少了图像样本中特征的噪声，提升了图像特征提取的效率和准确度。
[0104]
基于同一发明构思，本技术实施例中还提供了一种电子设备，所述电子设备可以实现前述图像特征提取装置的功能，参考图3，所述电子设备包括：
[0105]
至少一个处理器31，以及与至少一个处理器31连接的存储器32，本技术实施例中
不限定处理器31与存储器32之间的具体连接介质，图3中是以处理器31和存储器32之间通过总线30连接为例。总线30在图3中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线30可以分为地址总线、数据总线、控制总线等，为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器31也可以称为控制器，对于名称不做限制。
[0106]
在本技术实施例中，存储器32存储有可被至少一个处理器31执行的指令，至少一个处理器31通过执行存储器32存储的指令，可以执行前文论述的图像特征提取方法。处理器31可以实现图3所示的装置中各个模块的功能。
[0107]
其中，处理器31是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器32内的指令以及调用存储在存储器32内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
[0108]
在一种可能的设计中，处理器31可包括一个或多个处理单元，处理器31可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器31中。在一些实施例中，处理器31和存储器32可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
[0109]
处理器31可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的图像特征提取方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0110]
存储器32作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器32可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器32是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器32还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0111]
通过对处理器31进行设计编程，可以将前述实施例中介绍的图像特征提取方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的图像特征提取方法的步骤。如何对处理器31进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
[0112]
基于同一发明构思，本技术实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述图像特征提取方法。
[0113]
在一些可能的实施方式中，本技术提供的图像特征提取方法的各个方面还可以实
现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本技术各种示例性实施方式的图像特征提取方法中的步骤。
[0114]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0115]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。