基于网络模型的图像识别方法、装置、设备及存储介质与流程

1.本技术实施例涉及网络模型识别领域，尤其涉及一种基于网络模型的图像识别方法、装置、设备及存储介质。


背景技术：

2.在生物特征识别领域，人脸识别、手指识别、掌静脉识别等手段被广泛应用于不同的场景下，其中，掌静脉识别方法由于其大多数特征来自于由红外摄像头反射的手掌皮肤下的血管，使得这样的特征更加难以模仿。因此，对于活体攻击而言，该方法具有更好的鲁棒性。现有的网络模型对掌静脉图像进行识别时，识别精度低且运算量较大。


技术实现要素：

3.本技术实施例提供了一种基于网络模型的图像识别方法、装置、设备及存储介质，该方案中的第一类cdc网络模型具有轻量的结构优势，因此，可以以较少的运算量快速识别出红外样本图像的类型，在低算力场景下具有较好的优势。
4.第一方面，本技术实施例提供了一种基于网络模型的图像识别方法，该方法包括：
5.获取红外图像样本；
6.根据第一类中心差分卷积(central difference convolution，cdc)网络模型对红外图像样本的类型进行识别；
7.根据识别处理结果输出红外图像样本的类型；
8.其中，红外样本图像的分辨率为第一类cdc网络模型的指定分辨率，第一类cdc网络模型包括两个特征提取模块和一个多尺度空间注意力模块，红外图像样本的类型包括攻击图像或真实图像。
9.第二方面，本技术实施例还提供了一种基于网络模型的图像样本识别装置，该装置包括：
10.获取模块，用于获取红外图像样本；
11.处理模块，用于根据第一类cdc网络模型对红外图像样本的类型进行识别；
12.输出模块，用于根据识别处理结果输出红外图像样本的类型；
13.其中，红外样本图像的分辨率为第一类cdc网络模型的指定分辨率，第一类cdc网络模型包括两个特征提取模块和一个多尺度空间注意力模块，红外图像样本的类型包括攻击图像或真实图像。
14.第三方面，本技术实施例还提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当处理器执行计算机程序时，实现如本技术任意实施例提供的基于网络模型的图像识别方法。
15.第四方面，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本技术任意实施例提供的基于网络模型的图像识别方法。
16.本技术实施例提供了一种基于网络模型的图像识别方法、装置、设备及存储介质，该方法包括：获取红外图像样本；根据第一类cdc网络模型对红外图像样本的类型进行识别；根据识别处理结果输出红外图像样本的类型；其中，红外样本图像的分辨率为第一类cdc网络模型的指定分辨率，第一类cdc网络模型包括两个特征提取模块和一个多尺度空间注意力模块，红外图像样本的类型包括攻击图像或真实图像。相比现有的网络模型结构，本方案中的第一类cdc网络模型具有轻量的结构优势，因此，可以以较少的运算量快速识别出红外样本图像的类型，在低算力场景下具有较好的优势。
附图说明
17.图1为本技术实施例中的一种基于网络模型的图像识别方法的流程图；
18.图2是本技术实施例中的第一类cdc网络模型的结构示意图；
19.图3为本技术实施例提供的第一类cdc网络模型针对攻击图像和真实图像的识别结果可视化图；
20.图4a为本技术实施例提供的两种预处理方式下的打印攻击图像；
21.图4b为本技术实施例提供的两种预处理方式下的剪裁后的攻击图像；
22.图5为本技术实施例提供的一种基于网络模型的图像识别装置的结构示意图；
23.图6为本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。
25.另外，在本技术实施例中，“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本技术实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。
26.图1为本技术实施例提供的一种基于网络模型的图像识别方法的流程图，该方法可以应用于红外图像识别场景下，能够快速识别出红外图像的具体类型(例如，为真实样本或者为攻击样本)。该方法可以由本技术实施例提供的基于网络模型的图像识别装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在计算机设备中，计算机设备比如可以是服务器、个人电脑等。以下实施例将以该装置集成在计算机设备中为例进行说明，如图1所示，该方法可以包括但不限于以下步骤：
27.s101、获取红外图像样本。
28.本技术实施例中的红外图像样本可以为基于红外摄像头采集的图像，示例性地，采集到的红外图像可以包括掌静脉图像、人脸图像、手指图像等。该红外图像样本的分辨率为第一类cdc网络模型的指定分辨率，该第一类cdc网络模型可以理解为识别红外图像样本的模型，示例性定地，第一类cdc网络模型的指定分辨率可以为128*128。
29.s102、根据第一类cdc网络模型对红外图像样本的类型进行识别。
30.在本技术实施例中，第一类cdc网络模型是对现有的cdcn模型结构进行轻量化改
进后得到，其具有参数量少、网络结构简单、运算速度快的优势，并且相较于cdcn模型要求的256*256分辨率，其指定图像分辨率也更低。示例性地，该第一类cdc网络模型的结构示意图如图2所示。在第一类cdc网络模型中包括有两个特征提取模块和一个多尺度空间注意力模块。
31.s103、根据识别处理结果输出红外图像样本的类型。
32.本技术实施例中，红外图像样本的类型包括攻击图像或真实图像。以红外图像样本为掌静脉手掌图像为例，真实图像可以理解为基于红外摄像头采集到的关于真实手掌的掌静脉的图像，攻击图像可以理解为红外摄像头采集到的在a4纸上打印的手掌掌静脉的图像。
33.在本技术实施例中，获取红外样本图像后，基于第一类cdc网络模型对红外图像样本进行识别处理，由于该第一类cdc网络模型包括两个特征提取模块和一个多尺度空间注意力模块，并且，该第一类cdc网络模型指定了输入的红外图像样本的分辨率，相比现有的网络模型结构，具有轻量的结构优势，因此，可以以较少的运算量快速识别出红外样本图像的类型，在低算力场景下具有较好的优势。
34.在本技术实施例中，第一类cdc网络模型包含的两个特征提取模块可具体划分为第一特征提取模块(即为图2中的block_h)和第二特征提取模块(图2中的block_l)。如图2所示，该第一特征提取模块的输入端与第一卷积层模块连接，第一卷积层对获取的红外图像样本进行卷积处理后输出至第一特征提取模块，第一特征提取模块基于其内部包含的卷积层对输入的红外图像样本进行特征处理。
35.示例性地，如图2所示，该第一特征提取模块还连接有第一处理模块，第一处理模块，用于对第一特征提取模块处理后的红外图像样本进行第一次分辨率处理，在本技术实施例中，将第一处理模块处理后得到的图像样本标记为第一红外图像样本。进一步地，该第一处理模块可以与第二特征提取模块的输入端连接，第二特征提取模块内部同样包含有卷积层，其可以基于内部包含的卷积层对第一红外图像样本进行特征处理。第二特征提取模块与第二处理模块连接，第二处理模块用于对第二特征提取模块处理后的红外图像样本进行第二次分辨率处理，将这一处理过程后得到的图像样本标注为第二红外图像样本。
36.示例性地，如表1所示，为第一类cdc网络模型中两个特征提取模块包含的网络结构层、每层输出的图像分辨率大小以及每层的参数量大小。其中，参数量大小具体涉及到参数量的最大值和最小值，例如，参数量为(103,680)、(165,888)等。可以理解的是，表1中每个网络结构层的输出分辨率大小即为下一个网络结构层的输入分辨率大小。
37.表1
[0038][0039][0040]
从表1中可以看出，第一特征提取模块和第二特征提取模块均包含有三个卷积层(即convcdc)。
[0041]
在一种示例中，上述步骤s102中根据第一类cdc网络模型对红外图像样本的类型进行识别的过程可以包括：以降采样和聚集的方式基于第一类cdc网络模型对红外图像样
本的类型进行识别。
[0042]
具体地，该过程可以基于第一类cdc网络模型中的多尺度空间注意力模块实现，例如，多尺度空间注意力模块对第一处理模块输出的第一红外图像样本进行降采样，并将降采样后的图像样本与第二处理模块输出的第二红外图像样本进行聚集。如图2所示，多尺度空间注意力模块对第一红外图像样本中的高分辨率特征(即80*64*64)进行降采样，并将第二红外图像样本中的低分辨率特征(80*32*32)进行聚集。
[0043]
如图2所示，上述第一类cdc网络模型还可以包括连接层模块、第二卷积层模块和压缩层模块。其中，连接层模块用于对多尺度注意力模块输出的红外图像样本进行拼接，如图2所示，基于连接层模块得到160*32*32的红外图像样本，再由第二卷积层模块对连接层模块拼接后的红外图像样本进行卷积处理。其中，第一卷积层模块和第二卷积层模块设置的网络结构参数可以相同，例如，均设置为3*3卷积核，那么两个卷积层模块输出的图像维度均为80。压缩层模块用于对第二卷积层模块卷积处理后的红外图像进行降维处理。从图2中可以看出，输入的红外图像样本为3*128*128，经过第一类cdc网络模处理后，输出的红外图像样本为1*32*32，其维度和分辨率均有所降低。
[0044]
在一种示例中，上述第一卷积层模块和第二卷积层模块中的计算方式可以如下所示：
[0045][0046]
其中，θ为超参数，其取值范围为[0,1]，该参数可以用于均衡图像等级和灰度等级信息之间的权重，x为在局部区域r上采样的红外图像样本的特征，r＝{(-1，-1)，(-1,0)，
……
，(0,1)，(1,1)}，po表示输入特征和输出特征当前位置映射关系，pn表示r中的特征位置，w为权重值。在本技术实施例提供的第一类cdc网络模型中，可以将θ的取值设定为0.7，这样对于掌静脉图像等活体图像可以具有更好的识别效果。
[0047]
在一种示例中，对于上述第一类cdc模型，可以设计均方误差损失(mean squared error，mse)函数和对比深度损失函数两种损失函数作为目标函数，对得到的图像样本做进一步的优化处理。其中，均方误差损失函数可以进行逐像素监督，用于衡量输出预测标签和真实标签之间的差异，具体表达式如下所示：
[0048][0049]
其中，上述公式中的n表示训练集中的红外图像样本数，d
p
表示预测标签输出结果，dg表示真实标签输出结果。
[0050]
对比深度损失函数可以用来提高网络模型的学习效果，其表达式可以如下所示：
[0051][0052]
该损失函数可以采用8种不同的核描述不同的方向，其中，公式中的d
p
表示预测标签输出结果，dg表示真实标签输出结果，k
icdl
表示第i个对比卷积核。
[0053]
因而，目标函数loss的表达式即为
[0054]
loss＝l
mse
+l
cdl
[0055]
其中，l
mse
表示均方误差损失函数，l
cdl
表示对比深度损失函数。
[0056]
如图3所示，为红外图像样本为掌静脉图像的情况下，第一类cdc网络模型针对攻击图像和真实图像两种不同类型的图像样本的识别结果，该识别结果以可视化的形式呈现出网络模型中不同网络结构层的输出结果和最终的预测结果。可以看出，在靠近网络输出侧时，真实图像和攻击图像的输出较为相似，例如，在第一特征提取模块部分，真实图像和攻击图像的输出结果较为统一，但在更深层的语义结构，即靠近网络模型输出侧时，真实图像和攻击图像的差异则较大。例如，在第二特征提取模块部分，真实图像特征的响应集中在手掌区域，而攻击图像的响应则比较随机。并且，在最后的预测结果中，攻击图像是全黑，而真实图像则为手掌区域。其中，图3中存在部分区域缺失，是由于在具体的识别、训练过程中，采用了随机裁切图像增强方法。
[0057]
可选地，在本技术实施例中，基于第一类cdc网络模型对红外图像样本进行识别之前，还可以对红外图像样本进行预处理，该预处理方法可以包括限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization，clahe)算法或伽马(gamma)矫正算法。其中，clahe算法用于锐化图像中的边缘部分，例如，锐化静脉和手掌形状等；gamma算法用于增加图像亮度，比如，通过使用输入值和输出值之间的非线性变化更改图像的亮度。
[0058]
下面以具体示例对上述第一类cdc网络模型的性能进行验证，具体验证的红外图像样本可以同时包含攻击图像和真实图像，基于两种不同类型的图像样本判断第一类cdc网络模型的运算效率和识别精度。进一步地，攻击图像还可以包括直接打印的图像和剪裁后的图像，以掌静脉图像为例，可以使用clahe算法对图像进行预处理，并将预处理后的图像进行打印，如图4a和图4b所示为几种不同预处理方式后得到的攻击图像样本，其中，图4a为预处理后直接打印的图像，图4b为剪裁后只包含手掌区域的图像，图4a和图4b中的clahel和claheh表示该算法中使用两种不同的参数，其中，clahel表示使用较小的参数，claheh表示使用较大的参数，例如，claheh方法中设置的参数是clip limit＝0.01，kernel size＝20，clahel方法中设置的参数是clip limit＝0.005，kernel size＝8。
[0059]
表2为基于几种不同处理方式得到的红外图像样本集，基于多种不同类型的样本可以更加全面、准确地判断第一类cdc网络模型的性能。
[0060]
表2
[0061][0062][0063]
其中，表2中的上述三种算法处理方式可以表示该样本包括原始图像、基于clahe_l算法处理后的图像，以及基于clahe_h算法处理后的图像，表2中真实样本的数量相比于与攻击样本的数量，更少一些，这是因为真实样本只有一类，而基于不同的预处理方式和攻击方法可以得到多种不同的攻击样本。如表2所示，处理方式可以包括原始图像(即未处理)、基于clahe_l算法处理后的图像，以及基于clahe_h算法处理后的图像这三种方式，攻击方法可以包括打印图像和剪裁图像这两种方式。
[0064]
表3为基于表2中所列出的各类样本在第一类cdc网络模型和传统cdcn网络模型中进行训练、识别，得到的两种网络模型的性能比较结果。
[0065]
表3
[0066]
网络模型准确率平均分类错误率耗时(ms)参数量第一类cdc网络96.470.0452100728004cdcn(128*128)73.140.268711003533014cdcn(256*256)78.23.0135320003533014
[0067]
基于表3可以看出，第一类cdc网络模型的参数量约为传统cdcn网络模型参数量的20％。在运算速度方面，对于相同分辨率的图像(即128*128)，第一类cdc网络模型的耗时为100ms，cdcn网络模型的耗时为1100ms，而在图像分辨率为256*256的情况下，cdcn网络模型的耗时为2000ms。并且，从准确率方面来看，第一类cdc网络模型的准确率为96.47，远高于cdcn网络模型的识别准确率。因此，无论对于哪种类型的输入样本，第一类cdc网络模型在保证识别速度的情况下，相比于现有的cdcn网络，具有更高的准确率。
[0068]
图5为本技术实施例提供的一种基于网络模型的图像识别装置的结构示意图，如
图5所示，该装置包括：获取模块501、处理模块502、输出模块503；
[0069]
获取模块，用于获取红外图像样本；
[0070]
处理模块，用于根据第一类cdc网络模型对红外图像样本的类型进行识别；
[0071]
输出模块，用于根据识别处理结果输出红外图像样本的类型；
[0072]
其中，红外样本图像的分辨率为第一类cdc网络模型的指定分辨率，第一类cdc网络模型包括两个特征提取模块和一个多尺度空间注意力模块，红外图像样本的类型包括攻击图像或真实图像。
[0073]
可选地，上述指定分辨率为128*128。
[0074]
在一种示例中，处理模块，用于以降采样和聚集的方式基于第一类cdc网络模型对红外图像样本的类型进行识别。
[0075]
示例性地，上述两个特征提取模块包括第一特征提取模块和第二特征提取模块，第一特征提取模块和第二特征提取模块均包含三个卷积层；
[0076]
第一特征提取模块用于基于包含的卷积层对输入的红外图像样本进行特征处理，其中，输入的红外图像样本为第一特征提取模块输入端连接的第一卷积层模块对获取的红外图像样本进行卷积处理后得到的；
[0077]
第一特征提取模块与第一处理模块连接，第一处理模块用于对第一特征提取模块处理后的红外图像样本进行第一次分辨率处理，得到第一红外图像样本。
[0078]
示例性地，第二特征提取模块可以与第二处理模块连接，第二特征提取模块用于基于包含的卷积层对第一红外图像样本进行特征处理；
[0079]
第二处理模块用于对第二特征提取模块处理后的红外图像样本进行第二次分辨率处理，得到第二红外图像样本。
[0080]
在一种示例中，多尺度空间注意力模块，用于对第一红外图像样本进行降采样，并将降采样后的图像样本与第二红外图像样本进行聚集。
[0081]
在一种示例中，上述第一类cdc网络模型还包括连接层模块、第二卷积层模块和压缩层模块；
[0082]
其中，连接层模块用于对多尺度空间注意力模块输出的红外图像样本进行拼接；
[0083]
第二卷积层模块用于对连接层模块拼接后的红外图像样本进行卷积处理；
[0084]
压缩层模块用于对第二卷积层模块卷积处理后的红外图像进行降维处理。
[0085]
上述基于网络模型的图像识别装置可以执行图1所提供的基于网络模型的图像识别方法，具备该方法中相应的器件和有益效果。
[0086]
图6为本技术实施例提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括控制器601、存储器602、输入装置603、输出装置604；计算机设备中控制器601的数量可以是一个或多个，图6中以一个控制器601为例；计算机设备中的控制器601、存储器602、输入装置603和输出装置604可以通过总线或其他方式连接，图6中以通过总线连接为例。
[0087]
存储器602作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如图1实施例中的基于网络模型的图像识别方法对应的程序指令/模块(例如，基于网络模型的图像识别装置的获取模块501、处理模块502、输出模块503)。控制器601通过运行存储在存储器602中的程序指令，从而执行计算机设备的各种功能以及数据处理，即
实现上述基于网络模型的图像识别方法。
[0088]
存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器602可进一步包括相对于控制器601远程设置的存储器，这些远程存储器可以通过网络连接至终端/服务器。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0089]
输入装置603可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置604可包括显示屏等显示装置。
[0090]
本技术实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机控制器执行时用于执行图1所示的基于网络模型的图像识别方法。
[0091]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本技术可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0092]
值得注意的是，上述基于网络模型的图像识别装置中所包括的模块只是按照功能逻辑进行划分，但并不局限于上述的划分方式，只要能够实现相应的功能即可，不用于限制本技术的保护范围。
[0093]
注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。