一种多模态生物特征融合方法及装置与流程

本发明涉及人工智能领域，尤其涉及一种多模态生物特征融合方法及装置。

背景技术：

目前，随着信息技术的不断发展，生物特征联合识别技术已经在金融支付等领域被广泛地用于个人身份识别认证。但实际上利用单一生物特征进行身份识别认证的方法，其在准确性、安全性等方面都存在很多的不足之处。例如，在人脸因为化妆、受伤等原因发生改变，或者声音受到环境噪声的影响等情况下会影响识别的准确性。另外，仿真头套、全息投影、人脸跟踪等高科技手段的出现，也严重影响着单一生物特征联合识别技术的安全性。

技术实现要素：

本发明提供一种多模态生物特征融合方法及装置，能够利用多种生物特征对待识别用户的身份进行识别。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供一种多模态生物特征融合方法，包括：获取待识别用户的至少两种生物特征；分别提取所述至少两种生物特征中所包含生物特征的特征参数；对所述至少两种生物特征所包含生物特征的特征参数进行归一化处理；对进行归一化处理后的生物特征的特征参数进行加权融合，生成融合特征参数；根据所述融合特征参数，利用卷积神经网络对所述待识别用户的身份进行识别。

可选的，对所述至少两种生物特征所包含生物特征的特征参数进行归一化处理，具体包括：

利用以下公式(1)对所述至少两种生物特征所包含生物特征进行归一化处理：

其中，xnew表示归一化处理后的目标生物特征的特征参数，x表示未归一化处理之前所述目标生物特征的特征参数，μ表示所述目标生物特征的特征参数的均值，δ表示所述目标生物特征的特征参数的标准差；所述目标生物特征为所述至少两种生物特征中的一种。

可选的，所述至少两种生物特征包括第一生物特征和第二生物特征；在对进行归一化处理后的生物特征的特征参数进行加权融合，生成融合特征参数之前，所述方法还包括：在0至1之间选择等步长的n个数值；依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率；确定计算结果中识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值；所述对进行归一化处理后的生物特征的特征参数进行加权融合，生成融合特征参数，具体包括：根据所述识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值，对进行归一化处理后的第一生物特征的特征参数和进行归一化处理后的第二生物特征的特征参数进行加权融合。

可选的，所述依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率，具体包括：利用以下公式(2)计算当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时的述识别准确率：

其中，r表示识别准确率，l表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时有访问权限用户的总访问次数，r表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时无访问权限用户的总访问次数，lr为有访问权限用户被拒绝访问的次数，fr为无访问权限用户被允许访问的次数。

可选的，所述至少两种生物特征包括第一生物特征和第二生物特征；所述第一生物特征为人脸特征，所述第二生物特征为声纹特征；所述分别提取所述至少两种生物特征中所包含生物特征的特征参数，具体包括：利用卷积神经网络，提取所述待识别用户的人脸特征的特征参数；利用梅尔频率倒谱系数mfcc，提取所述待识别用户的声纹特征的特征参数。

第二方面，本发明实施例提供一种多模态生物特征融合装置，包括：获取单元，用于获取待识别用户的至少两种生物特征；参数提取单元，用于在所述获取单元获取待识别用户的至少两种生物特征之后，分别提取所述至少两种生物特征中所包含生物特征的特征参数；预处理单元，用于在所述参数提取单元分别提取所述至少两种生物特征中所包含生物特征的特征参数之后，对所述至少两种生物特征所包含生物特征的特征参数进行归一化处理；参数融合单元，用于在所述预处理单元对所述至少两种生物特征所包含生物特征的特征参数进行归一化处理之后，对进行归一化处理后的生物特征的特征参数进行加权融合，生成融合特征参数；识别单元，用于在所述参数融合单元生成融合特征参数之后，根据所述融合特征参数，利用卷积神经网络对所述待识别用户的身份进行识别。

可选的，所述预处理单元，具体用于利用以下公式(1)对所述至少两种生物特征所包含生物特征进行归一化处理：

其中，xnew表示归一化处理后的目标生物特征的特征参数，x表示未归一化处理之前所述目标生物特征的特征参数，μ表示所述目标生物特征的特征参数的均值，δ表示所述目标生物特征的特征参数的标准差；所述目标生物特征为所述至少两种生物特征中的一种。

可选的，所述至少两种生物特征包括第一生物特征和第二生物特征；所述多模态生物特征融合装置还包括权值计算单元；所述权值计算单元，用于在0至1之间选择等步长的n个数值；依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率；确定计算结果中识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值；所述参数融合单元，具体用于根据所述识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值，对进行归一化处理后的第一生物特征的特征参数和进行归一化处理后的第二生物特征的特征参数进行加权融合。

可选的，所述依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率，具体包括：利用以下公式(2)计算当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时的述识别准确率：

其中，r表示识别准确率，l表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时有访问权限用户的总访问次数，r表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时无访问权限用户的总访问次数，lr为有访问权限用户被拒绝访问的次数，fr为无访问权限用户被允许访问的次数。

可选的，所述至少两种生物特征包括第一生物特征和第二生物特征；所述第一生物特征为人脸特征，所述第二生物特征为声纹特征；所述参数提取单元，具体用于利用卷积神经网络，提取所述待识别用户的人脸特征的特征参数；以及利用梅尔频率倒谱系数mfcc，提取所述待识别用户的声纹特征的特征参数。

本发明实施例中在获取到待识别用户的多种生物特征之后，首先分别提取每种生物特征的特征参数，然后将多种生物特征的特征参数进行归一化，使不同生物特征的特征参数处于同一量纲下，便于对多种生物特征的特征参数进行融合。在将多种生物特征的特征参数进行归一化之后，本发明还通过加权融合的方式生成多种生物特征的融合特征参数，并根据融合特征参数利用卷积神经网络对待识别用户的身份进行识别，从而实现了利用卷积神经网络的机器学习方法对多种生物特征进行综合分析并完成识别的技术效果，最终达到利用多种生物特征进行生物识别的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多模态生物特征融合方法的流程示意图；

图2为本发明实施例提供的一种多模态生物特征融合方法的实施流程示意图；

图3为本发明实施例提供的一种多模态生物特征融合装置的结构示意图；

图4为本发明实施例提供的另一种多模态生物特征融合装置的结构示意图；

图5为本发明实施例提供的又一种多模态生物特征融合装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如本发明所使用的术语“单元”、“模块”旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，单元可以是，但不限于是：在处理器上运行的处理对象、处理器、可执行文件、执行中的线程、程序和/或计算机。

首先，对本发明的发明原理进行介绍：为了提高生物特征识别的准确性和安全性，本发明中采用了多模态生物特征融合的方法来对待识别用户的身份进行识别。具体的，为了实现同时利用多种生物特征联合对用户身份进行识别的效果，本发明中通过在提取多种生物特征各自的特征参数之后先对特征参数进行归一化，再将归一化后的特征参数进行加权融合，从而生成能够反映多种生物特征的融合特征参数。然后再利用生成的融合特征参数，通过卷积神经网络对待识别用户的身份进行识别。从而实现了同时利用多种生物特征联合对用户身份进行识别的效果。

基于上述发明原理，本发明实施例提供一种多模态生物特征融合方法，如图1所示，该方法包括：

s101、获取待识别用户的至少两种生物特征。

具体的，待识别用户的至少两种生物特征可以包括：人脸、声纹、指纹、虹膜等特征中的任意两项。

s102、分别提取至少两种生物特征中所包含生物特征的特征参数。

在一种实现方式中，本发明中所称至少两种生物特征可以为人脸特征和声纹特征。

其中为了更加快捷、有效的提取人脸特征的特征参数，本发明中采用利用卷积神经网络通过逐层卷积降维提取人脸特征的特征参数。

具体的，卷积神经网络作为一种深度机器学习模型，通过多次训练数据学习得到特征提取参数，一方面通过神经元的非全连接方式即稀疏性连接方式，将相邻每层的神经元节点只与它相近的上一层神经元节点链接，有效地减少了神经网络中的参数规模；另一方面通过权值共享方式降低了网络复杂度，减少了网络参数。

卷积神经网络特征提取的核心模块包括隐含的卷积层和池化采样层，采用梯度下降算法对网络中的权重参数逐层反向调节，并通过设置迭代次数反复训练网络参数以提高网络精度。其中，卷积层与池化采样层是交替连接的。最高层是两个全连接层，第一个全连接层的输入是由卷积层和池化层进行特征提取得到的特征图像，最后一层全连接对图像进行分类。

卷积神经网络的结构包括：卷积层、池化层和全连接层，每一层包含多个特征图，每个特征图通过过滤器(卷积核)提取特征。在卷积层中，进行卷积计算可以提取输入数据的高层次特征，从而增强原始数据的特征，并且能够有效降低噪音。池化层通过最大池化或平均池化对图像进行下采样，这样可以减少模型的计算量，还能抵抗输入的轻微形变或位移，使图像具有旋转不变性；由于当某个特征找出来后，只需要知道这个特征与其它特征的相对位置而不必清楚它的具体位置在哪里就可以对图像进行识别。卷积层和池化层是图像特征提取的过程，最后通过全连接层完成分类任务(全连接层跟bp神经网络一样)。

利用卷积神经网络通过逐层卷积降维提取人脸特征，并通过多层非线性映射，从原始样本(未经处理的样本)中经过多次迭代训练，自动学习修正模型参数并形成相应的特征提取器，这样能够降低模型对训练样本的要求，并且网络的层数越多，就更能学习到样本的全局特征。同时，通过卷积和池化计算得到的图像特征不容易产生过拟合。

另外，本发明实施例中在提取声纹特征的特征参数时，采用利用mfcc(melfrequencycepstrumcoefficient，梅尔频率倒谱系数)来提取待识别用户的声纹特征的特征参数。具体包括以下步骤：

1)对采集到的语音信号进行预加重。

具体的，将语音信号通过一个如下公式(3)所示的高通滤波器：

h(z)＝1-μz^-1(3)

其中表示预加重系数，取值范围为0.9～1。经过预加重处理后语音信号中的高频部分得以提高。

2)将预加重后的语音信号按照每n个采集点集合成一个观测单位，即一个帧。由于语音信号在短时间内平稳，所以可以将其以每帧20～30ms的时间分段截取。为了避免相邻两帧的变化过大，因此会让两相邻帧之间有一段重叠区域。

3)将每一帧的语音信号乘以汉明窗(hammingwindow)，以降低语音帧的边缘效应、增加帧左端和右端的连续性。

4)由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。本发明中在乘上汉明窗后还对每一帧语音信号进行快速傅里叶变换fft以得到在频谱上的能量分布。将语音信号从时域上转换到频域上表示，通过观察频谱图，了解能量分布情况，以更好地观察其特性。

5)将mfcc特征语音频谱通过一组mel尺度的三角形滤波器组，使频谱平滑化，并避免谐波的影响，突显原来语音的共振峰，除此之外，还可以降低运算量。

6)对数能量计算。将上述步骤5)中的每个滤波器组的输出进行对数运算，得到对数能量谱。

7)离散余弦变换(dct)。通过对上述得到的对数能量谱进行dct变换得到mfcc系数，使语音信号从频域转化的时域，从而可以得到mfcc特征。

8)动态差分参数的提取。语音信号除了mfcc反映的静态特征外，还包含动态特性。因此本发明中还采用mfcc的差分谱描述语音信号的动态特性，具体的可以采用mfcc的一阶差分和二阶差分来反映语音信号的动态特征。

在提取完各种生物特征的特征参数之后，本实施例还包括：

s103、对至少两种生物特征所包含生物特征的特征参数进行归一化处理。

具体的，本发明中采用了将多种生物特征相融合并根据多种生物特征综合识别身份的方法来对待识别用户进行识别的。但由于不同的生物特征属于不同的生物模态，其提取的过程是相对独立的并且提取的方法也有所不同。因此为了将多种生物特征的特征参数能够进行融合，本发明首先需要对至少两种生物特征所包含生物特征的特征参数进行归一化处理。

在一种实现方式中，步骤s103具体包括：利用以下公式(1)对所述至少两种生物特征所包含生物特征进行归一化处理：

其中，xnew表示归一化处理后的目标生物特征的特征参数，x表示未归一化处理之前所述目标生物特征的特征参数，μ表示所述目标生物特征的特征参数的均值，δ表示所述目标生物特征的特征参数的标准差；所述目标生物特征为所述至少两种生物特征中的一种。

通过上述方法能够使不同生物特征的特征参数处于同一量纲下，便于对多种生物特征的特征参数进行融合。

s104、在对多种生物特征的特征参数进行归一化处理后，对进行归一化处理后的生物特征的特征参数进行加权融合，生成融合特征参数。

具体的，以下以两种生物特征为例，假设至少两种生物特征中包括第一生物特征和第二生物特征。则在执行步骤s104之前，还可以执行以下步骤a-来计算不同生物特征的权值：

a、在0至1之间选择等步长的n个数值。

b、依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率。

例如，n个数值包括从0.1至0.9之间步长为0.1的数值。则第一生物特征的权值wf和第二生物特征的权值ws如下：

wf+ws＝1,wf＝0.1,0.2,…,0.9

也就是说，第一生物特征的权值与第二生物特征的权值是成反向变化的，即当第一生物特征的权值从0.1到0.9之间变化时，第二生物特征从0.9到0.1变化，并且当第一生物特征选定一个权值α时，所有类别的第一生物特征权值都为α，而所有第二生物特征的权值为1-α。

具体的，当所有第二生物特征权值经过0.1到0.9变化后，需要计算每个权值对应的识别准确率。具体的可以利用以下公式(2)计算当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时的述识别准确率：

其中，r表示识别准确率，l表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时有访问权限用户的总访问次数，r表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时无访问权限用户的总访问次数，lr为有访问权限用户被拒绝访问的次数，fr为无访问权限用户被允许访问的次数。

c、确定计算结果中识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值。

在计算出各生物特征的权值之后，即可利用计算出的权值对生物特征的特征参数进行加权融合，生成融合特征参数。

s105、根据所述融合特征参数，利用卷积神经网络对所述待识别用户的身份进行识别。

具体的，可以利用卷积神经网络中的全连接层进行特征分类识别。

以下结合附图，对本发明实施例所提供的多模态生物特征融合方法的具体实施进行介绍。假设在实施时选择人脸特征和声纹特征来对待识别用户进行识别。如图2所示，在获取人脸特征和声纹特征后，分别利用卷积神经网络(具体指卷积神经网络中出全连接层的卷积层和池化层)提取人脸特征的特征参数，其中特征参数可以为预设规格的矩阵。另外，还利用mfcc系数提取声纹特征的特征参数。然后对人脸特征的特征参数和声纹特征的特征参数进行归一化处理，并利用遍历加权算法计算融合特征参数。最后利用卷积神经网络(具体为卷积神经网络中的全连接层)完成待识别用户的身份进行识别。

本发明实施中，在获取到待识别用户的多种生物特征之后，首先分别提取每种生物特征的特征参数，然后将多种生物特征的特征参数进行归一化，使不同生物特征的特征参数处于同一量纲下，便于对多种生物特征的特征参数进行融合。在将多种生物特征的特征参数进行归一化之后，本发明还通过加权融合的方式生成多种生物特征的融合特征参数，并根据融合特征参数利用卷积神经网络对待识别用户的身份进行识别，从而实现了利用卷积神经网络的机器学习方法对多种生物特征进行综合分析并完成识别的技术效果，最终达到利用多种生物特征进行生物识别的目的。

实施例二：

本发明实施例提供一种多模态生物特征融合装置，该多模态生物特征融合装置用于执行上述多模态生物特征融合方法。如图3所示，为本发明实施例提供的多模态生物特征融合装置的一种可能的结构示意图。具体的，该多模态生物特征融合装置20包括：获取单元201、参数提取单元202、预处理单元203、参数融合单元204、识别单元205。其中：

获取单元201，用于获取待识别用户的至少两种生物特征；

参数提取单元202，用于在所述获取单元201获取待识别用户的至少两种生物特征之后，分别提取所述至少两种生物特征中所包含生物特征的特征参数；

预处理单元203，用于在所述参数提取单元202分别提取所述至少两种生物特征中所包含生物特征的特征参数之后，对所述至少两种生物特征所包含生物特征的特征参数进行归一化处理；

参数融合单元204，用于在所述预处理单元203对所述至少两种生物特征所包含生物特征的特征参数进行归一化处理之后，对进行归一化处理后的生物特征的特征参数进行加权融合，生成融合特征参数；

识别单元205，用于在所述参数融合单元204生成融合特征参数之后，根据所述融合特征参数，利用卷积神经网络对所述待识别用户的身份进行识别。

可选的，所述预处理单元203，具体用于利用以下公式(1)对所述至少两种生物特征所包含生物特征进行归一化处理：

其中，xnew表示归一化处理后的目标生物特征的特征参数，x表示未归一化处理之前所述目标生物特征的特征参数，μ表示所述目标生物特征的特征参数的均值，δ表示所述目标生物特征的特征参数的标准差；所述目标生物特征为所述至少两种生物特征中的一种。

可选的，所述至少两种生物特征包括第一生物特征和第二生物特征；所述多模态生物特征融合装置还包括权值计算单元206；

所述权值计算单元206，用于在0至1之间选择等步长的n个数值；依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率；确定计算结果中识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值；

所述参数融合单元204，具体用于根据所述识别准确率最高时所对应的所述第一生物特征的权值以及所述第二生物特征的权值，对进行归一化处理后的第一生物特征的特征参数和进行归一化处理后的第二生物特征的特征参数进行加权融合。

可选的，所述依次计算当所述第一生物特征的权值wf为所述n个数值中的一个数值并且所述第二生物特征的权值ws满足ws＝1-wf时的识别准确率，具体包括：利用以下公式(2)计算当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时的述识别准确率：

其中，r表示识别准确率，l表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时有访问权限用户的总访问次数，r表示当所述第一生物特征的权值为wf并且第二生物特征的权值为ws时无访问权限用户的总访问次数，lr为有访问权限用户被拒绝访问的次数，fr为无访问权限用户被允许访问的次数。

可选的，所述至少两种生物特征包括第一生物特征和第二生物特征；所述第一生物特征为人脸特征，所述第二生物特征为声纹特征；

所述参数提取单元202，具体用于利用卷积神经网络，提取所述待识别用户的人脸特征的特征参数；以及利用梅尔频率倒谱系数mfcc，提取所述待识别用户的声纹特征的特征参数。

本发明实施例中提供的多模态生物特征融合装置中各模块所的功能以及所产生的效果可以参照上述实施例一多模态生物特征融合方法中的对应的描述内容，在此不再赘述。

在采用集成的单元的情况下，图4示出了上述实施例中所涉及的多模态生物特征融合装置的一种可能的结构示意图。多模态生物特征融合装置30包括：处理模块301、通信模块302和存储模块303。处理模块301用于对多模态生物特征融合装置30的动作进行控制管理，例如，处理模块301用于支持多模态生物特征融合装置30执行图1中的过程s101-s105。通信模块302用于支持多模态生物特征融合装置与其他实体的通信。存储模块303用于存储多模态生物特征融合装置的程序代码和数据。

其中，处理模块301可以是处理器或控制器，例如可以是中央处理器(centralprocessingunit，cpu)，通用处理器，数字信号处理器(digitalsignalprocessor，dsp)，专用集成电路(application-specificintegratedcircuit，asic)，现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块302可以是收发器、收发电路或通信接口等。存储模块303可以是存储器。

当处理模块301为如图5所示的处理器，通信模块302为图5的收发器，存储模块303为图5的存储器时，本申请实施例所涉及的多模态生物特征融合装置可以为如下的模型训练装置40。

参照图5所示，该多模态生物特征融合装置40包括：处理器401、收发器402、存储器403和总线404。

其中，处理器401、收发器402、存储器403通过总线404相互连接；总线404可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器401可以是一个通用中央处理器(centralprocessingunit，cpu)，微处理器，特定应用集成电路(application-specificintegratedcircuit，asic)，或一个或多个用于控制本申请方案程序执行的集成电路。

存储器403可以是只读存储器(read-onlymemory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(randomaccessmemory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器402用于存储执行本申请方案的应用程序代码，并由处理器401来控制执行。收发器402用于接收外部设备输入的内容，处理器401用于执行存储器403中存储的应用程序代码，从而实现本申请实施例中所述多模态生物特征融合方法。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriberline，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。