本发明实施例涉及计算机模式识别技术领域，具体涉及一种说话人语音识别方法及装置。
背景技术
说话人识别在人机交互、身份认证以及信息检索等方面有着广阔的应用前景，它可以用于声控产业、门禁控制、身份验证、电话语音的侦控、语音数据流中的说话人检测等。另外，随着来自于互联网的数字音频数据的爆炸式增长，说话人识别在语音检索和信息获取中的应用也逐渐受到越来越多的关注。近年来，随着说话人识别技术的发展，基于实验室的，在特定条件下的说话人识别已经取得了较好的效果，但是离实际应用还有一定的差距。说话人识别技术还有一些问题趋待解决，如跨信道问题、背景噪声问题、短语音问题等。其中，相对于跨信道、背景噪声等问题，短语音说话人识别因为无法通过工程技术的手段和现有的语音信号处理方法进行弥补，所以解决的难度更大，成为制约说话人识别实用化的一个瓶颈。
目前，在说话人识别中应用最为广泛的说话人识别i-vector系统，其基于的gmm-ubm(混合高斯模型-背景模型模型)和gsv-svm(高斯均值超向量-支持向量机模型)都是建立在统计模型理论上的，因此要求训练和测试语音必须达到一定的长度,否则,系统性能将大幅度下降。已有很多研究论证了语音长度对识别性能的影响，同时也指出了相对于测试语音长度，训练语音长度对性能的影响更大。并且，目前语音识别领域最新的研究成果，在长语音说话人识别的应用中都取得了不错的效果，但是受语音长度的制约，这些方法都无法在短语音说话人识别中直接应用。语音的高层信息，包括音调、韵律和音长，这些描述说话人讲话方式的特征以及能反映说话人习惯特性的词汇、句法等，都需要大量的训练数据来获取，而在短语音的情况下，由于可获取的这些特征太少无法构成统计特性，所以也不能用于说话人识别。
与众多机器学习、模式识别的应用相似，说话人识别系统的性能很容易受到测试数据(即识别语音)的影响，研究表明：测试数据越长，说话人的识别效果越好。在实际的应用场景中，当识别语音长度在2分钟以上时，识别正确率接近99％。但是，语音作为一种日趋流行的人机交互手段，考虑到人机交五的友好性，在很多实际应用场合中都无法保证足够长度的语音信息。
鉴于此，如何有效地利用有限的语音数据进行说话人的身份确认与识别，以较好的适应各种场景应用成为目前需要解决的技术问题。
技术实现要素：
由于现有方法存在上述问题，本发明实施例提出一种说话人语音识别方法及装置。
第一方面，本发明实施例提出一种说话人语音识别方法，包括：
采集待识别的不同信道的说话人语音；
从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征；
根据所述待识别的高层语音级特征，获取待识别的身份特征向量；
从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
可选地，在从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果之前，所述方法还包括：
针对注册集中的每个样本说话人，采集不同信道的说话人语音样本；
从所采集的不同信道的说话人语音样本中提取样本说话人的高层语音级特征；
根据所述样本说话人的高层语音级特征，获取样本说话人的身份特征向量；
将注册集中的所有样本说话人的身份特征向量和注册集中的所有样本说话人的身份信息对应加入预先建立的说话人语音检索库中。
可选地，所述从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征，包括：
从所采集的待识别的不同信道的说话人语音中提取待识别的低层帧级特征；
利用门控循环单元gru模型，从所述待识别的低层帧级特征中提取待识别的高层语音级特征；
相应地，所述从所采集的不同信道的说话人语音样本中提取样本说话人的高层语音级特征，包括：
从所采集的不同信道的说话人语音样本中提取样本说话人的低层帧级特征；
利用gru模型，从所述样本说话人的低层帧级特征中提取样本说话人的高层语音级特征。
可选地，所述低层帧级特征为fbank特征。
可选地，所述根据所述待识别的高层语音级特征，获取待识别的身份特征向量，包括：
利用变换函数，将所述待识别的高层语音级特征转换为待识别的身份特征向量；
其中，所述变换函数是通过深度残差网络结构的深度残差网络rescnn模型学习并采用说话人身份子空间损失函数监督训练优化后得到的；所述变换函数用于将高层语音级特征变换到与通道无关的身份空间，所述身份特征向量为高层语音级特征对应的语音在身份空间中的唯一身份标识；
相应地，所述根据所述样本说话人的高层语音级特征，获取样本说话人的身份特征向量，包括：
利用变换函数，将所述样本说话人的高层语音级特征转换为样本说话人的身份特征向量。
可选地，所述从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，包括：
利用余弦相似度度量方法，从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量。
第二方面，本发明实施例还提出一种说话人语音识别装置，包括：
第一采集模块，用于采集待识别的不同信道的说话人语音；
第一提取模块，用于从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征；
第一获取模块，用于根据所述待识别的高层语音级特征，获取待识别的身份特征向量；
查找模块，用于从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
可选地，所述装置还包括：
第二采集模块，用于针对注册集中的每个样本说话人，采集不同信道的说话人语音样本；
第二提取模块，用于从所采集的不同信道的说话人语音样本中提取样本说话人的高层语音级特征；
第二获取模块，用于根据所述样本说话人的高层语音级特征，获取样本说话人的身份特征向量；
加入模块，用于将注册集中的所有样本说话人的身份特征向量和注册集中的所有样本说话人的身份信息对应加入预先建立的说话人语音检索库中。
第三方面，本发明实施例还提出一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
由上述技术方案可知，本发明实施例提供的一种说话人语音识别方法及装置，通过从采集的待识别的不同信道的说话人语音中提取待识别的高层语音级特征，根据待识别的高层语音级特征，获取待识别的身份特征向量，从预先建立的说话人语音检索库中查找与待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果，由此，能够将不同信道的高层语音级特征变换到一个与通道无关的身份空间中，从而去除通道因素的影响，并在身份空间中，完成对说话人的识别，可以有效地利用有限的语音数据进行说话人的身份确认与识别，较好的适应各种场景应用，识别结果准确性高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种说话人语音识别方法的流程示意图；
图2为本发明一实施例提供的一种说话人语音识别装置的结构示意图；
图3为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种说话人语音识别方法的流程示意图，如图1所示，本实施例的说话人语音识别方法，包括：
s1、采集待识别的不同信道的说话人语音。
在具体应用中，举例来说，可以通过安装有动圈式麦克风、电容式麦克风和微机电麦克风三种型号的麦克风，采集同一说话人不同信道的语音，模拟实际语音环境。
s2、从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征。
s3、根据所述待识别的高层语音级特征，获取待识别的身份特征向量。
s4、从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
本实施例的说话人语音识别方法，通过从采集的待识别的不同信道的说话人语音中提取待识别的高层语音级特征，根据待识别的高层语音级特征，获取待识别的身份特征向量，从预先建立的说话人语音检索库中查找与待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果，由此，能够将不同信道的高层语音级特征变换到一个与通道无关的身份空间中，从而去除通道因素的影响，并在身份空间中，完成对说话人的识别，可以有效地利用有限的语音数据进行说话人的身份确认与识别，较好的适应各种场景应用，识别结果准确性高。本实施例在识别过程中，只需进行简单的代数运算，因此计算过程简单，时间复杂度很低，并且对识别的语音类别数没有限制，具有很强的通用性和大规模扩展性。
进一步地，在上述实施例的基础上，在所述步骤s4之前，所述方法还可以包括图中未示出的步骤p1-p4：
p1、针对注册集中的每个样本说话人，采集不同信道的说话人语音样本。
p2、从所采集的不同信道的说话人语音样本中提取样本说话人的高层语音级特征。
p3、根据所述样本说话人的高层语音级特征，获取样本说话人的身份特征向量。
p4、将注册集中的所有样本说话人的身份特征向量和注册集中的所有样本说话人的身份信息对应加入预先建立的说话人语音检索库中。
由此，能够得到所述步骤s4中使用的预先建立的说话人语音检索库。
进一步地，在上述实施例的基础上，本实施例所述步骤s2，可以包括图中未示出的步骤s21-s22：
s21、从所采集的待识别的不同信道的说话人语音中提取待识别的低层帧级特征；
在具体应用中，可以根据预设帧长(例如25ms的帧长等)和预设帧移(例如10ms的帧移等)，从所采集的待识别的不同信道的说话人语音中提取帧级特征，并采用vad(语音激活检测)对提取的帧级特征进行静音操作，获得待识别的低层帧级特征。
在具体应用中，本实施例中的低层帧级特征可以为fbank特征。
s22、利用gru(门控循环单元)模型，从所述待识别的低层帧级特征中提取待识别的高层语音级特征；
可以理解的是，单向gru是lstm(长短期记忆网络)的一个变体，gru主要包含更新门和重置门这两个门，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，重置门用于控制忽略前一时刻的状态信息的程度。为了保持说话人的说话风格，本实施例可以只取gru最后一个输出作为高层语音级特征，而非将所有输出作平均。在具体应用中，举例来说，本实施例利用的gru模型参数可以参考如下表1。
表1
其中卷积层用来降低频域和时域的维度，数字归一化用来降低类内方差的飘移。
相应地，所述步骤p2，可以包括：
p21、从所采集的不同信道的说话人语音样本中提取样本说话人的低层帧级特征；
同上，在具体应用中，可以根据预设帧长和预设帧移，从所采集的不同信道的说话人语音样本中提取样本说话人的帧级特征，并采用vad对提取的样本说话人的帧级特征进行静音操作，获得样本说话人的低层帧级特征。
p22、利用gru模型，从所述样本说话人的低层帧级特征中提取样本说话人的高层语音级特征。
可以理解的是，单向gru作为学习时序特征的模型，它在保持lstm能很好地处理远距离依赖优点的同时，结构更加简单，计算更加高效。
进一步地，在上述实施例的基础上，本实施例所述步骤s3，可以包括：
利用变换函数，将所述待识别的高层语音级特征转换为待识别的身份特征向量；
其中，所述变换函数是通过rescnn(深度残差网络结构的深度残差网络)模型学习并采用说话人身份子空间损失函数监督训练优化后得到的；所述变换函数用于将高层语音级特征变换到与通道无关的身份空间，所述身份特征向量为高层语音级特征对应的语音在身份空间中的唯一身份标识；
相应地，本实施例所述步骤p3，可以包括：
利用变换函数，将所述样本说话人的高层语音级特征转换为样本说话人的身份特征向量。
可以理解的是，rescnn模型是resnet(深度残差网络)网络和cnn(卷积神经网络)模型的结合。卷积神经网络cnn是一种部分连接的网络，并且通过结构中的降采样操作能够大幅度减少参数量。相比全连接神经网络，cnn具有更好的局部特性。一个卷积层和一个池化层构成了一个基本组合对，卷积神经网络通常包含一个或者多个这样的组合对。卷积层通过部分连接，使得卷积层的输入只有一小部分同输出节点相连。池化层在指定的窗口内通过一定规则选择某些值进行输出，这样的操作增加了对特征位置移动的容忍度，获得信号的平移不变性。cnn在局部特征建模方面表现出优异的性能。由于随着网络加深，模型变得越来越难训练。为了减轻网络的训练，resnet网络的思想应运而生。本实施例将resnet结构引入到cnn模型中，构成rescnn模型来减轻模型的训练。
可以理解的是，说话人识别方法的训练一般是缩小同一说话人语音向量间的距离，拉大不同说话人语音间的距离。本实施例采用说话人身份子空间损失函数监督模型的训练优化，假设同一说话人采集自不同信道的语音，可以看做是从身份空间中一个点的变换而来的，而这个点在身份空间中独一无二。这种变换函数可以表示成：
hi＝γ(θ,xij)+ζij
其中，hi表示第i个说话人的身份特征向量，即人在通道无关的身份空间中的唯一身份标识，γ表示变换函数，θ表示变换函数的参数，xij表示第i个说话人的第j条语音，ζij表示背景噪音项。在本实施例中，γ是指rescnn模型，θ表示rescnn模型的参数，hi正交初始化并随着网络一起更新。
由于背景噪音项ζij的存在，只能获取估计的身份特征向量
在本实施例中
其中，n表示语音条数，m表示说话人数，ni表示第i个说话人的的语音条数。由于以上方法经常容易过饱和，泛化能力较差，所以我们加入了局部一致性约束，即说话人身份特征向量的距离关系和采集空间中的语音距离一致。通过最小化以下的能量函数caccordance来实现此目标：
其中，hp表示说话人p的身份特征向量，hq表示说话人q的身份特征向量，rpq表示说话人p和q的位置关系，其表达式如下：
其中，xp表示第p个说话人的语音，xq表示第q个说话人的语音，ns(xp)表示xp的s个最近邻，ns(xq)表示xq的s个最近邻，dp表示xp到其第r个最近邻的距离，dq表示xq到其第r个最近邻的距离，s和r均表示最近邻数。
总体来看，说话人子空间损失的目标函数可以看做是lbasic和caccordance的加权和，表达式如下：
其中，λ表示caccordance的权重系数。
在具体应用中，所述变换函数的训练可以离线操作，利用所述变换函数可将高层语音级特征转换为身份特征向量。
进一步地，在上述实施例的基础上，本实施例所述步骤s4中的“从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量”，可以包括：
利用余弦相似度度量方法，从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量。
具体地，可以利用余弦相似度度量方法，通过下述公式，计算预先建立的说话人语音检索库中身份特征向量与待识别的身份特征向量的相似度(即余弦相似度)：
cos(hi,hj)＝hithj/(‖hi‖2×||hj||2)
其中，hi表示第i个说话人的身份特征向量，hj表示预先建立的说话人语音检索库中第j个说话人的身份特征向量。
相比于目前流行的端到端说话人识别方法，本实施例所述方法能够基于深度度量学习进行短语音说话人的识别，性能更加优秀，并且具有良好的通道鲁棒性。通过实验在短语料数据库上测试了本实施例所述方法的性能。短语料数据库中包含一共968个说话人，3个语音通道，35,984条语音，每条语音时长在2s-5s间。本实验随意选取100个说话人的语音作评测集，其余的作训练集，并分别测试了2s、3s、5s、8s四种语音长度下方法的性能。实验结果情况如下表2，表2为短语音说话人识别方法在不同时长下的识别性能，其中，sof表示传统的损失函数方法softmax，sis表示本实施例中提出的新损失方法——说话人子空间损失，sof+sis表示以上两个损失函数sof和sis结合使用，ave表示目前流行的端到端方法(将帧级特征平均获得语音级特征)，gru表示本实施例提出的方法。
表2
实验显示，本实施例所述方法较当前流行的识别方法在性能上有明显提升，新的损失函数能监督模型学习到更具区分性的身份特征向量，而且，对于短语音模型训练来说，5s的时长相对足够了。虽然随着长度增长，识别性能也提高，但是计算量也大幅增加。
本实施例的说话人语音识别方法，通过将不同信道的高层语音级特征变换到一个与通道无关的身份空间中，从而去除通道因素的影响，并在身份空间中，完成对说话人的识别，可以有效地利用有限的语音数据进行说话人的身份确认与识别，较好的适应各种场景应用，识别结果准确性高。
图2示出了本发明一实施例提供的一种说话人语音识别装置的结构示意图，如图2所示，本实施例的说话人语音识别装置，包括：第一采集模块21、第一提取模块22、第一获取模块23和查找模块24；其中：
所述第一采集模块21，用于采集待识别的不同信道的说话人语音；
所述第一提取模块22，用于从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征；
所述第一获取模块23，用于根据所述待识别的高层语音级特征，获取待识别的身份特征向量；
所述查找模块24，用于从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
具体地，所述第一采集模块21采集待识别的不同信道的说话人语音；所述第一提取模块22从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征；所述第一获取模块23根据所述待识别的高层语音级特征，获取待识别的身份特征向量；所述查找模块24从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
在具体应用中，举例来说，可以通过安装有动圈式麦克风、电容式麦克风和微机电麦克风三种型号的麦克风，采集同一说话人不同信道的语音，模拟实际语音环境。
本实施例的说话人语音识别装置，通过将不同信道的高层语音级特征变换到一个与通道无关的身份空间中，从而去除通道因素的影响，并在身份空间中，完成对说话人的识别，可以有效地利用有限的语音数据进行说话人的身份确认与识别，较好的适应各种场景应用，识别结果准确性高。本实施例在识别过程中，只需进行简单的代数运算，因此计算过程简单，时间复杂度很低，并且对识别的语音类别数没有限制，具有很强的通用性和大规模扩展性。
进一步地，在上述实施例的基础上，本实施例所述装置还可以包括图中未示出的：
第二采集模块，用于针对注册集中的每个样本说话人，采集不同信道的说话人语音样本；
第二提取模块，用于从所采集的不同信道的说话人语音样本中提取样本说话人的高层语音级特征；
第二获取模块，用于根据所述样本说话人的高层语音级特征，获取样本说话人的身份特征向量；
加入模块，用于将注册集中的所有样本说话人的身份特征向量和注册集中的所有样本说话人的身份信息对应加入预先建立的说话人语音检索库中。
由此，能够得到所述查找模块24中使用的预先建立的说话人语音检索库。
进一步地，在上述实施例的基础上，本实施例所述第一提取模块22，可具体用于
从所采集的待识别的不同信道的说话人语音中提取待识别的低层帧级特征；
利用gru模型，从所述待识别的低层帧级特征中提取待识别的高层语音级特征；
相应地，所述第二提取模块，可具体用于
从所采集的不同信道的说话人语音样本中提取样本说话人的低层帧级特征；
利用gru模型，从所述样本说话人的低层帧级特征中提取样本说话人的高层语音级特征。
可以理解的是，单向gru作为学习时序特征的模型，它在保持lstm能很好地处理远距离依赖优点的同时，结构更加简单，计算更加高效。
进一步地，在上述实施例的基础上，本实施例所述第一获取模块23，可具体用于
利用变换函数，将所述待识别的高层语音级特征转换为待识别的身份特征向量；
其中，所述变换函数是通过rescnn(深度残差网络结构的深度残差网络)模型学习并采用说话人身份子空间损失函数监督训练优化后得到的；所述变换函数用于将高层语音级特征变换到与通道无关的身份空间，所述身份特征向量为高层语音级特征对应的语音在身份空间中的唯一身份标识；
相应地，所述第二获取模块，可具体用于
利用变换函数，将所述样本说话人的高层语音级特征转换为样本说话人的身份特征向量。
可以理解的是，本实施例将resnet结构引入到cnn模型中，构成rescnn模型来减轻模型的训练。
在具体应用中，所述的训练可以离线操作，利用所述变换函数可将高层语音级特征转换为身份特征向量。
进一步地，在上述实施例的基础上，本实施例所述查找模块24可以利用余弦相似度度量方法，从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量。
本实施例的说话人语音识别装置，通过将不同信道的高层语音级特征变换到一个与通道无关的身份空间中，从而去除通道因素的影响，并在身份空间中，完成对说话人的识别，可以有效地利用有限的语音数据进行说话人的身份确认与识别，较好的适应各种场景应用，识别结果准确性高。
本实施例的说话人语音识别装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器31、存储器32、总线33及存储在存储器32上并可在处理器31上运行的计算机程序；
其中，所述处理器31，存储器32通过所述总线33完成相互间的通信；
所述处理器31执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：采集待识别的不同信道的说话人语音；从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征；根据所述待识别的高层语音级特征，获取待识别的身份特征向量；从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例所提供的方法，例如包括：采集待识别的不同信道的说话人语音；从所述待识别的不同信道的说话人语音中提取待识别的高层语音级特征；根据所述待识别的高层语音级特征，获取待识别的身份特征向量；从预先建立的说话人语音检索库中查找与所述待识别的身份特征向量相似度最高的身份特征向量，将查找到的身份特征向量对应的身份信息作为说话人识别结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。