一种动态领域自适应方法、设备及计算机可读存储介质与流程

本发明涉及卷积神经网络技术领域，尤其涉及一种动态领域自适应方法、设备及计算机可读存储介质。

背景技术：

卷积神经网络(convolutionalneuralnetworks，cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feed-forwardneuralnetworks)，是深度学习(deeplearning)领域的核心算法之一。卷积神经网络主要包含以下几个部分：(1)局部感知。以图像为例，图像的空间联系中局部的像素相关性较强，而距离较远的像素相关性则较弱；因此，每个神经元其实只需对局部区域进行感知，而不需要对全局图像进行感知。(2)权值共享。卷积神经网络中相同的卷积核的权值和偏置值是一样的。同一种卷积核按照某种顺序对图像进行卷积操作，卷积后得到的所有神经元都是使用同一个卷积核区卷积图像的，都是共享连接参数。因此，权值共享减少了卷积神经网络的参数数量。(3)卷积，利用卷积核对图像进行特征提取。卷积过程就是一个减少参数数量的过程，其中最重要的参数就是卷积核的大小、步长设计和输入数量选取，输入量越多提取的特征越多，但网络的复杂度也增加，容易出现过拟合的问题。卷积核的大小影响网络结构的识别能力，步长决定了提取的特征图像大小和特征个数。(4)池化。在卷积神经网络中，池化层一般在卷积层后，通过池化来降低卷积层输出的特征向量维数。池化过程最大程度的降低了图像的分辨率，同时降低了图像的处理维度，但又保留了图像的有效信息，降低了后面卷积层处理复杂度，大大降低了网络对图像旋转和平移的敏感性。一般采用的池化方法有两种：平均池化(meanpooling)和最大池化(maxpooling)。

迁移学习(transferlearning)，是指利用数据、任务、模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。在传统分类学习中，为了保证训练得到的分类模型具有准确性和高可靠性，都有两个基本的假设：(1)用于学习的训练样本与新的测试样本满足独立同分布；(2)必须有足够可用的训练样本才能学习得到一个好的分类模型。然而，在实际应用中这两个条件往往难以满足。如何利用少量的有标签训练样本(或称为源领域数据)建立一个可靠的模型，对具有不同数据分布的目标领域进行预测，是现有的迁移学习领域需要解决的主要问题。

技术实现要素：

本发明的目的在于提供一种应用于深度卷积神经网络中进行迁移学习的动态领域自适应方法，该方法能够动态变化损失函数中网络自适应损失部分的权重参数，从而提升迁移学习的速度和准确度。

为了实现上述目的，本发明采用以下技术方案：

第一方面，本发明公开一种动态领域自适应方法，包括以下步骤：

基于原始图像数据获取源域数据集和目标域数据集；

基于源域数据集定义用于图像识别的卷积神经网络的各层级参数，并在卷积神经网络的全连接层中的输出层之前加入自适应层；

计算卷积神经网络的自适应损失lmmd；

基于自适应损失lmmd修改卷积神经网络的各层级参数，得到调整后的卷积神经网络；

将目标域数据集代入调整后的卷积神经网络，获取图像数据识别的输出结果。

进一步地，卷积神经网络的各层级参数，具体包括：

卷积神经网络的模型类别和总层数；

卷积神经网络的卷积层参数、激活函数和池化层参数；

卷积神经网络的全连接层参数和随机失活层参数。

进一步地，卷积神经网络的模型类别，包括：

alexnet网络或vggnet网络。

进一步地，自适应损失lmmd的计算过程，包括：

基于源域数据集与目标域数据集之间的最大均值差mmd计算自适应损失lmmd。

进一步地，基于自适应损失lmmd调节卷积神经网络的各层级参数，包括：

基于预设的常数c和神经网络的训练轮数epochi获取动态权重值λ；

基于动态权重值λ、卷积神经网络在源域上的常用损失lclassification和自适应损失lmmd获取卷积神经网络的最终损失l；

当最终损失l大于预设期望值时，采用反向传播算法对卷积神经网络进行迭代训练，同时调整卷积神经网络的各层级参数；

当卷积神经网络中隐含层和输出层的响应误差loss为不变的定值时，停止迭代训练；

采用持久化方式将调整后的卷积神经网络存储于目标域数据的调用存储空间。

进一步地，动态权重值λ的获取方法，包括：

基于公式λ＝c·epochi计算动态权重值λ；其中，c为取值范围为0.01至0.03之间的常数，训练轮数epochi＝i，i为大于等于0的整数。

第二方面，本发明公开一种动态领域自适应设备，包括：

处理器、存储器和通信总线；

其中，所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；

所述存储器，用于存储能够在所述处理器上运行的动态领域自适应方法程序；

所述处理器，用于：

基于原始图像数据获取源域数据集和目标域数据集；

基于源域数据集定义用于图像识别的卷积神经网络的各层级参数，并在所述卷积神经网络的全连接层中的输出层之前加入自适应层；

计算所述卷积神经网络的自适应损失lmmd；

基于自适应损失lmmd调节所述卷积神经网络的各层级参数，得到调整后的卷积神经网络；

将目标域数据集代入调整后的卷积神经网络，获取图像数据识别的输出结果。

第三方面，本发明公开一种计算机可读存储介质，所述可读存储介质中存储有一个或者多个程序，所述一个或多个程序可被一个或者多个处理器执行，以实现第一方面中任意一项动态领域自适应方法的步骤。

采用上述方案后，本发明的有益效果如下：

(1)解决了现有技术的图像迁移识别过程中，当训练数据量不足以及训练数据与测试数据不同分布的情况下，迁移执行效果不好的问题。经实验测量，本发明实施例方案相较于静态权重参数的方法在准确率上提高了约5％并且收敛速度提高约20％，在迁移学习领域具有显著的提升。

(2)解决了现有的深度迁移研究中，因为使用固定迁移权重参数，导致在迁移中求解不同期望时迁移权重参数的应用具有局限性的问题。

(3)本发明方法使动态领域自适应方法能够在图像识别场景中得到实际应用，扩展了自适应方法的应用场景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例1提供的一种动态领域自适应方法流程示意图；

图2为本发明实施例2提供的一种反向传播算法训练神经网络示意图；

图3为本发明实施例3提供的一种动态领域自适应设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图和实施例对本发明实施例作详细说明。

实施例1

参照图1所示，本发明实施例提供一种动态领域自适应方法，包括以下步骤：

s101、基于原始图像数据获取源域数据集和目标域数据集；

s102、基于源域数据集定义用于图像识别的卷积神经网络的各层级参数，并在卷积神经网络中全连接层的输出层之前加入自适应层；

s103、计算卷积神经网络的自适应损失lmmd；

s104、基于自适应损失lmmd调节卷积神经网络的各层级参数，得到调整后的卷积神经网络；

s105、将目标域数据集代入调整后的卷积神经网络，获取图像数据识别的输出结果。

可以理解地，针对图像识别研究，常用的技术手段是使用卷积神经网络进行迁和识别。本发明实施例的方法期望通过在卷积神经网络中添加自适应层，并通过计算自适应损失对卷积神经网络模型进行动态调整，从而使神经网络模型的输出收敛，以获取更快更好的识别分类结果。

可以理解地，领域自适应(domainadaptation)是迁移学习中的一种代表性方法，指的是利用信息丰富的源域样本来提升目标域模型的性能。在领域自适应中，常使用源域(sourcedomain)表示与测试样本不同的领域数据，但是其具有丰富的监督信息；目标域(targetdomain)表示测试样本所在的领域数据，不具有标签或者只具有少量的标签信息。源域和目标域往往是属于同一类任务中的信息，只是其在任务中的分布不同。根据源域和目标域的不同类型，领域自适应问题可以被分为四类不同场景：无监督的问题，有监督的问题，异构分布问题和多源域问题。通过在迁移不同阶段进行领域自适应，常见的领域自适应方法如下：

1)样本自适应，对源域样本进行加权重采样，从而逼近目标域的分布；

2)特征自适应，将源域和目标域投影到公共特征子空间；

3)模型自适应，对源域误差函数进行修改，考虑目标域的误差；

4)关系自适应，挖掘和利用源域和目标域的关系进行类比迁移。

可以理解地，本发明实施中的卷积神经网络cnn，其各层级参数主要包括：模型类别和总层数、卷积层参数、激活函数和池化层参数、全连接层参数和随机失活层参数。

一般来说，卷积神经网络的主要结构是输入层、隐含层和输出层。

具体地，输入层负责向神经网络输入端的初期数据处理，可以处理单维数据也可以处理多维数据，由卷积神经网络的自身维度决定；例如，一维卷积神经网络的输入层可以接收一维或二维数组，此处，一维数组通常为时间或频谱采样；二维卷积神经网络的输入层可以接收二维或三维数组，此处，二维数组可能包含多个通道，而三维数组可以是平面上的二维像素点加rgb通道；三维卷积神经网络的输入层可以接收四维数组。此处，初期数据处理主要是标准化处理进程，包括在通道或时间/频率维对输入数据进行归一化；例如，对于数据类型为像素的输入数据，可以将分布于[0,255]的原始像素值归一化至[0,1]区间内，通过这样的处理过程可以方便后续层级进行梯度下降式学习，有利于提升算法的运行效率和学习效果。

隐含层主要包含卷积层、池化层和全连接层。通常来讲，卷积层的作用是对输入数据进行特征提取，并通过设置与期望分类相关的权重系数实现对源域数据进行期望的分离。此处，对于卷积层的卷积方法可以包括：平铺卷积(tiledconvolution)、反卷积(deconvolution)和扩张卷积(dilatedconvolution)等，此处不再赘述。

进一步地，对于卷积层，主要参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸。其中，卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂；卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，也就是两个数据之间的分离性，卷积步长为1时，卷积核会逐个扫过特征图的元素，步长为n时会在下一次扫描跳过n-1个像素，而随着卷积核不断进行交叉计算，可知，随着卷积层的堆叠，特征图的尺寸会逐步减小。例如，16x16的输入图像在经过单位步长、无填充的5x5的卷积核后，会输出12x12的特征图。填充是当特征图通过卷积核之前，通过人为方式增大特征图尺寸以抵消计算中尺寸收缩影响的方法。常见的填充方法为按0填充和重复边界值填充(replicationpadding)。填充的类型依据其层数和目的可分为有效填充(validpadding)、相同填充/半填充(same/halfpadding)、全填充(fullpadding)和任意填充(arbitrarypadding)四类，此处不再赘述。

可以理解地，卷积层往往通过激励函数协助表达复杂特征，常用的激励函数包括sigmoid函数和双曲正切函数，还包括线性整流单元(rectifiedlinearunit，relu)；此处，线性整流单元的类型包括：斜率的relu(leakyrelu，lrelu)、参数化的relu(parametricrelu，prelu)、随机化的relu(randomizedrelu，rrelu)、指数线性单元(exponentiallinearunit，elu)等，此处不再赘述。

进一步地，在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层中包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相似，主要参数包括池化大小、步长和填充。一般来说，池化函数类型包括：lp池化(lppooling)、随机/混合池化和谱池化(spectralpooling)等，此处不再赘述。

可以理解地，全连接层位于卷积神经网络隐含层的最后部分，特征图在全连接层中会失去多维结构，从而被展开为向量并通过激励函数传递至下一层。可选地，也可以通过全局均值池化部分取代全连接层，此处不再赘述。

可以理解地，卷积神经网络的输出层其上游一般即是全连接层，其结构和工作原理与传统的前馈神经网络中输出层相同，例如，在图像分类问题中，输出层主要采用逻辑函数或归一化指数函数(softmaxfunction)输出分类标签；而在物体识别(objectdetection)问题中，输出层可设计为输出物体中心坐标、大小和分类；在图像语义分割中，输出层往往直接输出每个像素的分类结果。

可以理解地，本发明实施例中，主要用于处理图像数据，因此卷积神经网络模型的模型类别选择为alexnet网络或vggnet网络。其中，alexnet网络应用了relu激活函数并且在机器运算中可以使用gpu进行运算加速，可以解决sigmoid在网络较深时的梯度弥散问题；而vggnet网络具有小卷积核的优势，通过多个小卷积核的堆叠获取一个复杂大卷积核的感受野(receptivefield)，从而减少计算量。这两种方法都非常有利于图像特征的提取，并且可以在全连接层进行特定的权重设定。

可选地，此处的模型类别可以基于源域和目标域的数据类别选择其他网络类型，此处不再赘述。

进一步地，当卷积神经网络的模型类和各层级参数被定义之后，可以对以下的神经网络模型参数进行定义，包括：卷积层参数、激活函数和池化层参数，全连接层参数和随机失活层参数等。基于神经网络模型的类别不同，也可以对其他层级参数进行定义，此处不再赘述。

此处应注意的是，本发明实施例中，是在全连接层的最后输出层之前设置一层自适应层，由于全连接层中具有激活函数，因此，该自适应层的设置直接影响输出结果。显而易见地，由于在全连接层中，越往后的层级对于特征的细化程度越高，对于分类结果的影响也就越大，因此在全连接层的最后输出层之前加入自适应层，能够有效对全连接层中的权重进行调整，从而对输出结果进行有效的控制。

可以理解地，本发明实施例中，当添加了自适应层后，通过计算卷积神经网络的自适应损失来得知当前的卷积神经网络模型是否需要调整参数。进一步地，此处基于源域数据集与目标域数据集之间的最大均值差mmd计算自适应损失lmmd。

可以理解地，最大均值差异mmd(maximummeandiscrepancy)在迁移学习中可以用于度量再生希尔伯特空间中两个分布之间的距离，也是一种卷积核学习方法。使用最大均值差异计算能够得到衡量源域和目标域之间的分布差异，从而通过减小分布差异来提升数据的迁移率。其数学公式如下所示：

其中，xs表示源域数据集，xt表示目标域数据集，xs表示源域数据集中任一数据，xt表示目标域数据集中任一数据。明显地，本发明实施例中的lmmd即是mmd(xs,xt)的值。

进一步地，基于获取了自适应损失lmmd，可以计算网络的最终损失l，其公式如下：

l＝lclassification+λ·lmmd...................................(2)

其中，lclassification表示卷积神经网络在源域上的常用损失，可以在模型训练中得到求解，λ表示设置于全连接层的动态权重参数。

此处需注意的是，本发明实施例中，动态权重参数λ不再是一个定值，而是与训练轮数相关的动态变化参数。动态权重参数λ的计算公式定义如下：

λ＝c·epochi......................................(3)

其中，c表示预设的常数，在本发明实施例中取值范围为0.01至0.03；epochi表示训练轮数，即具有epochi＝i，i为大于等于0的整数。

由此可见，本发明实施例中，全连接层的权重参数是与源域数据在神经网络中的训练息息相关的，可以预见的是，若两个源域数据之间区别本身较大，那么在经过多轮数训练后，其数据间区分度会在输出端以倍数级放大，明显地，这样只需要较少的轮次就能获取较好的训练效果，显著提升了神经网络的训练效率。与此同时，由于常用损失lclassification是一个稳定值，在源域数据正常训练的基础下并不会发生变化，因此动态权重参数λ的加入能够增加自适应损失lmmd在神经网络模型最终l中的比重，从而可以知悉应如何对原有神经网络模型参数进行调整。

进一步地，本发明实施例是基于反向传播算法(backpropagationalgorithm，bp)的训练结果调整神经网络模型参数。

可以理解地，bp算法是一种适合于多层神经元网络并建立于梯度下降法基础上的一种监督学习算法。该算法中主要在前期预设一个期望值，并基于激励传播和权重更新两个环节进行反复迭代，直至网络的对输入响应达到预定的目标范围为止。在每次迭代中，传播环节包含两步：(1)前向传播，用于将训练输入数据送入网络获取激励响应；(2)反向传播，将激励响应同训练输入对应的目标输出求差，从而获得隐含层和输出层的响应误差。在本发明实施例中，通过获取每次训练中，由bp算法得到的响应误差loss值，并将其与预设期望值相比，可以知悉神经网络模型参数是否需要调整，直至当卷积神经网络中隐含层和输出层的响应误差loss为不变的定值时，才停止bp算法迭代。经过bp算法迭代，可以使模型的输出收敛，获取更好的迁移学习准确率。

此处对于神经网络模型参数的调节，主要包括对于全连接层参数、卷积参数、激活函数和池化层参数等调节，对于具体的调节过程，可以采用常用机器算法的调节方式，此处不再赘述。

可以理解地，当神经网络的输出收敛后，需对于调整后的神经网络进行存储，本发明实施例中优选采用持久化方式将调整后的卷积神经网络存储于目标域数据所在的调用存储空间，这样可以方便于目标域数据后续测试，提升神经网络模型对于目标域数据的处理速度。经实验测量，本发明实施例方案相较于静态权重参数的方法在准确率上提高了约5％并且收敛速度提高约20％，在迁移学习领域具有显著的提升

可以理解地，本发明实施例中的方法，除了应用于图像数据的识别，还可以应用于语音识别、机器学习等其他方向，此处不再赘述。

由此可见，本发明实施例方法使用动态权重参数λ优化了卷积神经网络的损失函数，能够提高迁移学习中网络模型的收敛速度和对目标域识别的准确率；并且动态权重参数λ随训练轮数增加而线性增大，在训练刚开始时，分类损失所占比重较大而mmd损失所占比重较小，而后mmd损失所占比重会逐渐增大，使网络模型在训练速度和分类准确率之间达到较好的平衡度，同时提升分类准确度。在此基础上使用bp算法对神经网络模型进行调节，从而可以针对目标域获取更好的迁移效果。

实施例2

在实施例1基础上，本发明实施例2提供一种反向传播算法训练神经网络的方法流程。参考图2所示，其方法流程包含以下步骤：

s201、将训练次数变量初始化为0；

s202、在源域数据集中选取一部分训练数据，即一个批处理(batch)；

s203、通过前向传播获得输出的预测值；

s204、计算损失，通过反向传播算法更新神经网络的各项参数；

s205、判断是否达到训练期望，如果达到则跳到s208，如果未达到则跳转到s201；

s206、判断是否达到设定的训练次数，若达到训练次数则跳转至s208，如果未达到则跳转到s207；

s207、对训练次数进行加1操作，并跳转至s202；

s208、结束训练，完成迭代。

由此可见，基于本实施中提供的bp反向传播算法，能够在训练中更新神经网络参数，实现了自适应的神经网络模型参数更新。基于神经网络模型的自适应化更新，最终将网络损失度控制在期望范围以内，从而提升网络模型针对目标域的分类准确率和训练速度。

实施例3

参照图3所示，本发明实施例3提供的一种动态领域自适应设备的具体硬件结构，该动态领域自适应设备3可以包括：存储器32和处理器33；各个组件通过通讯总线31耦合在一起。可以理解地，通讯总线31用于实现这些组件之间的连接通信。通讯总线31除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为通讯总线31。

存储器32，用于存储能够在处理器33上运行的动态领域自适应方法程序；

处理器33，用于在运行动态领域自适应方法程序时，执行以下步骤：

基于原始图像数据获取源域数据集和目标域数据集；

基于源域数据集定义用于图像识别的卷积神经网络的各层级参数，并在卷积神经网络中全连接层的输出层之前加入自适应层；

计算卷积神经网络的自适应损失lmmd；

基于自适应损失lmmd调节卷积神经网络的各层级参数，得到调整后的卷积神经网络；

将目标域数据集代入调整后的卷积神经网络，获取图像数据识别的输出结果。可以理解地，本发明实施例中的存储器32可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本文描述的系统和方法的存储器32旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器33可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器33中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器33可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器32，处理器33读取存储器32中的信息，结合其硬件完成上述方法的步骤。

基于前述实施例，本发明实施例提供一种计算机可读介质，该计算机可读介质存储有动态领域自适应方法程序，动态领域自适应方法程序被至少一个处理器执行时实现上述任一实施例中动态领域自适应方法的步骤。

可以理解地，以上实施例中的方法步骤，可以存储在计算机可读取存储介质中，基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文功能的模块(例如过程、函数等)来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体来说，用户终端中的处理器33还配置为运行计算机程序时，执行前述实施例中的方法步骤，这里不再进行赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上实施例，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。