人脸检测方法、装置、计算机设备及存储介质与流程

本申请涉及人脸识别技术领域，具体而言，本申请涉及一种人脸检测方法、装置、计算机设备及存储介质。

背景技术：

随着计算机技术的发展，越来越多的服务与检测项目采用自动检测的方式，以节省人力成本，特别是在检票或者办理相关业务时，对人体进行身份识别上，均采用自动识别方式。

现有技术中，对人体的身份信息进行识别多采用人脸识别方式，由于人脸不容易轻易改变，因此通过采集人脸图像，对图像进行脸部识别和处理以确定人体的身份信息。现有的人脸检测技术在实际应用中，对于一些遮挡、模糊严重或者占图像比重较小的人脸，识别率较低，现有技术中准确率高的方法是基于很大的网络，但是基于大网络的方法运行速度慢，训练时间长。

技术实现要素：

本申请针对采用大网络速度慢，采用小网络准确率低的问题，提出一种人脸检测方法、装置、计算机设备及存储介质。

一方面，本申请公开一种人脸检测方法，包括

获取待识别的目标人脸图片；

将所述目标人脸图片输入第一网络模型中以输出第一预测结果，其中，所述第一预测结果包括表征目标特征点的预测位置的第一特征向量；

将所述第一特征向量输入第二网络模型中根据预设规则以得到目标损失函数值；

将所述目标人脸图片输入所述第二网络模型中以使所述第二网络模型根据所述目标损失函数值，输出人脸识别结果。

可选的，所述将所述目标人脸图片输入第一网络模型中以输出第一预测结果的方法包括：

获取所述目标人脸图片在所述第一网络模型中的特征图层；

在所述特征图层中获取所述目标特征点的预测位置；

输出所述预测位置表征的第一特征向量。

可选的，所述预设规则包括将所述目标特征点的第一特征向量带入第二网络模型的原始损失函数中以生成所述目标损失函数值。

可选的，所述将所述第一特征向量输入第二网络模型中根据预设规则以得到目标损失函数值的方法包括：

获取表征所述目标特征点在第二网络模型中的预测位置的第二特征向量；

获取所述第二网络模型的初始损失函数；

将基于所述第二特征向量的初始损失函数值与基于第一特征向量的初始函数值相加以得到所述目标损失函数值。

可选的，所述将基于所述第二特征向量的初始损失函数值与基于第一特征向量的初始函数值相加以得到所述目标损失函数值的方法包括：将所述第一特征向量的初始函数值匹配预设权重值后与所述第二目标损失函数值相加。

可选的，所述原始损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值。

可选的，所述目标损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值；和表示大网络模型的预测值。

另一方面，本申请还公开一种人脸检测装置，包括

获取模块：被配置为执行获取待识别的目标人脸图片；

第一处理模块：被配置为执行将所述目标人脸图片输入第一网络模型中以输出第一预测结果，其中，所述第一预测结果包括表征所述目标特征点的预测位置的第一特征向量；

第二处理模块：被配置为执行将所述第一特征向量输入第二网络模型中根据预设规则以得到目标损失函数值；

执行模块：被配置为执行将所述目标人脸图片输入所述第二网络模型中以使所述第二网络模型根据所述目标损失函数值，输出人脸识别结果。

可选的，所述第一处理模块还包括：

特征获取模块：被配置为执行获取所述目标人脸图片在所述第一网络模型中的特征图层；

预测位置获取模块：被配置为执行在所述特征图层中获取所述目标特征点的预测位置；

第一输出模块：被配置为执行输出所述预测位置表征的第一特征向量。

可选的，所述预设规则包括将所述目标特征点的第一特征向量带入第二网络模型的原始损失函数中以生成所述目标损失函数值。

可选的，所述第二处理模块包括：

特征向量获取模块：被配置为执行获取表征所述目标特征点在第二网络模型中的预测位置的第二特征向量；

损失函数获取模块：被配置为执行获取所述第二网络模型的初始损失函数；

目标损失函数处理模块：被配置为执行将基于所述第二特征向量的初始损失函数值与基于第一特征向量的初始函数值相加以得到所述目标损失函数值。

可选的，所述目标损失函数处理模块还包括，权重匹配模块：被配置为执行将所述第一特征向量的初始函数值匹配预设权重值后与所述第二目标损失函数值相加。

可选的，所述原始损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值。

可选的，所述目标损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值；和表示大网络模型的预测值。

本申请的实施例根据第三个方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述人脸检测方法的步骤。

本申请的实施例根据第四个方面，还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述人脸检测方法的步骤。

本申请实施例的有益效果是：

本申请公开的第二网络模型相对第一网络模型而言体型较小，即第一网络模型为大网络模型，其训练技术大，人脸检测准确度高，但是由于其训练基数大，在进行人脸识别过程中所需的时间较长，过程相对复杂，而第二网络模型，属于小网络模型，小网络模型需要通过训练确定的自由量(权值)的数量较少的、模型规模较小或者仅仅需要少量的训练样本图像就能够训练至收敛的神经网络模型，其训练基数较少，识别出人脸结果的速度快，但是准确率相对第一网络模型而言较低，为了能够加快识别速度的同时，保证识别结果的准确率，通过第一网络模型得到第一特征向量，将该第一特征向量输入第二网络模型中根据预设规则得到目标损失函数值，在第二网络模型中通过该目标损失函数来计算损失并回传优化训练参数，以提高第二网络模型的识别准确率。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一个人脸检测方法的流程图；

图2为本申请从视频文件中选取目标人脸图片的方法流程图；

图3为本申请卷积神经网络模型训练过程方法流程图：

图4为本申请输出第一预测结果的方法流程图；

图5为本申请目标损失函数获取方法流程图；

图6为本申请人脸检测装置框图；

图7为本申请一个实施例的计算机设备基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

请参阅图1，为本实施例公开一种人脸检测方法，包括：

s1000、获取待识别的目标人脸图片；

目标人脸图片包括当前拍摄的或者上传的带有人脸的图像照片，或者从当前拍摄的或者上传的视频文件中获取的带有人脸的图像照片，其图片和视频的来源可以是公共图像数据库、自有图像数据库或者通过数据爬取的方式从互联网中进行爬取。需要说明的是，视频文件中获取的图像照片为视频中的帧画面，从多个帧画面中识别出带有人脸的帧画面，同时经过相同比对，从多个相同或相似的帧画面中选取其中一张作为目标人脸图片以进行进一步的识别。

进一步的，请参阅图2，从视频文件中选取其中一张作为目标人脸图片的方法包括：

s1100、将所述视频文件输入至分类神经网络模型中；

s1200、通过分类神经网络模型识别带有人脸的目标人脸图片。

这里的分类神经网络模型可以是任意能够进行图像识别的神经网络模型，例如卷积神经网络(cnn)、深度神经网络(dnn)、循环神经网络(rnn)，或者上述三种网络模型的变形模型。本申请中，优选的，采用卷积神经网络模型来识别视频文件中的目标人脸图片。

需要说明的是，目标人脸图片是视频文件中的关键帧画面图片，关键帧概念来自视频软件开源平台ffmpeg中的ipb帧，i帧表示关键帧，是一帧画面的完整保留。p帧表示这一帧跟之前的一个关键帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面，也就是差别帧，p帧没有完整画面数据，只有与前一帧的画面差别的数据。b帧是双向差别帧，b帧记录的是本帧与前后帧的差别，换言之，要解码b帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面，b帧压缩率高，但是解码时cpu处理数据量大。

关键帧保存视频编码后视频某一个画面的关键信息可提供给p帧和b帧一些预测信息，b帧和p帧分别代表前向预测和双向预测帧,它们的数据依赖于i帧，但是能节省视频文件的大小，提高视频文件的质量。

卷积神经网络模型可以从关键帧图像中识别出物体的具体分类，从而提取出人脸所在的位置和样式。在卷积神经网络模型中识别出各个物体的样式是通过分类判断信息的训练样本通过训练后得到，具体的，请参阅图3，其训练过程包括：

s1210、获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。

训练样本数据包括帧画面图片的可用特征提取判断信息。

分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该图片数据与预存储的目标图像为同一张，则标定该图片分类判断信息为与预存储的目标图片相同。

s1220、将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息是卷积神经网络模型根据输入的图片信息而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。

s1230、通过损失函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

损失函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

s1240、当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

经过上述方式，判断视频文件中提取的多个关键帧画面中是否包含有人脸的图像，并将含有人脸的图像帧画面提取出来，以作下一步的分析。

s2000、将所述目标人脸图片输入第一网络模型中以输出第一预测结果，其中，所述第一预测结果包括表征目标特征点的预测位置的第一特征向量；

此处公开的目标人脸图片是通过上述步骤s1000获取的带有人脸的图片，其通过分类神经网络模型识别得到，上述步骤s1000中的分类神经网络模型可采用卷积神经网络模型，深度神经网络、循环神经网络，或者上述三种网络模型的变形模型，同样，本申请中的第一网络模型也是一种神经网络模型，可采用卷积神经网络模型，深度神经网络、循环神经网络，或者上述三种网络模型的变形模型中的任意一种，因此，其可以对所输入的目标人脸图片进行识别。

本申请中，需要第一网络模型输出的为表征目标特征点的预测位置的第一特征向量，其中，目标特征点为在目标人脸图片中的需要进行识别的点，以youonlylookonce(yolo)系列网络结构为例，yolo将物体检测作为回归问题求解。基于一个单独的end-to-end网络，完成从原始图像的输入到物体位置和类别的输出。yolo训练和检测均是在一个单独网络中进行。yolo没有显示地求取regionproposal的过程。yolo将物体检测作为一个回归问题进行求解，输入图像经过一次inference，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。yolo将输入图像分成sxs个格子，每个格子负责检测‘落入’该格子的物体。若某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。例如在一幅带有动物狗的图片中，该动物狗的中心位置落入整个图片按照一定规则划分的网络中的第5行第2列的格子内时，该格子负责预测图像中的物体狗。每个格子输出b个boundingbox(包含物体的矩形区域)信息，以及c个物体属于某种类别的概率信息。

boundingbox信息包含5个数据值，分别是x,y,w,h,和c(confidence)。其中x,y是指当前格子预测得到的物体的boundingbox的中心位置的坐标。w,h是boundingbox的宽度和高度。注意：实际训练过程中，w和h的值使用图像的宽度和高度进行归一化到[0,1]区间内；x，y是boundingbox中心位置相对于当前格子位置的偏移值，并且被归一化到[0,1]。

c(即confidence)反映当前boundingbox是否包含物体以及物体位置的准确性，计算方式如下：

confidence＝p(object)

*iou,其中，若boundingbox包含物体，则p(object)＝1；否则p(object)＝0。iou(intersectionoverunion)为预测bounding，box与物体真实区域的交集面积(以像素为单位，用真实区域的像素面积归一化到[0,1]区间)。因此，yolo网络最终的全连接层的输出维度是s*s*(b*5+c)，yolo使用均方和误差作为loss函数来优化模型参数，即网络输出的s*s*(b*5+c)维向量与真实图像的对应s*s*(b*5+c)维向量的均方和误差。

基于以上原理，本申请中目标特征点则为上述公开的物体中心位置的网格。进一步的，请参阅图4，所述将所述目标人脸图片输入第一网络模型中以输出第一预测结果的方法包括：

s2100、获取所述目标人脸图片在所述第一网络模型中的特征图层；

s2200、在所述特征图层中获取所述目标特征点的预测位置；

s2300、输出所述预测位置表征的第一特征向量。

在yolo网络中输出有3个损失层，每个损失层对应一个特征图(featuremap)层的损失。对于每一个特征图层，每一个点，对应于原图上的一个区域，因此，特征图层会预测每一个点是否是人脸的置信度，以及预测位置的偏差。损失层会根据预测位置与标定位置之间的欧式距离来计算损失并回传来优化训练参数。

在第一网络模型中，获取所述目标人脸图片的特征图层，以yolo网络为例，基于上述的工作原理，可以获取特征图层中目标特征点的预测位置，该位置可得到一个boundingbox(包含物体的矩形区域)信息，在每个boundingbox中分别包括x,y,w,h,和c五种数据，这些数据组合成该预测位置的第一特征向量。

s3000、将所述第一特征向量输入第二网络模型中根据预设规则以得到目标损失函数值；

第二网络模型也是一种神经网络模型，可采用卷积神经网络模型，深度神经网络、循环神经网络，或者上述三种网络模型的变形模型中的任意一种，需要说明的是，本申请中的第二网络模型相对第一网络模型而言体型较小，即第一网络模型为大网络模型，其训练技术大，人脸检测准确度高，但是由于其训练基数大，在进行人脸识别过程中所需的时间较长，过程相对复杂，而第二网络模型，属于小网络模型，小网络模型需要通过训练确定的自由量(权值)的数量较少的、模型规模较小或者仅仅需要少量的训练样本图像就能够训练至收敛的神经网络模型，其训练基数较少，识别出人脸结果的速度快，但是准确率相对第一网络模型而言较低，为了能够加快识别速度的同时，保证识别结果的准确率，需要采用辅助训练模型进行训练。且本实施方式中参与训练的辅助训练模型则为第一网络模型，第一网络模型识别准确率较高，通过第一网络模型得到第一特征向量，将该第一特征向量与第二网络模型中因输入同样的目标人脸图片而获得的第二特征向量进行结合，通过预设规则生成能够得到更精确识别结果的目标损失函数值，在第二网络模型中通过该目标损失函数来计算损失并回传优化训练参数，以提高第二网络模型的识别准确率。

进一步的，请参阅图5，所述将所述第一特征向量输入第二网络模型中根据预设规则以得到目标损失函数值的方法包括：

s3100、获取表征所述目标特征点在第二网络模型中的预测位置的第二特征向量；

s3200、获取所述第二网络模型的初始损失函数；

s3300、将基于所述第二特征向量的初始损失函数值与基于第一特征向量的初始函数值相加以得到所述目标损失函数值。

在本实施例中，第二特征向量通过第二网络模型提取得到，在第二网络模型输出最终的识别结果时，会通过损失函数来计算损失并回传来优化训练参数，在本实施例中，将第二网络模型输出第二特征向量的所用到的损失函数称之为原始损失函数，所述原始损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值，即第二特征向量。而目标物体的标定值为表征目标人脸图片中目标物体中心位置的实际向量值。

所述将基于所述第二特征向量的初始损失函数值与基于第一特征向量的初始函数值相加以得到所述目标损失函数值的方法包括：将所述第一特征向量的初始函数值匹配预设权重值后与所述第二目标损失函数值相加。

在本实施例中将第一特征向量带入到原始损失函数中，并匹配预设权重值后与带入了第二特征向量后得到的第二目标损失函数值相加以得到目标损失函数值，进一步的，所述目标损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值；和表示大网络模型的预测值。此处的α为一个固定值，具体数值通过前期的训练，与真实值进行对比得到，其表示一个固定的参数。

需要说明的是，上述将第一特征向量输入到原始损失函数中，可得到第一特征向量与标定值之间的欧氏距离值，将第二特征向量输入至原始损失函数中，得到第二特征向量与标定值之间的欧式距离值，权重值α用来平衡两种距离之间的重要程度，由于两种距离都是基于同一个标定值的，因此，将两种距离值组成的目标损失函数相对与原始损失函数得到的计算值回传的数据更为精准。

s4000、将所述目标人脸图片输入所述第二网络模型中以使所述第二网络模型根据所述目标损失函数值，输出人脸识别结果。

当获得了所述目标损失函数后，则通过该目标损失函数对所述目标人脸图片进行处理，以输出人脸识别结果。经过测试，在人脸公开测试库fddb(facedetectiondatasetandbenchmark)上,100个误检的情况下，第一网络模型的测试结果为检测率90％，单独使用第二网络模型的检测率为80％，第一网络模型监督下的第二网络模型训练，测试结果检测率88％。由此可见，在第一网络模型监督下的第二网络模型，不仅保证了测试时的速度和计算复杂度跟单独的第二网络模型保持一致，而且提高了第二网络模型的测试精度。

另一方面，请参阅图6，本申请还公开一种人脸检测装置，包括

获取模块1000：被配置为执行获取待识别的目标人脸图片；

第一处理模块2000：被配置为执行将所述目标人脸图片输入第一网络模型中以输出第一预测结果，其中，所述第一预测结果包括表征所述目标特征点的预测位置的第一特征向量；

第二处理模块3000：被配置为执行将所述第一特征向量输入第二网络模型中根据预设规则以得到目标损失函数值；

执行模块4000：被配置为执行将所述目标人脸图片输入所述第二网络模型中以使所述第二网络模型根据所述目标损失函数值，输出人脸识别结果。

可选的，所述第一处理模块还包括：

特征获取模块：被配置为执行获取所述目标人脸图片在所述第一网络模型中的特征图层；

预测位置获取模块：被配置为执行在所述特征图层中获取所述目标特征点的预测位置；

第一输出模块：被配置为执行输出所述预测位置表征的第一特征向量。

可选的，所述预设规则包括将所述目标特征点的第一特征向量带入第二网络模型的原始损失函数中以生成所述目标损失函数值。

可选的，所述第二处理模块包括：

特征向量获取模块：被配置为执行获取表征所述目标特征点在第二网络模型中的预测位置的第二特征向量；

损失函数获取模块：被配置为执行获取所述第二网络模型的初始损失函数；

目标损失函数处理模块：被配置为执行将基于所述第二特征向量的初始损失函数值与基于第一特征向量的初始函数值相加以得到所述目标损失函数值。

可选的，所述目标损失函数处理模块还包括，权重匹配模块：被配置为执行将所述第一特征向量的初始函数值匹配预设权重值后与所述第二目标损失函数值相加。

可选的，所述原始损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值。

可选的，所述目标损失函数值的表达式为：

其中，s²表示所述目标图像的大小，xi,yi,wi，hi和ci分别表示目标物体的标定值；和分别表示目标物体位置的预测值；和表示大网络模型的预测值。

由于上述人脸检测方法人脸检测装置一一对应的方法，其实现原理一样，因此基于人脸检测装置的具体说明此处不再赘述。

本发明实施例提供计算机设备基本结构框图请参阅图7。

该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种人脸检测方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种人脸检测方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

计算机设备通过接收关联的客户端发送的提示行为的状态信息，即关联终端是否开启提示以及贷款人是否关闭该提示任务。通过验证上述任务条件是否达成，进而向关联终端发送对应的预设指令，以使关联终端能够根据该预设指令执行相应的操作，从而实现了对关联终端的有效监管。同时，在提示信息状态与预设的状态指令不相同时，服务器端控制关联终端持续进行响铃，以防止关联终端的提示任务在执行一段时间后自动终止的问题。

本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述人脸检测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。