图像文字行检测方法及装置与流程

1.本发明涉及图像识别领域，尤其涉及一种图像文字行检测方法及装置。


背景技术：

2.票据图像识别属于文档图像识别的一种，文字行定位技术是其中的关键技术之一。定位的召回率以及定位精度决定了识别准确度的上限。文字行定位的方法可以分为两大类，一类是基于传统图像处理和分析的方法，通过连通域提取文字块，然后聚类、连接成文字行。另一类，是近几年出现的深度学习方法，通过样本学习的方式训练得到检测模型，如psenet，dbnet，ctpn(detecting text in natural image with connectionist text proposal network)等文字行检测模型及算法。
3.这些算法有基于目标检测的方法，通过卷积网络提取特征后，对候选区域块特征进行分类判定是否是文字区域。有基于图像分割原理进行的，通过卷积提取特征后，通过反卷积得到图像分割结果(即每个像素的分类结果，每个像素分为两类，是文字行的一部分，或不是文字行的一部分)，前者的检测结果精度不如基于图像分割的方法。
4.然而，基于图像处理的方法，容易受到图像背景和噪声的干扰，检测结果不够稳定，性能也较差。基于深度学习的文字行定位模型大大提高了模型在复杂条件下文字行的定位精度。
5.在出租车票及常见税票图像识别应用中，文字行通常是分两次打印的，首次打印往往是在票的生产时直接印刷的。二次打印的文字行是在服务过程中或结束时打印的。这两种文字行容易粘连，且各自特征有区别。
6.对于没有粘连的文字行也不能够准确判断是否为二次打印的文字行，也就无法为后续的关键信息抽取提供依据。


技术实现要素：

7.针对现有技术存在的问题，本发明提供一种图像文字行检测方法及装置。
8.本发明提供一种图像文字行检测方法，包括：获取待检测的票据图像；将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次打印文本与背景的分类结果，和二次打印的文本与背景的分类结果；其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
9.根据本发明提供的一种图像文字行检测方法，所述获取待检测的票据图像之前，还包括：根据标记首次打印文本、二次打印文本与背景的样本票据图像，基于首次打印损失函数对所述首次打印分支进行训练；其中，所述首次打印损失函数根据第一部分损失函数、
第二部分损失函数和第三部分损失函数确定；所述第一部分损失函数根据首次打印分支对样本票据图像的首次打印文本和背景的分类输出、首次打印文本和背景的分类标签和首次打印文本的文字行区域mask权重确定，所述第二部分损失函数为样本票据图像中首次打印文字行没有与二次打印文本粘连部分的损失函数，所述第三部分损失函数为样本票据图像中首次打印文本和二次打印文本粘连部分对应的损失函数。
10.根据本发明提供的一种图像文字行检测方法，所述获取待检测的票据图像之前，还包括：根据标记首次打印文本、二次打印文本与背景的样本票据图像，基于二次打印损失函数对所述首次打印分支进行训练；其中，所述二次打印损失函数根据第四部分损失函数、第五部分损失函数和第六部分损失函数确定；所述第四部分损失函数根据二次打印分支对样本票据图像的二次打印文本和背景的分类输出、二次打印文本和背景的分类标签和二次打印文本的文字行区域mask权重确定，所述第五部分损失函数为样本票据图像中首次打印文字行没有与二次打印文本粘连部分的损失函数，所述第六部分损失函数为样本票据图像中首次打印文本和二次打印文字行粘连部分对应的损失函数。
11.根据本发明提供的一种图像文字行检测方法，所述首次打印损失函数和二次打印损失函数，分别包括：
12.l1＝l
dice
+αl11+βl1
12
13.l2＝l
dice
+λl12+γl1
12
14.其中，l1为首次打印损失函数，l2为二次打印损失函数；α为调节首次打印未粘连部分的权重参数，β为调节首次打印粘连部分损失的权重参数，λ为调节二次打印未粘连部分的权重参数，γ为调节二次打印粘连部分损失的权重参数；l1损失函数中，l
dice
为第一部分损失函数，l11为第二部分损失函数，l1
12
为第三部分损失函数；l2损失函数中，l
dice
为第四部分损失函数，l11为第五部分损失函数，l1
12
为第六部分损失函数。
15.根据本发明提供的一种图像文字行检测方法，所述第一部分损失函数或者第四部分损失函数，包括：
[0016][0017]
其中，m为与输出图像大小相同的mask矩阵的权重，根据文字行内部、文本矩形框以及文字行边界部分，分别设置不同的非零值；对于第一部分损失函数，x为首次打印分支输出的首次打印文本与背景的分类结果，y为首次打印文本与背景的标注结果；对于第四部分损失函数，x为二次打印分支输出的首次打印文本与背景的分类结果，y为二次打印文本与背景的标注结果。
[0018]
根据本发明提供的一种图像文字行检测方法，所述二次打印分支的卷积层卷积滤波器数大于首次打印分支。
[0019]
本发明还提供一种图像文字行检测装置，包括：采集模块，用于获取待检测的票据图像；处理模块，用于将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次
打印文本与背景的分类结果，和二次打印的文本与背景的分类结果；其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
[0020]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像文字行检测方法。
[0021]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像文字行检测方法。
[0022]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像文字行检测方法。
[0023]
本发明提供的图像文字行检测方法及装置，通过首次打印分支和二次打印分支的特征融合层，融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层，使得首次打印和二次打印均能够分别对二次打印和首次打印的特征进行学习，最终通过两次打印的文字行的分类，实现首次打印和二次打印文本信息的准确判断，大大提高两次打印信息识别后的关键信息抽取准确度。
附图说明
[0024]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]
图1是本发明提供的图像文字行检测方法的流程示意图；
[0026]
图2是本发明提供的图像文字行检测方法的模型结构示意图；
[0027]
图3是本发明提供的文字行的矩形框mask权重示意图；
[0028]
图4是本发明提供的iou示意图；
[0029]
图5是本发明提供的图像文字行检测装置的结构示意图；
[0030]
图6是本发明提供的电子设备的结构示意图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
下面结合图1-图6描述本发明的图像文字行检测方法及装置。图1是本发明提供的图像文字行检测方法的流程示意图，如图1所示，本发明提供图像文字行检测方法，包括：
[0033]
101、获取待检测的票据图像。
[0034]
首先，获取待检测票据的图像，如为出租车票图像。
[0035]
102、将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次打印文本与背景的分类结果，和二次打印的文本与背景的分类结果。
[0036]
其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
[0037]
图2是本发明提供的图像文字行检测方法的模型结构示意图，如图2所示，本发明提出的检测模型与深度检测模型类似，特征提取部分可以采用resnet或者fpn等常见卷积特征提取结构，其目的在于提取图像特征。这些特征可以理解为图像表达的通用特征，如图像边界以及部分图形结构特征。
[0038]
首次打印分支和二次打印分支作为文字行检测部分，主要基于图像分割原理进行，因此采用卷积-反卷积的网络结构，最后一层的反卷积输出与原始图像大小相同，结果为二值图像，白色像素代表文字行部分，黑色像素代表背景区域。
[0039]
基于如图2的文字行检测模型，通过标记首次打印文本、二次打印文本与背景的样本票据图像进行训练后，得到所述102中的训练后的文字行检测模型，用于票据的文字行检测。
[0040]
本发明的图像文字行检测方法，通过首次打印分支和二次打印分支的特征融合层，融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层，使得首次打印和二次打印均能够分别对二次打印和首次打印的特征进行学习，最终通过两次打印的文字行的分类，实现首次打印和二次打印文本信息的准确判断，大大提高两次打印信息识别后的关键信息抽取准确度。
[0041]
在一个实施例中，获取待检测的票据图像之前，还包括：根据标记首次打印文本、二次打印文本与背景的样本票据图像，基于首次打印损失函数对所述首次打印分支进行训练；其中，所述首次打印损失函数根据第一部分损失函数、第二部分损失函数和第三部分损失函数确定；所述第一部分损失函数根据首次打印分支对样本票据图像的首次打印文本和背景的分类输出、首次打印文本和背景的分类标签和首次打印文本的文字行区域mask权重确定，所述第二部分损失函数为样本票据图像中首次打印文字行没有与二次打印文本粘连部分的损失函数，所述第三部分损失函数为样本票据图像中首次打印文本和二次打印文本粘连部分对应的损失函数。
[0042]
考虑到当前已有的深度学习文字行检测模型遇到粘连的文字行时，往往会将多个文字行检测为一个文字行，造成检测错误。对此。本发明提供一种损失函数以避免粘连的文字行时检测错误的问题。对首次打印分支进行训练的首次打印损失函数包括三部分，关键的是第一部分和第三部分。
[0043]
图3是本发明提供的文字行的矩形框mask权重示意图，如图3所示，即对文字行区域设置mask权重。本发明中第一部分损失函数的计算考虑了文字行区域的重要性，主要体现在文字行mask权重m上，该部分损失函数可不区分首次打印和二次打印，采用相同形式的损失函数。
[0044]
第二部分损失函数l11为没有与二次打印粘连的首次打印文字行的损失函数，损失函数计算可采用输入x
i,j
和标签y
i,j
之间每个像素差的平均绝对值。l11损失函数计算如下：
[0045][0046]
其中，x为没有与二次打印粘连的首次打印文字行的输出结果，y为没有与二次打印粘连的首次打印文字行的标定结果。h为图像的高，w为图像的宽。
[0047]
第三部分损失函数l1
12
为首次打印和二次打印文字行粘连部分对应的l1损失，其计算方法可以为，根据首次打印和二次打印文字行标注答案筛选粘连矩形框，当二者iou大于预设阈值(如0.1)时即认为二者是粘连的矩形框。
[0048]
图4是本发明提供的iou示意图，如图4所示。在目标检测中，假设框1由[x1，y1，x2，y2]表示，同样框2由[x3，y3，x4，y4]表示，如图4所示，此时的iou计算公式为：
[0049]
iou＝两个检测框相交部分/两个检测框相交后的面积之和；
[0050]
然后计算对应文字行检测结果的l1损失。
[0051]
本发明实施例的图像文字行检测方法，通过第一部分损失函数，提高文字行检测的概率，通过第二部分和第三部分的损失函数，对粘连部分进行有效区别，综合上述三部分的损失函数，可有效避免首次遇到粘连的文字行时，将多个文字行检测为一个文字行，以造成检测错误的问题。
[0052]
在一个实施例中，所述获取待检测的票据图像之前，还包括：根据标记首次打印文本、二次打印文本与背景的样本票据图像，基于二次打印损失函数对所述首次打印分支进行训练；其中，所述二次打印损失函数根据第四部分损失函数、第五部分损失函数和第六部分损失函数确定；所述第四部分损失函数根据二次打印分支对样本票据图像的二次打印文本和背景的分类输出、二次打印文本和背景的分类标签和二次打印文本的文字行区域mask权重确定，所述第五部分损失函数为样本票据图像中首次打印文字行没有与二次打印文本粘连部分的损失函数，所述第六部分损失函数为样本票据图像中首次打印文本和二次打印文字行粘连部分对应的损失函数。
[0053]
对于二次打印分支的损失函数与上述首次打印分支的损失函数形式上相同。
[0054]
具体地，第四部分损失函数l
dice
和第六部分损失函数l1
12
的计算与首次打印文字行检测分支中的计算相同。
[0055]
l12为二次打印且与首次打印没有粘连的文字行对应的l1损失，计算均为：
[0056][0057]
其中，x为二次打印且与首次打印没有粘连的文字行的输出结果，y为二次打印且与首次打印没有粘连的文字行的标定结果；h为图像的高，w为图像的宽。
[0058]
在一个实施例中，所述首次打印损失函数和二次打印损失函数，分别包括：
[0059]
l1＝l
dice
+αl11+βl1
12
[0060]
l2＝l
dice
+λl12+γl1
12
[0061]
其中，l1为首次打印损失函数，l2为二次打印损失函数；α为调节首次打印未粘连部
分的权重参数，β为调节首次打印粘连部分损失的权重参数，λ为调节二次打印未粘连部分的权重参数，γ为调节二次打印粘连部分损失的权重参数；l1损失函数中，l
dice
为第一部分损失函数，l11为第二部分损失函数，l1
12
为第三部分损失函数；l2损失函数中，l
dice
为第四部分损失函数，l11为第五部分损失函数，l1
12
为第六部分损失函数。
[0062]
其中，α,β为经验参数，一般在0～1之间，在本发明中为了提高模型对的首次打印和二次打印的粘连文字行检测，β的可以适当设置大一些。λ,γ为经验参数，一般在0～1之间，在本发明中为了提高模型对的首次打印和二次打印的粘连文字行检测，γ的可以适当设置大一些。
[0063]
本发明实施例中，通过α,β和λ,γ的权重参数，可对首次打印和二次打印未粘连部分和粘连部分的损失进行调节，根据实际训练的结果可确定合适的经验参数，最终提高粘连部分检测的准确度。
[0064]
在一个实施例中，所述第一部分损失函数或者第四部分损失函数，包括：
[0065][0066]
其中，m为与输出图像大小相同的mask矩阵的权重，根据文字行内部、文本矩形框以及文字行边界部分，分别设置不同的非零值；对于第一部分损失函数，x为首次打印分支输出的首次打印文本与背景的分类结果，y为首次打印文本与背景的标注结果；对于第四部分损失函数，x为二次打印分支输出的首次打印文本与背景的分类结果，y为二次打印文本与背景的标注结果。
[0067]
dice系数，是一种集合相似度度量函数，通常用于计算两个样本点的相似度(范围为0～1)，计算为：
[0068]
s＝2|x∩y|/|x|+|y|
[0069]
其中，|x∩y|为x和y的交集，|x|和|y|分别表示x和y的元素个数。其中，分子中的2，是因为粉末存在重复计算x和y之间共同元素的原因。
[0070]
本发明中基于dice系数进行改进，通过l
dice
表示两个像素(输出和标签)集合的相似性度量，定义为1-s，再结合mask矩阵m得到第一或第四部分的损失函数。
[0071]
计算时，m矩阵全部初始化为0，有文字行答案标记矩形框的对应位置上设定相应的权重。例如，m中的一个文字行矩形框为(x,y,w,h),坐标分别为矩形框左上角点以及矩形框的宽高。为了提高粘连矩形框检测性能，提高矩形框边界区域的权重，可以增加对应的损失在总体损失中的占比。在具体计算时，如图3所示，文字行mask矩阵可以分为文字行内部，文本矩形框以及文字行边界部分，即两部分分别设置权重，两部分对应像素的权重可分别为τ,1-τ。τ可以取0.2或0.3，如此文字行边界部分的权重较大。
[0072]
各个文字行mask的权重计算完成后，填入到m矩阵的对应坐标即可。y为标定结果，通常用1表示文字行内部，0表示文字行外部。x可以是概率图，也可以是二值图，均是以较大的数值表示文字行，根据经验本发明建议通过softmax输出概率图x。
[0073]
本发明实施例的图像文字行检测方法，根据mask矩阵、首次打印分支或二次打印
分支的输出结果与标签结果，确定第一或第四部分的损失函数，可使文本框的识别更加准确。
[0074]
在一个实施例中，所述二次打印分支的卷积层卷积滤波器数大于首次打印分支。
[0075]
考虑到车票首次打印文字特征变化小，字体、颜色和关键字长度等变化较小，而二次打印文字行字体、尺度和颜色变化较大，且特征方差大。因此，二次打印分支需要较大的网络进行特征提取，本发明中据此设置二次打印分支的卷积层卷积滤波器数大于首次打印分支。可选地，二次打印分支的卷积层卷积滤波器数为首次打印分支的预设倍数。
[0076]
例如，假设通用图像特征提取后，卷积层数量设置为n个卷积滤波器，卷积得到的特征为特征融合后特征为
[0077]
二次打印分支，通用图像特征提取后，卷积层数量设置为m(2n～5n)个卷积滤波器，卷积得到的特征为融合后特征
[0078]
本发明实施例的图像文字行检测方法，通过二次打印分支的卷积层卷积滤波器数大于首次打印分支，或为首次打印分支的预设倍数，从而提高二次打印的识别准确度。
[0079]
下面对本发明提供的图像文字行检测装置进行描述，下文描述的图像文字行检测装置与上文描述的图像文字行检测方法可相互对应参照。
[0080]
图5是本发明提供的图像文字行检测装置的结构示意图，如图5所示，该图像文字行检测装置包括：采集模块501和处理模块502。其中，采集模块501用于获取待检测的票据图像；处理模块502用于将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次打印文本与背景的分类结果，和二次打印的文本与背景的分类结果；其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
[0081]
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
[0082]
本发明实施例所提供的图像文字行检测装置，其实现原理及产生的技术效果和前述图像文字行检测方法实施例相同，为简要描述，图像文字行检测装置实施例部分未提及之处，可参考前述图像文字行检测方法实施例中相应内容。
[0083]
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(communications interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行图像文字行检测方法，该方法包括：获取待检测的票据图像；将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次打印文本与背景的分类结果，和二次打印的文本与背景的分类结果；其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二
次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
[0084]
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0085]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像文字行检测方法，该方法包括：获取待检测的票据图像；将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次打印文本与背景的分类结果，和二次打印的文本与背景的分类结果；其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
[0086]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像文字行检测方法，该方法包括：获取待检测的票据图像；将所述待检测的票据图像输入训练后的文字行检测模型，经特征提取网络提取特征后，将提取的特征分别输入首次打印分支和二次打印分支，并分别输出首次打印文本与背景的分类结果，和二次打印的文本与背景的分类结果；其中，所述首次打印分支和二次打印分支从输入到输出方向的顺序均依次包括卷积层、特征融合层和反卷积层；首次打印分支和二次打印分支的特征融合层，均用于融合首次打印分支卷积层和二次打印分支卷积层处理的特征图，并分别输入所属分支的反卷积层；所述文字行检测模型，根据标记首次打印文本、二次打印文本与背景的样本票据图像训练后得到。
[0087]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0088]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。
[0089]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。