一种OCR训练样本生成方法、装置及系统与流程

一种ocr训练样本生成方法、装置及系统
技术领域
1.本发明涉及计算机视觉领域，尤其是一种ocr训练样本生成方法、装置及系统。


背景技术：

2.ocr(optical character recognition，光学字符识别)任务广泛地存在于生活和业务场景中。当前该任务效果最好的方法是使用深度学习技术进行文字定位和识别。但在真实场景中，常常出现某种版式训练样本匮乏的情况，而深度学习又依赖于庞大的训练样本。因此，自动生成ocr训练样本的方法应运而生。
3.当前生成ocr样本的方法大致分为两类：
4.第一类是基于模板的方法。即输入一张干净的模板图片，然后在该模板的指定位置写上随机文字，以此生成该模板样式的ocr样本。该方法有两个主要缺陷：一是大多数情况下我们无法获取模板图片；二是模板图片往往是干净、无形变的理想图片，与夹杂多种噪声干扰的真实图片有较大差距，生成的样本真实性较差。
5.第二类是基于深度学习的图像编辑技术。该类方法有四个主要缺陷：第一个缺陷是模型泛化能力差，由于不同版式的ocr图片特征和文字特征差异很大，对于在模型训练过程中未出现过的图片版式或文字样式，模型往往表现较差；第二个缺陷是训练数据获取困难，由于模型泛化能力有限，若要训练针对某种版式的图像编辑模型，首先需要大量与该版式类似的训练数据，而当前场景本来就是因为缺少数据才需要图像编辑技术的；第三个缺陷是训练图像编辑模型的样本需要像素级标注，此标注工作非常昂贵耗时；第四个缺陷是模型推理速度相对较慢，且运行往往需要深度学习推理框架，大大增加工程复杂度。


技术实现要素：

6.本发明涉及一种ocr训练样本生成方法。针对ocr训练过程中常常遇到的样本匮乏问题，申请人创新性地结合文字轮廓提取算法和图像修复等技术，充分利用原图片背景信息，生成高质量训练图片，同时生成与图片对应的标注文件(包含文字内容、位置信息)，免去繁冗耗力的标注工作，可直接用于ocr模型训练。由此，本发明基于传统的计算机视觉方法，直接处理真实的原始ocr图片，克服了以上弊端。
7.根据本发明的第一方面，提供一种ocr训练样本生成方法，输入信息为原始图像以及抹除区域坐标，所述方法包括：
8.文字轮廓提取步骤，基于原始图像提取所有文字轮廓，结合抹除区域坐标确定抹除区域掩膜(mask)，并得到修复区域掩膜；
9.图像修复填充步骤，根据修复区域掩膜以及修复区域周围的像素信息进行图像修复填充，得到抹除文字后的背景模板；
10.随机文本生成步骤，在每个生成区域内生成随机文本，由此得到一张新的样本图片和与之对应的标注信息文件。
11.进一步地，所述文字轮廓提取步骤具体包括：
12.将输入的原始图像转换为单通道灰度图，再将其自适应二值化，得到所有文字轮廓掩膜，文字区域值为1，背景区域值为0；
13.根据抹除区域坐标，得到抹除区域掩膜，抹除区域值为1，其他区域值为0；
14.将所有文字轮廓掩膜与抹除区域掩膜对应位置像素相乘，得到抹除区域文字轮廓掩膜；
15.对抹除区域文字轮廓掩膜进行形态学膨胀，由此得到修复区域掩膜。
16.进一步地，所述形态学膨胀的膨胀核为2或3。
17.进一步地，所述图像修复填充步骤具体包括：
18.根据修复区域掩膜，在原始图像中确定待修复区域；
19.从外到内的顺序轮询待修复区域的每个像素点，根据某个像素点周围已知像素的信息，计算该修复点应该填充的像素值，成为已知像素；
20.向内计算下一个像素点的像素值；
21.逐步迭代，待修复区域逐渐收缩变小，直到待修复区域都被修复，得到已修复的抹除文字后的背景模板。
22.进一步地，从外到内的排序算法为快速行进算法(fast marching method)。
23.进一步地，根据某个像素点周围已知像素的信息，计算该修复点应该填充的像素值的方法包括邻域已知像素值加权平均、inpaint_ns或inpaint_telea方法。
24.这里，inpaint_ns(基于navier-stokes的修复方法)和inpaint_telea(基于图像梯度的快速匹配方法，又称telea法)是两种常见的图像修复算法。
25.进一步地，所述生成区域为需要在抹除文字后的背景模板中生成样本文字的位置区域。
26.进一步地，所述随机文本生成步骤具体包括：
27.针对某一生成区域，确定针对该生成区域的随机文本预计长度w，设定字体大小为s，估算该段随机文本的文字个数n＝int(w/s)；
28.生成n*k个字符长度的冗余随机文本，k为冗余倍数，取值为正整数；
29.根据冗余随机文本长度和随机文本预计长度w的关系，确定最终生成的随机文本及其实际长度l；
30.在生成区域内随机确定该生成文本的位置，写入该最终生成的随机文本并确定其标注信息；
31.轮询每个生成区域，由此得到一张新的样本图片和与之对应的标注信息文件。
32.进一步地，所述确定针对该生成区域的随机文本预计长度w具体包括：
33.取该生成区域的长和宽中的最大值作为生成文本的最大长度，长和宽的最小值作为生成文本的最小长度，在该最小值和最大值之间随机选择一个整数作为随机文本预计长度，记为w。
34.进一步地，所述生成n*k个字符长度的冗余随机文本步骤中，如指定语料类型，则以该语料类型生成n*k个字符长度的冗余随机文本；如不指定语料类型，则随机生成n*k个字符长度的冗余随机文本。
35.进一步地，指定语料的生成方法包括：
36.正则表达式生成：用来生成规则明确的语料，将需要的语料规则特征编为正则表
达式，然后根据正则表达式随机生成字符串；或者
37.数据库随机获取：用来生成规则不明确或某种固定型语料，通过公开信息获得该语料的所有内容，并将数据按条目存入数据库或数据文件中，在随机生成的时候从中随机获取一条即可。
38.进一步地，k值取3。
39.进一步地，所述根据冗余随机文本长度和随机文本预计长度w的关系，确定最终生成的随机文本及其实际长度l具体包括：
40.从冗余随机文本的第一个字符开始，统计每个字符的实际长度并依次累加，直到字符总长度刚好满足“再加一个字符就会超出w”，将其作为最终生成的随机文本，记为“text”，并记录该最终生成的随机文本的实际长度l。
41.进一步地，在生成区域内随机确定该生成文本的位置，写入该最终生成的随机文本并确定其标注信息具体包括：
42.设该生成区域左上角坐标为(x1,x2)，右下角坐标为(x2,y2),则该最终生成的随机文本左上角起始点的x轴坐标范围为[x1,(x2-w)],y轴坐标范围为[y1,(y2-s)]，在该范围内随机选择一个整数点(x,y)作为该最终生成的随机文本的起始位置；
[0043]
在背景模板上，以(x,y)为文本左上角的起始位置，写入该最终生成的随机文本，其标注信息为：坐标为[(x,y),(x+l,y),(x+l,y+s),(x,y+s)]；文本内容为“text”。
[0044]
进一步地，所述在生成区域内随机确定该生成文本的位置，写入该最终生成的随机文本并确定其标注信息步骤之后，还包括对该最终生成的随机文本的字体大小和颜色进行调节的步骤。
[0045]
进一步地，所述对该最终生成的随机文本的字体大小进行调节具体包括：确定抹除区域宽度h，将最终生成的随机文本的大小默认设置为h。
[0046]
进一步地，所述对该最终生成的随机文本的字体颜色进行调节具体包括：
[0047]
对于某一生成区域，从修复区域掩膜(mask)中选择对应的区域，并对该区域的文字轮廓进行骨干提取，形成文字骨干区域；
[0048]
从原始图像中提取该生成区域对应的区域，对于该区域的rgb三个通道，将各个通道文字骨干区域处的所有像素值进行求平均，即为该文字骨干区域的各个通道颜色值；
[0049]
将该颜色值作为生成文字的颜色，使得该最终生成的随机文本的字体颜色与原文字颜色近似一致。
[0050]
这里，常用的骨干提取算法包括k3m算法、zhang-suen algorithm等。
[0051]
根据本发明的第二方面，提供一种ocr训练样本生成装置，所述装置基于前述任一方面提供的方法进行操作，所述装置包括：
[0052]
文字轮廓提取模块，用于基于原始图像提取所有文字轮廓，结合抹除区域坐标确定抹除区域掩膜，并得到修复区域掩膜；
[0053]
图像修复填充模块，用于根据修复区域掩膜以及修复区域周围的像素信息进行图像修复填充，得到抹除文字后的背景模板；
[0054]
随机文本生成模块，用于在每个生成区域内生成随机文本，由此得到一张新的样本图片和与之对应的标注信息文件。
[0055]
根据本发明的第三方面，提供一种ocr训练样本生成系统，所述系统包括：处理器
和用于存储可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令，以执行如以上任一方面所述的ocr训练样本生成方法。
[0056]
根据本发明的第四方面，提供一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如以上任一方面所述的ocr训练样本生成方法。
[0057]
本发明的有益效果：
[0058]
1.发明了一种ocr训练样本生成方法，可用于解决使用深度学习训练ocr模型时样本匮乏的问题；
[0059]
2.创新性地将膨胀后的文字轮廓作为“图像待修复区域”，使用图像修复算法进行文字擦除。既能保证将文字痕迹擦除干净，又能在图像修复时为文字区域最大化地保留周围像素信息，获得最佳的修复效果；
[0060]
3.创新性地提出可选自适应文字大小模块，可根据需要自适应地还原真实样本中各个位置不同的文字大小，使生成的图片在文字大小上与真实样本更加贴近；
[0061]
4.创新性地提出可选自适应文字颜色模块，可根据需要自适应地还原真实样本中各个位置不同的文字颜色，使生成的图片在文字颜色上与真实样本更加贴近；
[0062]
5.可同时生成标注文件，包含ocr训练所需的文字位置坐标和文本内容的信息。免去繁冗耗力的答案标注工作。
附图说明
[0063]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0064]
图1示出根据本发明实施例的原始图像示例。
[0065]
图2示出根据本发明实施例的提取的文字轮廓示例。
[0066]
图3示出根据本发明实施例的生成的背景模板示例。
[0067]
图4示出根据本发明实施例的生成的新样本和新文本框示例。
[0068]
图5示出根据本发明实施例的添加自适应文字大小模块的结果示例。
[0069]
图6示出根据本发明实施例的再添加自适应文字颜色模块的结果示例。
[0070]
图7示出根据本发明实施例的再添加语料配置模块的结果示例。
[0071]
图8示出根据本发明实施例的模块流程图。
[0072]
图9示出根据本发明实施例的文字轮廓提取模块算法流程图。
[0073]
图10示出根据本发明实施例的图像修复模块算法流程图。
[0074]
图11示出根据本发明实施例的随机生成模块算法流程图。
[0075]
图12示出根据本发明实施例的自适应文字大小模块算法流程图。
[0076]
图13示出根据本发明实施例的自适应文字颜色模块算法流程图。
[0077]
图14示出根据本发明实施例的某一生成区域的文字轮廓示意图。
[0078]
图15示出根据本发明实施例的文字轮廓骨干示意图。
[0079]
图16示出根据本发明实施例的该生成区域原图。
[0080]
图17示出根据本发明实施例的原图1示意图。
[0081]
图18示出根据本发明实施例的生成图1示意图。
[0082]
图19示出根据本发明实施例的原图2示意图。
[0083]
图20示出根据本发明实施例的生成图2示意图。
[0084]
图21示出根据本发明实施例的原图3示意图。
[0085]
图22示出根据本发明实施例的生成图3示意图。
[0086]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0087]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0088]
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。
[0089]
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0090]
多个，包括两个或者两个以上。
[0091]
和/或，应当理解，对于本公开中使用的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
[0092]
本发明提供一种ocr训练样本生成的方法，主要涉及图像文字轮廓提取技术、图像骨干提取技术、图像修复与填补技术：
[0093]
文字轮廓提取技术：
[0094]
文字轮廓提取有基于传统计算机视觉的方法和基于深度学习的方法。传统方法主要是各种二值化方法，包括固定阈值二值化、otsu二值化、自适应二值化等。此类传统方法的优点是算法简单快速、可解释性强，缺点是提取的内容更易包含噪声、易受亮度影响、鲁棒性较差。
[0095]
基于深度学习的方法主要为图像分割算法，优点是抗噪声能力强，不易受亮度影响，鲁棒性强。缺点是文字轮廓训练样本的标注非常困难，并且深度学习需要模型训练，推理速度较慢。因此，基于深度学习方法的文字轮廓提取在工业场景中极其罕见。
[0096]
图像骨干提取技术：
[0097]
图像骨干提取技术用来将二值化图像内的对象减少为1像素宽度的表示。其工作原理是连续迭代图像，去除对象边界上的像素，而不改变其连通性，直到无法删除更多像素。本发明使用该技术提取图像中文字的骨干。
[0098]
图像修复与填补技术：
[0099]
图像修复与填补技术可分为三大类，图像填充、图像修复、纹理合成。图像填充一般应用在待填充区域较大的情况，一般思路是设定每次迭代填充尺寸的大小，找到和待填充区域周围像素最匹配的一块区域，将其像素直接复制到待填充区域，迭代直到所有待填充区域填充完成。而图像修复技术一般应用在待填充区域较小的情况，一般思路是从外向内轮询待填充区域每个像素点，根据该像素点周围已知像素信息通过某种算法计算出待填充像素值，直到所有像素填充完成。纹理合成一般应用在纹理特征明显的图像中，如细胞、砖墙，待填充内容为已知区域纹理的生长。ocr样本图像并不符合纹理合成的特征。本发明在实验阶段对图像填充和图像修复这两种方法进行了详细的实验，发现使用图像修复的方法在该场景中效果最佳。
[0100]
实施例
[0101]
本发明涉及一种ocr训练样本生成方法。该方法可自适应生成大量高质量ocr样本，以解决ocr训练样本匮乏的问题。
[0102]
如果想要以图1为原图，生成该种版式的大量样本。为便于展示，其中后添加文本框既为我们想要抹除文字的“抹除区域”，又是想要生成文字的“生成区域”(抹除区域与成生成区域不必重合)。
[0103]
第一步，进入文字轮廓提取模块，在整张图片上提取所有“抹除区域”内的文字轮廓，如图2所示。
[0104]
第二步，进入图像修复模块，将文字轮廓(图2中的白色部分)作为原图像的损毁部分，根据损毁部分周围的像素信息进行图像的修复填充，得到抹除文字后的背景模板，如图3所示。
[0105]
第三步，进入随机生成模块，在指定的生成区域内生成指定样式的随机文本，并记录生成文本的坐标和文本内容作为标注信息，如图4所示。
[0106]
整体的模块流程图如下图8所示，每个模块内部的算法流程图见每个模块说明部分。
[0107]
文字轮廓提取模块
[0108]
如上图9所示，文字轮廓提取模块的输入为原图和“抹除区域”的坐标。对于输入图片，我们先将其转换为单通道灰度图，再将其自适应二值化，得到一张像素值为0，1的掩膜，即文字轮廓掩膜，记为mask1，其中值为1的区域为文字区域，值为0的区域为背景区域。对于输入的所有“抹除区域”坐标，我们也构造一个掩膜，使其抹除区域值为1，其他区域值为0，记为mask2。将mask1与mask2对应位置像素相乘。mask2值为0的部分，相乘结果为0；mask2值为1的部分，相乘结果为mask1的原值。以此可得到“抹除区域文字轮廓”的掩膜。
[0109]
由于二值化提取的文字轮廓边缘可能不全，修补后不能完全抹除文字边缘的痕迹，我们对上步得到的“抹除区域文字轮廓”掩膜进行形态学膨胀(膨胀核为2或3)，以确保文字轮廓能够完全覆盖原图中的文字，以此得到修复区域掩膜，如图2所示。
[0110]
若我们不想抹除图片上的任何文字，则输入空的“抹除区域坐标”即可。此时构造的mask2值全为0，与mask1相乘后结果亦全为0，形态学膨胀后仍全为0，因此该模块得到的“修复区域”掩膜值全为0，也就是无需修复任何区域。
[0111]
若我们想要抹除图片上的所有文字，除了输入所有文本的坐标作为抹除区域的方
法外，也可以直接忽略mask2，将mask1直接作为“抹除区域文字掩膜”，再将其进行形态学膨胀，得到修复区域掩膜。
[0112]
图像修复模块
[0113]
图像修复模块的功能是抹除图片上需要抹除的文字，生成一张背景模板。上一模块得到的修复区域掩膜用于告诉该模块具体需要修复的区域。现在我们按从外到内的顺序轮询待修复区域的每个像素点，(从外到内的排序算法可自由选择，如快速行进算法fast marching method)，根据该像素点周围已知的像素信息，计算该修复点应该填充的像素值。之所以选择从外到内的顺序，即先填充待修补区域外围的像素点再填充内部的像素点，是因为轮廓外围的像素点邻域内的已知像素更多，含有更丰富的已知像素信息，这样基于周围像素点计算的填充值更为准确和平滑。当一个待修复的像素点被填充后，则认为该像素点成为已知像素，当计算其周围待填充像素点时，可将其作为已知像素信息并提供参考值。基于某像素点周围像素信息计算其像素值的具体方法可自由选择，如邻域已知像素值的加权平均、兼顾速度和效果的[inpaint_ns]、[inpaint_telea]等方法。
[0114]
通过以上方法的逐步迭代，待修复区域逐渐收缩变小，直到整个区域都被修复，得到已修复的背景模板图片，如图3所示。
[0115]
随机生成模块
[0116]
随机生成模块用于在背景模板的指定位置或随机位置生成随机文本和标注文件。通过设置生成数量，该模块用于快速生成指定数量的新样本。该模块需要用户指定生成文本的字体大小和颜色，如用户未指定，则使用设好的默认值。
[0117]
对于每一个“生成区域”，我们取其长宽的最大值作为生成文本的最大长度，取其长宽的最小值作为生成文本的最小长度，然后在该最小值和最大值之间随机选择一个整数作为本次生成文本的实际长度，记为w。这样既实现了生成文本的长度随机性，又可以保证该文本长度不会超出生成区域。我们记设定的字体大小为s，估算该段文本的文字个数n＝int(w/s)。如指定语料类型，我们以该语料类型生成n*k个字符长度的冗余文本，如不指定语料类型，我们就随机生成n*k个字符长度的冗余文本。其中k为冗余倍数，由于上述估计的文字个数是每个字符宽度刚好与字符高度相等的情况，而不同的字符长宽比并不一定是严格的1:1，因此我们将n放大k倍，以确保生成的冗余文本字符的个数够用，通常k取3即可。然后从冗余文本的第一个字符开始，统计每个字符的实际长度并依次累加，直到字符总长度刚好满足“再加一个字符就会超出w”，将其作为最终生成的文本，记为text，并记录其此时的真实长度为l。
[0118]
接下来我们实现文本生成在生成区域的随机位置功能。为保证生成的文本不超出生成区域，设生成区域左上角坐标为(x1,x2)，右下角坐标为(x2,y2),则文本左上角起始点的x轴坐标范围应为[x1,(x2-w)],y轴坐标范围应为[y1,(y2-s)]。在该范围内随机选择一个整数点作为生成文本的起始位置，实现位置随机功能。
[0119]
然后我们在图片上，以(x,y)为起始位置，写入指定颜色和大小的“text”字符串。该文本行的标注信息亦可得到：坐标为[(x,y),(x+l,y),(x+l,y+s),(x,y+s)]，文本内容为“text”。以此流程轮询完每个“生成区域”，即可得到一张新图片和与之对应的答案标注文件。
[0120]
至此，已完成ocr训练样本生成，效果如图4所示。
[0121]
自适应文字大小模块
[0122]
自适应文字大小模块为可选模块，用来自适应调节生成的每个文本行的文字大小，使得每个区域生成的文字大小和原来该位置的文字大小近似一致。
[0123]
为保留更多的背景信息，我们指定的抹除区域都应紧贴文字，此时抹除区域宽度即为其中字符的大小，记为h。我们利用这种特性，将生成文本字体大小默认设置为h，则该区域生成的文字大小和原来该位置的文字大小近似一致。
[0124]
本模块的优点有三个：
[0125]
1.可以保持每个区域生成的文字大小和原来该位置的文字大小近似一致，最大化地还原原图不同位置的不同字体特征；
[0126]
2.省去为每个生成文本区域手动设置固定字体大小的繁琐步骤；
[0127]
3.解决手动设置字体，大小难以把控的问题。
[0128]
添加该模块后的样本生成效果如图5所示。
[0129]
自适应文字颜色模块
[0130]
自适应文字颜色模块为可选模块，用来自适应调节生成的每个文本行的字体颜色，使得每个区域内生成文字的颜色与原文字颜色近似一致。
[0131]
对于每个生成区域，我们从“文字轮廓提取模块”中选择对应的生成区域，如图14。对该区域的文字轮廓进行骨干提取，如图15。提取骨干的目的是为了滤除文字轮廓边界可能包含的一些背景像素，这些背景像素的颜色往往与文字颜色相差很大，会引入误差。然后，对于生成区域原图(如图16)的rgb三个通道，我们以r通道为例，将r通道文字骨干区域处的所有像素值进行求平均，即为该区域文字骨干的r通道颜色值。以此求得每个通道的均值，即为当前区域内文字的rgb三通道颜色均值。将该颜色值作为生成文字的颜色，使得每个区域内生成文字的颜色与原文字颜色近似一致。
[0132]
本模块的优点有三个：
[0133]
1.可以保持每个区域生成的文字颜色和原来该位置的文字颜色近似一致，最大化地还原原图不同位置的不同字体颜色特征；
[0134]
2.省去为每个生成文本区域手动设置固定字体颜色的繁琐步骤；
[0135]
3.解决手动设置字体颜色，颜色像素值难以把控的问题。
[0136]
添加该模块后的样本生成效果如图6所示。
[0137]
语料配置模块
[0138]
语料配置模块为可选模块，用来配置生成的每个文本行的语料类型，使得每个区域内生成文字的语料意义与原文字一致。本模块嵌入在“随机生成模块”中，如图11所示。
[0139]
本模块使用两种方法生成指定语料：1.正则表达式生成；2.数据库随机获取。
[0140]
正则表达式生成的方法，主要用来生成规则比较明确的语料，如手机号码、身份证号码等。这类语料有固定的字符长度和编码规则，我们将需要的语料规则特征编为正则表达式，然后根据正则表达式随机生成字符串。
[0141]
数据库随机获取的方法，主要用来生成规则不明确或某种固定型语料，如公司名称、银行名称、国家名称、省、市、语言等。针对这类语料，我们首先要通过公开信息获得该语料的所有内容，并将数据按条目存入数据库或数据文件中，在随机生成的时候从中随机获取一条即可。
[0142]
添加该模块后的样本生成效果如图7所示。图17-22为使用本方法为不同样式的ocr样本生成虚拟样本的效果图。
[0143]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0144]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0145]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0146]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。