信息提取模型的训练及信息提取方法、装置、介质与流程

1.本技术涉及计算机及人工智能技术领域，具体而言，涉及一种信息提取模型的训练及信息提取方法、装置、介质。


背景技术：

2.在信息提取场景中，比如在针对图像中的信息提取场景(例如提取图像中的公式或者文本)，通常是基于训练后的模型进行图像中信息的提取，然而，在一些情况下，不同特征分类的信息单元的分布可能存在极度不均衡问题，这会导致模型在训练时不能很好的学习分布较少的特征分类的信息单元，导致模型无法准确识别信息单元。基于此，如何提高信息提取模型对信息提取的准确度是亟待解决的技术问题。


技术实现要素：

3.本技术的实施例提供了一种信息提取模型的训练及信息提取方法、装置、计算机程序产品或计算机程序、计算机可读介质，进而至少在一定程度上可以提高信息提取模型对信息提取的准确度。
4.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
5.根据本技术实施例的一个方面，提供了一种信息提取模型的训练方法，包括：获取样本图像，所述样本图像中包括至少一个样本信息单元；为所述样本图像中所述至少一个样本信息单元确定各自对应的样本标签，每个所述样本标签用于表征所述样本信息单元的实际特征信息；基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练，得到信息提取模型，所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的样本信息单元的注意力。
6.根据本技术实施例的一个方面，提供了一种信息提取模型的训练装置，包括：第一获取单元，被用于获取样本图像，所述样本图像中包括至少一个样本信息单元；确定单元，被用于为所述样本图像中所述至少一个样本信息单元确定各自对应的样本标签，每个所述样本标签用于表征所述样本信息单元的实际特征信息；训练单元，被用于基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练，得到信息提取模型，所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的样本信息单元的注意力。
7.在本技术的一些实施例中，基于前述方案，所述第一获取单元配置为：获取至少一帧原始样本图像；将各帧原始样本图像的高度调节至预设图像高度，或者将各帧原始样本图像的宽度调节至预设图像宽度；按照所述高度的调节比例或者所述宽度的调节比例，对所述原始样本图像的宽度或者所述原始样本图像的高度进行调节处理，得到预处理样本图像；从所述预处理样本图像中选定预定数量的图像作为所述样本图像。
8.在本技术的一些实施例中，基于前述方案，所述第一获取单元还配置为：按照所述
预处理样本图像的高度或者宽度，对所述预处理样本图像进行排序；从所述预处理样本图像中选定排序相连的预定数量的图像作为所述样本图像。
9.在本技术的一些实施例中，基于前述方案，所述训练单元配置为：将所述样本图像输入至所述待训练模型，并获取由所述待训练模型输出的针对所述样本图像中各个样本信息单元的样本特征信息；获取动态损失函数，并基于所述样本标签和所述样本特征信息，通过所述动态损失函数计算针对所述待训练模型的动态损失值；通过所述动态损失值对所述待训练模型中的模型参数进行反向更新，得到所述信息提取模型。
10.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：通过所述样本标签，确定所述样本信息单元所属的实际特征分类；通过所述样本特征信息，确定所述信息单元属于所述实际特征分类的预测概率；获取初始损失函数，并基于所述预测概率和所述初始损失函数，确定所述动态损失函数。
11.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：通过所述预测概率，确定动态调制系数，所述动态调制系数与所述预测概率负相关，所述动态调制系数用于调节所述待训练模型在训练过程中对所述实际特征分类的样本信息单元的注意力；基于所述动态调制系数和所述初始损失函数，确定所述动态损失函数。
12.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：基于所述样本标签和所述样本特征信息，通过所述动态损失函数中的初始损失函数计算针对所述待训练模型的初始损失值；通过所述动态损失函数中的动态调制系数调节所述初始损失值，得到所述动态损失值。
13.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：基于所述样本标签和所述样本特征信息，通过所述初始损失函数计算所述样本信息单元在所述实际特征分类上的第一损失值，以及计算所述样本信息单元在各个非实际特征分类上的第二损失值；对所述第一损失值和所述第二损失值进行求和，得到所述初始损失值。
14.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：按照预定训练次数，通过所述动态损失函数对待训练模型进行训练，得到所述预定训练次数的信息提取参考模型；对所述预定训练次数的信息提取参考模型进行求平均处理，得到所述信息提取模型。
15.根据本技术实施例的一个方面，提供了一种信息提取方法，包括：获取目标图像，所述目标图像中包括至少一个信息单元；获取通过如所述信息提取模型的训练方法得到的信息提取模型；通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息，所述特征信息包括所述信息单元分别属于各个特征分类的概率。
16.根据本技术实施例的一个方面，提供了一种信息提取装置，包括：第二获取单元，被用于获取目标图像，所述目标图像中包括至少一个信息单元；第三获取单元，被用于获取通过如所述信息提取模型的训练方法得到的信息提取模型；提取单元，被用于通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息，所述特征信息包括所述信息单元分别属于各个特征分类的概率。
17.在本技术的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述至少一个信息单元组成一个或者多个包含所述字符单元的公式，所述信息提取装置还包括：第四获取单元，被用于在通过所述信息提取模型，提取所述目标图像中各个信息单元的特征
信息，作为目标特征信息之后，针对每一个字符单元，通过所述目标特征信息，获取所述字符单元分别属于各个特征分类的概率；将所述概率最大的特征分类确定为所述字符单元的真实特征分类。
18.在本技术的一些实施例中，基于前述方案，所述信息提取装置还包括：编辑单元，被用于在将所述概率最大的特征分类确定为所述字符单元的真实特征分类之后，获取各个字符单元对应的真实特征分类；按照所述各个字符单元对应的真实特征分类，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
19.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例中所述的信息提取模型的训练方法或所述的信息提取方法。
20.根据本技术实施例的一个方面，还提供了一种信息提取模型的训练装置，其特征在于，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的信息提取模型的训练方法的指令。
21.根据本技术实施例的一个方面，还提供了一种信息提取装置，其特征在于，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的信息提取方法的指令。
22.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如上述实施例中所述的信息提取模型的训练方法所执行的操作或所述的信息提取方法所执行的操作。
23.在本技术的一些实施例所提供的技术方案中，经过用于调节所述待训练模型在训练过程中对不同特征分类的信息单元的注意力的动态损失函数，可以训练得到信息提取模型。由于所述信息提取模型由待训练模型经过动态损失函数训练得到，且所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的信息单元的注意力，使得所述待训练模型能够以不同的专注程度学习不同特征分类的信息单元，比如，增强针对难以学习的特征分类的信息单元的专注程度，降低容易学习的特征分类的信息单元的专注程度，故能够均衡的学习到各个特征分类的信息单元，从整体上增强所述待训练模型的学习效果，进而保证了信息提取模型具有较高的信息提取能力。因此，所述信息提取模型能够提高对信息提取的准确度。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
26.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图；
27.图2示出了根据本技术一个实施例的信息提取模型的训练方法的流程图；
28.图3示出了根据本技术一个实施例的获取样本图像的细节流程图；
29.图4示出了根据本技术一个实施例的从所述预处理样本图像中选定预定数量的图像作为所述样本图像的细节流程图；
30.图5示出了根据本技术一个实施例的基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练的细节流程图；
31.图6示出了根据本技术一个实施例的训练所述待训练模型的框架示意图；
32.图7示出了根据本技术一个实施例的获取动态损失函数的细节流程图；
33.图8示出了根据本技术一个实施例的基于所述预测概率和所述初始损失函数，确定所述动态损失函数的细节流程图；
34.图9示出了根据本技术一个实施例的基于所述样本标签和所述样本特征信息，通过所述动态损失函数计算针对所述待训练模型的动态损失值的细节流程图；
35.图10示出了根据本技术一个实施例的基于所述样本标签和所述样本特征信息，通过所述动态损失函数中的初始损失函数计算针对所述待训练模型的初始损失值的细节流程图；
36.图11示出了根据本技术一个实施例的通过动态损失函数对待训练模型进行训练的细节流程图；
37.图12示出了根据本技术一个实施例的信息提取方法的流程图；
38.图13示出了根据本技术一个实施例的在通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息之后的方法流程图；
39.图14示出了根据本技术一个实施例的信息提取模型的训练装置的框图；
40.图15示出了根据本技术一个实施例的信息提取模型的训练装置的框图。
具体实施方式
41.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
42.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
43.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
44.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也
不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
45.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
46.需要注意的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在图示或描述的那些以外的顺序实施。
47.本技术中的实施例有涉及到关于人工智能的技术，即通过人工智能实现了对数据(例如图像数据)的完全自动化处理。人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
48.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图。
49.如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等，但并不局限于此，本技术在此不做限制)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
50.在本技术的一个实施例中，用户在需要识别目标图像中至少一个信息单元所反映的特征信息时，可以通过终端设备将包括至少一个信息单元的目标图像发送至服务器105，服务器105在获取目标图像之后，获取信息提取模型，并通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息，所述特征信息包括所述信息单元分别属于各个特征分类的概率。其中，所述信息提取模型可以由服务器105通过如下方式得到：首先，获取样本图像，所述样本图像中包括至少一个样本信息单元，然后，为所述样本图像中所述至少一个样本信息单元确定各自对应的样本标签，每个所述样本标签用于表征所述样本信息单元的实际特征信息，最后，基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练，得到信息提取模型，所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的样本信息单元的注意力。
51.需要说明的是，本技术所提出的特征信息，可以包括信息单元自身的形状特征信息，也可以包括信息单元的位置特征信息(例如与其它信息单元之间的相对位置关系)，还可以同时包括信息单元自身的形状特征信息和位置特征信息。
52.比如，以图像中的公式识别场景为例，所述信息单元可以是字符单元，所述目标图像中的至少一个信息单元组成一个或者多个包含所述字符单元的公式，可以理解的是，公式中字符单元的特征信息可以包括每个字符单元的形状特征信息和/或字符单元之间的相对位置关系特征信息。
53.进一步的，所述特征信息可以以特征向量的形式进行表现，例如，一个信息单元对
应的特征向量可以是“[x
1 x
2 x3ꢀ……ꢀ
xn]”，其中，x
1 x
2 x3ꢀ……ꢀ
x n
可以分别表示该信息单元分别属于各个特征分类的概率，如果x3值最大，则表示x3对应的特征分类属于该信息单元的实际特征分类。
[0054]
为了使本领域技术人员更好的理解本技术，下面继续以图像中的公式识别场景为例，其中，[a b c d e]表示由所述信息提取模型提取的一个字符单元的特征信息(例如形状特征信息)，“a”、“b”、“c”、“d”、“e”分别对应反映的字符单元的特征分类为字符“a”、字符“b”、字符“c”、字符“d”、字符“e”，如果该字符单元的特征信息为“[0.95 0.12 0.01 0.03 0.21]”，则该字符单元的实际特征分类可能为字符“a”。
[0055]
在本技术中，值得一提的是，在目前常用的手写公式的数据集chrome2014中，共有209类字符类别，可见，在该应用中，每一个字符对应的特征信息可以为一个包括209个数字的特征向量。
[0056]
在本实施例中，由于所述信息提取模型由待训练模型经过动态损失函数训练得到，且所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的信息单元的注意力，使得所述待训练模型能够以不同的专注程度学习不同特征分类的信息单元，比如，增强针对难以学习的特征分类的信息单元的专注程度，降低容易学习的特征分类的信息单元的专注程度，故能够均衡的学习到各个特征分类的信息单元，从整体上增强所述待训练模型的学习效果，进而保证了信息提取模型具有较高的信息提取能力。因此，所述信息提取模型能够提高对信息提取的准确度。
[0057]
需要说明的是，本技术实施例所提供的信息提取模型的训练方法可以由服务器105执行，相应地，信息提取模型的训练装置一般设置于服务器105中。但是，在本技术的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本技术实施例所提供的信息提取模型的训练方案。
[0058]
还需要说明的是，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0059]
需要解释的是，如上所述的云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。通过建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
[0060]
以下对本技术实施例的技术方案的实现细节进行详细阐述：
[0061]
图2示出了根据本技术一个实施例的信息提取模型的训练方法的流程图，该信息提取模型的训练方法可以由具有计算处理功能的设备来执行，比如可以由图1中所示的服务器105来执行，或者可以由图1中所示的终端设备来执行。参照图2所示，该信息提取模型的训练方法至少包括步骤210至步骤250，详细介绍如下：
[0062]
在步骤210中，获取样本图像，所述样本图像中包括至少一个样本信息单元。
[0063]
在本技术中，样本图像中的样本信息单元可以是组成图像中公式或者文本的字符单元，也可以是组成图像中某些特定图案的图形单元。
[0064]
在如图2所示步骤210的一个实施例中，获取样本图像，可以按照如图3所示的步骤执行。
[0065]
参见图3，示出了根据本技术一个实施例的获取样本图像的细节流程图。具体包括步骤211至步骤214：
[0066]
步骤211，获取至少一帧原始样本图像。
[0067]
步骤212，将各帧原始样本图像的高度调节至预设图像高度，或者将各帧原始样本图像的宽度调节至预设图像宽度。
[0068]
步骤213，按照所述高度的调节比例或者所述宽度的调节比例，对所述原始样本图像的宽度或者所述原始样本图像的高度进行调节处理，得到预处理样本图像。
[0069]
步骤214，从所述预处理样本图像中选定预定数量的图像作为所述样本图像。
[0070]
在本实施例中，所述原始样本图像可以是指最初采集的样本图像，其在数量上可以是一帧，也可以是多帧，例如一千帧，还例如一万帧，具体的样本图像数量可以根据实际情况确定。在每一帧样本图像中，都可以包括至少一个信息单元。
[0071]
需要说明的是，对于最初采集的样本图像，可能会存在尺寸不统一的情况，针对该情况，需要对原始样本图像进行预处理。具体的，可以将各帧原始样本图像的高度或者宽度调节至预设图像高度或者预设图像宽度，并按照所述高度或者所述宽度的调节比例，对所述原始样本图像的宽度或者高度进行调节处理。
[0072]
比如，原始样本图像共包括5帧，其中高宽尺寸分别为第一帧15
×
30、第二帧5
×
15、第三帧20
×
30、第四帧5
×
30、第五帧15
×
45。以将样本图像的宽度放大至预设图像宽度60为例。可见，第一帧图像的宽度放大比例为2倍，第二帧图像的宽度放大比例为4倍，第三帧图像的宽度放大比例为2倍，第四帧图像的宽度放大比例为2倍，第一帧图像的宽度放大比例为2倍，第一帧图像的宽度放大比例为4/3倍。
[0073]
按照与图像宽度的相同的放大比例对图像高度进行放大，得到预处理样本图像的高宽尺寸分别为第一帧30
×
60、第二帧20
×
60、第三帧40
×
60、第四帧10
×
60、第五帧20
×
60。
[0074]
在得到预处理的样本图像之后，可以从所述预处理样本图像中选定预定数量的图像作为所述样本图像。
[0075]
在本技术中，将各帧原始样本图像的高度或者宽度调节至预设图像高度或者预设图像宽度，其好处在于，可以在后续中加快模型训练。
[0076]
在如图3所示步骤214的一个实施例中，从所述预处理样本图像中选定预定数量的图像作为所述样本图像，可以按照如图4所示的步骤执行。
[0077]
参见图4，示出了根据本技术一个实施例的从所述预处理样本图像中选定预定数量的图像作为所述样本图像的细节流程图。具体包括步骤2141至步骤2142：
[0078]
步骤2141，按照所述预处理样本图像的高度或者宽度，对所述预处理样本图像进行排序。
[0079]
步骤2142，从所述预处理样本图像中选定排序相连的预定数量的图像作为所述样
gradient)更新控制器，这样不断的迭代循环。在下一次迭代中，控制器将有更高的概率提出一个高准确率的网络结构。基于此，通过网络结构搜索的方式获取编码器模型，其好处在于可以获取较优的编码器模型，从而使得构建的待训练模型具有准确的学习能力。
[0092]
在本技术的一个实施例中，所述编码器模型可以包括密集连接卷积网络模型(densely connected convolutional networks，densenet)，mobilenetv2模型，以及xception模型中的任意一种。
[0093]
在本技术的一个实施例中，所述解码器模型可以包括gru模型，lstm模型，以及transformer模型中的任意一种。
[0094]
在本技术的一个实施例中，在对所述待训练模型进行训练之前，还可以基于模型剪枝算法，模型蒸馏算法，以及模型量化算法中的任意一种，对所述编码器模型和所述解码器模型中的至少一种模型进行压缩处理。
[0095]
在本技术中，对所述编码器模型和所述解码器模型中的至少一种模型进行压缩处理，其好处在于，可以在模型精度损失较小或者无损的情况下，将所述编码器模型和所述解码器模型的模型体积进一步减少，从而可以进一步加快计算速度，同时还能节省计算机资源。
[0096]
在如图2所示步骤250的一个实施例中，基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练，得到信息提取模型，可以按照如图5所示的步骤执行。
[0097]
参见图5，示出了根据本技术一个实施例的基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练的细节流程图。具体包括步骤251至步骤253：
[0098]
步骤251，将所述样本图像输入至所述待训练模型，并获取由所述待训练模型输出的针对所述样本图像中各个样本信息单元的样本特征信息。
[0099]
步骤252，获取动态损失函数，并基于所述样本标签和所述样本特征信息，通过所述动态损失函数计算针对所述待训练模型的动态损失值。
[0100]
步骤253，通过所述动态损失值对所述待训练模型中的模型参数进行反向更新，得到所述信息提取模型。
[0101]
为了使本领域技术人员更好的理解本实施例中训练待训练模型的过程，下面继续以图像中的公式识别场景为例，结合图6进行说明。
[0102]
参照图6，示出了根据本技术一个实施例的训练所述待训练模型的框架示意图。
[0103]
如图6所示，首先，将包含有公式“a+b-c”的样本图像601输入至待训练模型602，在待训练模型602中，编码器模型针对样本图像601进行编码，得到编码特征数据，然后，解码器模型对该编码特征数据进行解码，得到公式中各个字符单元的样本特征信息。以字符单元“b”为例，待训练模型602输出字符单元“b”的样本特征信息603，然后，基于样本特征信息703和预先确定的关于字符“b”样本标签604，通过动态损失函数计算针对字符单元“b”的动态损失值。最后，通过所述动态损失值对待训练模型中602的模型参数进行反向更新，得到信息提取模型。
[0104]
在如图5所示步骤252的一个实施例中，获取动态损失函数，可以按照如图7所示的步骤执行。
[0105]
参见图7，示出了根据本技术一个实施例的获取动态损失函数的细节流程图。具体
包括步骤2521至步骤2523：
[0106]
步骤2521，通过所述样本标签，确定所述样本信息单元所属的实际特征分类。
[0107]
步骤2522，通过所述样本特征信息，确定所述信息单元属于所述实际特征分类的预测概率。
[0108]
步骤2523，获取初始损失函数，并基于所述预测概率和所述初始损失函数，确定所述动态损失函数。
[0109]
在本技术中，由于所述样本标签反映了信息单元的实际特征信息，所以，可以根据样本标签直接确定所述样本信息单元所属的实际特征分类，在确定所述样本信息单元所属的实际特征分类之后，可以理解的是，可以进一步通过所述样本特征信息直接确定所述信息单元属于所述实际特征分类的预测概率。
[0110]
比如，在图像中的公式识别场景中，针对某一个字符单元，其对应的样本标签为“[1 0 0 0 0]”，待训练模型提取的针对该字符单元的样本特征信息为“[0.95 0.12 0.01 0.03 0.21]”。基于此，可以根据样本标签“[1 0 0 0 0]”直接确定字符单元所属的实际特征分类为字符“a”，进一步可以确定该字符单元属于实际特征分类为字符“a”的预测概率为0.95。
[0111]
在本实施例的步骤2523中，基于所述预测概率和所述初始损失函数，确定所述动态损失函数，可以按照如图8所示的步骤执行：
[0112]
参见图8，示出了根据本技术一个实施例的基于所述预测概率和所述初始损失函数，确定所述动态损失函数的细节流程图，确定所述动态损失函数的细节流程图。具体包括步骤25231至步骤25232：
[0113]
步骤25231，通过所述预测概率，确定动态调制系数，所述动态调制系数与所述预测概率负相关，所述动态调制系数用于调节所述待训练模型在训练过程中对所述实际特征分类的样本信息单元的注意力。
[0114]
步骤25232，基于所述动态调制系数和所述初始损失函数，确定所述动态损失函数。
[0115]
在本实施例的一个具体示例中，基于所述动态调制系数和所述初始损失函数，可以确定如下动态损失函数dfl1:
[0116]
dfl1＝-(1-p
i,c
)
γ
log(1-(p
t,c-p
i,c
)2)
[0117]
其中，dfl1表示损失值；p
i,c
表示当前信息单元属于实际特征分类的预测概率；p
t,c
表示当前信息单元属于实际特征分类的实际概率，为1；(1-p
i,c
)
γ
表示动态调制系数；-log(1-(p
t,c-p
i,c
)2)表示初始损失函数。
[0118]
在本实施例的另一个具体示例中，基于所述动态调制系数和所述初始损失函数，可以确定如下动态损失函数dfl2:
[0119][0120]
dfl2表示损失值；p
i,c
表示当前信息单元属于实际特征分类的预测概率；p
t,j
表示当前信息单元属于第j个特征分类的实际概率，当前信息单元属于实际特征分类的实际概率为1，当前信息单元属于其它特征分类的实际概率为0；p
i,j
表示当前信息单元属于第j个
特征分类的预测概率；(1-p
i,c
)
γ
表示动态调制系数；表示初始损失函数。
[0121]
在如图5所示步骤252的一个实施例中，基于所述样本标签和所述样本特征信息，通过所述动态损失函数计算针对所述待训练模型的动态损失值，可以按照如图9所示的步骤执行。
[0122]
参见图9，示出了根据本技术一个实施例的基于所述样本标签和所述样本特征信息，通过所述动态损失函数计算针对所述待训练模型的动态损失值的细节流程图。具体包括步骤2524至步骤2525：
[0123]
步骤2524，基于所述样本标签和所述样本特征信息，通过所述动态损失函数中的初始损失函数计算针对所述待训练模型的初始损失值。
[0124]
步骤2525，通过所述动态损失函数中的动态调制系数调节所述初始损失值，得到所述动态损失值。
[0125]
为了使本领域技术人员更好的理解本实施例，下面继续以图像中的公式识别场景为例，结合图损失函数dfl1进行说明。
[0126]
比如，针对字符单元“b”，若其对应的样本标签为“[0 1 0 0 0]”，待训练模型提取的针对该字符单元的样本特征信息为“[0.1 0.9 0.2 0.1 0.3]”。基于此，可根据损失函数dfl1中的初始损失函数计算初始损失值为：-log(1-(1-0.9)2)，计算损失函数dfl1中的动态调制系数为：(1-0.9)
γ
＝0.1
γ
，最终得到动态损失值：-0.1
γ
log(1-(1-0.9)2)。
[0127]
还比如，比如，针对字符单元“c”，若其对应的样本标签为“[0 0 1 0 0]”，待训练模型提取的针对该字符单元的样本特征信息为“[0.1 0.1 0.6 0.1 0.3]”。基于此，可根据损失函数dfl1中的初始损失函数计算初始损失值为：-log(1-(1-0.6)2)，计算损失函数dfl1中的动态调制系数为：(1-0.6)
γ
＝0.4
γ
，最终得到动态损失值：-0.4
γ
log(1-(1-0.6)2)。
[0128]
可见，通过对比上述针对字符单元“b”和针对字符单元“c”的示例可知，当针对字符单元“b”属于实际特征分类的预测概率较高(即准确，说明字符单元“b”分布数量较多，为容易学习的特征分类)时，通过动态损失函数调节初始损失值，使得针对字符单元“b”的损失变小，可以降低所述待训练模型对字符单元“b”学习时的专注程度。当针对字符单元“c”属于实际特征分类的预测概率较低(即不准确，说明字符单元“c”分布数量较多，为困难学习的特征分类)时，通过动态损失函数调节初始损失值，使得针对字符单元“c”的损失变大，可以增强所述待训练模型对字符单元“c”学习时的专注程度。基于此，通过所述动态损失函数中的动态调制系数调节所述初始损失值，能够使待训练模型均衡的学习到各个特征分类的信息单元，能让模型快速收敛，从而从整体上增强所述待训练模型的学习效果，进而保证了信息提取模型具有较高的信息提取能力。
[0129]
进一步的，在本实施例中，基于所述样本标签和所述样本特征信息，通过所述动态损失函数中的初始损失函数计算针对所述待训练模型的初始损失值，如果按照损失函数dfl2，可以按照如图10所示的步骤执行：
[0130]
参见图10，示出了根据本技术一个实施例的基于所述样本标签和所述样本特征信息，通过所述动态损失函数中的初始损失函数计算针对所述待训练模型的初始损失值的细节流程图。具体包括步骤25241至步骤25242：
[0131]
步骤25241，基于所述样本标签和所述样本特征信息，通过所述初始损失函数计算所述样本信息单元在所述实际特征分类上的第一损失值，以及计算所述样本信息单元在各个非实际特征分类上的第二损失值。
[0132]
步骤25242，对所述第一损失值和所述第二损失值进行求和，得到所述初始损失值。
[0133]
为了使本领域技术人员更好的理解本实施例，下面继续以图像中的公式识别场景为例，结合图损失函数dfl2进行说明。
[0134]
比如，针对字符单元“b”，若其对应的样本标签为“[0 1 0 0 0]”，待训练模型提取的针对该字符单元的样本特征信息为“[0.1 0.9 0.2 0.1 0.3]”。基于此，可根据损失函数dfl1中的初始损失函数计算初始损失值为：
[0135]-[log(1-(0-0.1)2)+[log(1-(1-0.9)2)+][log(1-(0-0.2)2)+][log(1-(0-0.1)2)+][log(1-(0-0.3)2)+]]
[0136]
可见，本实施例不仅考虑了样本信息单元在实际特征分类上的损失，而且还考虑了样本信息单元在各个非实际特征分类上的损失，做到了在同等重要的真类和负类上评估损失，从而有利于待训练模型在训练时达到最佳收敛。进而从整体上增强所述待训练模型的学习效果，保证了信息提取模型具有较高的信息提取能力。
[0137]
在如图2所示步骤250的一个实施例中，通过动态损失函数对待训练模型进行训练，得到所述信息提取模型，可以按照如图11所示的步骤执行。
[0138]
参见图11，示出了根据本技术一个实施例的通过动态损失函数对待训练模型进行训练的细节流程图。具体包括步骤254至步骤255:
[0139]
步骤254，按照预定训练次数，通过所述动态损失函数对待训练模型进行训练，得到所述预定训练次数的信息提取参考模型。
[0140]
步骤255，对所述预定训练次数的信息提取参考模型进行求平均处理，得到所述信息提取模型。
[0141]
在本实施例中，可以通过所述样本图像和所述样本标签对所述待训练模型进行多轮训练，例如进行12轮训练，其中，每一轮训练都会得到一个信息提取参考模型，然后对得到的多个信息提取参考模型求平均处理，得到所述信息提取模型。这样做的好处在于，可以提高模型的精度，增强所述信息提取模型对图像中的特征信息进行提取的准确性。
[0142]
下面，将结合图12说明本技术一个实施例的信息提取方案。
[0143]
参见图12，示出了根据本技术一个实施例的信息提取方法的流程图。该信息提取方法可以由具有计算处理功能的设备来执行，比如可以由图1中所示的服务器105来执行，或者可以由图1中所示的终端设备来执行。参照图12所示，该信息提取方法至少包括步骤220至步骤260，详细介绍如下：
[0144]
步骤220，获取目标图像，所述目标图像中包括至少一个信息单元。
[0145]
在本技术中，所提出的信息提取方案可以应用于图像中目标对象的信息识别场景，比如可以是图像中的公式识别场景，也可以是图像中的文本识别场景，还可以是图像中的某些特定图案识别场景。进一步的，图像中目标对象可以是由至少一个信息单元构成，比如，图像中的公式或者文本可以是由至少一个字符单元构成的，还比如，图像中的某些特定图案可以是由至少一个图形单元构成的。
[0146]
需要说明是，所述目标图像可以是通过截取界面中的包含有目标对象的页面区域获取的，也可以是直接在本地获取的。
[0147]
步骤240，获取通过如所述信息提取模型的训练方法得到的信息提取模型。
[0148]
步骤260，通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息，所述特征信息包括所述信息单元分别属于各个特征分类的概率。
[0149]
在本技术中，继续以图像中的公式识别场景为例，所述信息单元可以包括字符单元，所述至少一个信息单元可以组成一个或者多个包含所述字符单元的公式。在如图12所示步骤260之后的一个实施例中，即在通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息之后，还可以执行如图13所示的步骤：
[0150]
参见图13，示出了根据本技术一个实施例的在通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息之后的方法流程图。具体包括步骤261至步骤262：
[0151]
步骤261，针对每一个字符单元，通过所述目标特征信息，获取所述字符单元分别属于各个特征分类的概率。
[0152]
步骤262，将所述概率最大的特征分类确定为所述字符单元的真实特征分类。
[0153]
进一步的，在如图13所示步骤262之后，即在将所述概率最大的特征分类确定为所述字符单元的真实特征分类之后，还可以执行如下步骤1至步骤2：
[0154]
步骤1，获取各个字符单元对应的真实特征分类。
[0155]
步骤2，按照所述各个字符单元对应的真实特征分类，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
[0156]
具体的，在该应用场景中，用户在编辑文档时，可以在网页上截取需要编辑的公式图像，然后基于本技术提出的信息提取方案，对数所述公式图像中至少一个字符单元的第一特征信息进行提取，得到目标特征信息，然后再基于所述目标特征信息，确定各个字符单元对应的真实特征分类，并进一步按照所述各个字符单元对应的真实特征分类，将所述目标图像中的一个或者多个公式编辑至公式编辑区域，可见，本技术提出的信息提取方法可以为用户在公式编辑过程中带来极大的便利和优良的用户体验。
[0157]
本技术中，由于所述信息提取模型由待训练模型经过动态损失函数训练得到，且所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的信息单元的注意力，使得所述待训练模型能够以不同的专注程度学习不同特征分类的信息单元，比如，增强针对难以学习的特征分类的信息单元的专注程度，降低容易学习的特征分类的信息单元的专注程度，故能够均衡的学习到各个特征分类的信息单元，从整体上增强所述待训练模型的学习效果，进而保证了信息提取模型具有较高的信息提取能力。因此，所述信息提取模型能够提高对信息提取的准确度。
[0158]
以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的信息提取模型的训练方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的信息提取模型的训练方法的实施例。
[0159]
图14示出了根据本技术一个实施例的信息提取模型的训练装置的框图。
[0160]
参照图14所示，根据本技术的一个实施例的信息提取模型的训练装置1400，包括：第一获取单元1401、确定单元1402和训练单元1403。
[0161]
其中，第一获取单元1401，被用于获取样本图像，所述样本图像中包括至少一个样本信息单元；确定单元1402，被用于为所述样本图像中所述至少一个样本信息单元确定各自对应的样本标签，每个所述样本标签用于表征所述样本信息单元的实际特征信息；训练单元1403，被用于基于所述样本图像和所述样本标签，通过动态损失函数对待训练模型进行训练，得到信息提取模型，所述动态损失函数用于调节所述待训练模型在训练过程中对不同特征分类的样本信息单元的注意力。
[0162]
在本技术的一些实施例中，基于前述方案，所述第一获取单元1401配置为：获取至少一帧原始样本图像；将各帧原始样本图像的高度调节至预设图像高度，或者将各帧原始样本图像的宽度调节至预设图像宽度；按照所述高度的调节比例或者所述宽度的调节比例，对所述原始样本图像的宽度或者所述原始样本图像的高度进行调节处理，得到预处理样本图像；从所述预处理样本图像中选定预定数量的图像作为所述样本图像。
[0163]
在本技术的一些实施例中，基于前述方案，所述第一获取单元1401还配置为：按照所述预处理样本图像的高度或者宽度，对所述预处理样本图像进行排序；从所述预处理样本图像中选定排序相连的预定数量的图像作为所述样本图像。
[0164]
在本技术的一些实施例中，基于前述方案，所述训练单元1403配置为：将所述样本图像输入至所述待训练模型，并获取由所述待训练模型输出的针对所述样本图像中各个样本信息单元的样本特征信息；获取动态损失函数，并基于所述样本标签和所述样本特征信息，通过所述动态损失函数计算针对所述待训练模型的动态损失值；通过所述动态损失值对所述待训练模型中的模型参数进行反向更新，得到所述信息提取模型。
[0165]
在本技术的一些实施例中，基于前述方案，所述训练单元1403还配置为：通过所述样本标签，确定所述样本信息单元所属的实际特征分类；通过所述样本特征信息，确定所述信息单元属于所述实际特征分类的预测概率；获取初始损失函数，并基于所述预测概率和所述初始损失函数，确定所述动态损失函数。
[0166]
在本技术的一些实施例中，基于前述方案，所述训练单元1403还配置为：通过所述预测概率，确定动态调制系数，所述动态调制系数与所述预测概率负相关，所述动态调制系数用于调节所述待训练模型在训练过程中对所述实际特征分类的样本信息单元的注意力；基于所述动态调制系数和所述初始损失函数，确定所述动态损失函数。
[0167]
在本技术的一些实施例中，基于前述方案，所述训练单元1403还配置为：基于所述样本标签和所述样本特征信息，通过所述动态损失函数中的初始损失函数计算针对所述待训练模型的初始损失值；通过所述动态损失函数中的动态调制系数调节所述初始损失值，得到所述动态损失值。
[0168]
在本技术的一些实施例中，基于前述方案，所述训练单元1403还配置为：基于所述样本标签和所述样本特征信息，通过所述初始损失函数计算所述样本信息单元在所述实际特征分类上的第一损失值，以及计算所述样本信息单元在各个非实际特征分类上的第二损失值；对所述第一损失值和所述第二损失值进行求和，得到所述初始损失值。
[0169]
在本技术的一些实施例中，基于前述方案，所述训练单元1403还配置为：按照预定训练次数，通过所述动态损失函数对待训练模型进行训练，得到所述预定训练次数的信息提取参考模型；对所述预定训练次数的信息提取参考模型进行求平均处理，得到所述信息提取模型。
[0170]
本技术还提供了一种信息提取装置，所述装置包括：第二获取单元，被用于获取目标图像，所述目标图像中包括至少一个信息单元；第三获取单元，被用于获取通过如所述信息提取模型的训练方法得到的信息提取模型；提取单元，被用于通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息，所述特征信息包括所述信息单元分别属于各个特征分类的概率。
[0171]
在本技术的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述至少一个信息单元组成一个或者多个包含所述字符单元的公式，所述信息提取装置还包括：第四获取单元，被用于在通过所述信息提取模型，提取所述目标图像中各个信息单元的特征信息，作为目标特征信息之后，针对每一个字符单元，通过所述目标特征信息，获取所述字符单元分别属于各个特征分类的概率；将所述概率最大的特征分类确定为所述字符单元的真实特征分类。
[0172]
在本技术的一些实施例中，基于前述方案，所述信息提取装置还包括：编辑单元，被用于在将所述概率最大的特征分类确定为所述字符单元的真实特征分类之后，获取各个字符单元对应的真实特征分类；按照所述各个字符单元对应的真实特征分类，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
[0173]
作为另一方面，本技术实施例还提供了另一种信息提取模型的训练装置，以及信息提取装置，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的信息提取模型的训练方法的指令，以及信息提取方法的指令。
[0174]
图15示出了根据本技术一个实施例的信息提取模型的训练装置或信息提取装置的框图。例如，装置1500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0175]
参照图15，装置1500可以包括以下一个或多个组件：处理组件1502，存储器1504，电源组件1506，多媒体组件1508，音频组件1510，输入/输出(i/o)的接口1512，传感器组件1514，以及通信组件1516。
[0176]
处理组件1502通常控制装置1500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1502可以包括一个或多个处理器1518来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1502可以包括一个或多个模块，便于处理组件1502和其他组件之间的交互。例如，处理组件1502可以包括多媒体模块，以方便多媒体组件1508和处理组件1502之间的交互。
[0177]
存储器1504被配置为存储各种类型的数据以支持在设备1500的操作。这些数据的示例包括用于在装置1500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0178]
电源组件1506为装置1500的各种组件提供电力。电源组件1506可以包括电源管理系统，一个或多个电源，及其他与为装置1500生成、管理和分配电力相关联的组件。
[0179]
多媒体组件1508包括在所述装置1500和用户之间的提供一个输出接口的屏幕。在
一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1508包括一个前置摄像头和/或后置摄像头。当设备1500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0180]
音频组件1510被配置为输出和/或输入音频信号。例如，音频组件1510包括一个麦克风(mic)，当装置1500处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中，音频组件1510还包括一个扬声器，用于输出音频信号。
[0181]
i/o接口1512为处理组件1502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0182]
传感器组件1514包括一个或多个传感器，用于为装置1500提供各个方面的状态评估。例如，传感器组件1514可以检测到设备1500的打开/关闭状态，组件的相对定位，例如所述组件为装置1500的显示器和小键盘，传感器组件1514还可以搜索结果展示装置1500或装置1500一个组件的位置改变，用户与装置1500接触的存在或不存在，装置1500方位或加速/减速和装置1500的温度变化。传感器组件1514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0183]
通信组件1516被配置为便于装置1500和其他设备之间有线或无线方式的通信。装置1500可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件1516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1516还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频信息处理(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0184]
在示例性实施例中，装置1500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0185]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1504，上述指令可由装置1500的处理器1518执行以完成上述的信息提取模型的训练方法，以及信息提取方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0186]
作为另一方面，本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使
得该计算机设备执行实现上述实施例中所述的信息提取模型的训练方法，以及信息提取方法。
[0187]
作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由该装置的处理器加载并执行以实现如上述实施例中所述的信息提取模型的训练方法所执行的操作，以及信息提取方法所执行的操作。
[0188]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0189]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
[0190]
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
[0191]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。