信息提取方法、装置及介质与流程

1.本技术涉及计算机及人工智能技术领域，具体而言，涉及一种信息提取方法、装置及介质。


背景技术：

2.在信息提取场景中，比如在针对图像中的信息提取场景(例如提取图像中的公式或者文本)，通常是对图像中的信息单元依次进行切分，识别，后处理的过程来提取图像中的信息。然而，在对图像中的信息单元依次进行切分，识别，后处理的过程中，会存在误差积累的情况，导致图像中的信息提取不准确，基于此，如何提高信息提取的准确度是亟待解决的技术问题。


技术实现要素：

3.本技术的实施例提供了一种信息提取方法、装置、计算机程序产品或计算机程序、计算机可读介质，进而至少在一定程度上可以提高信息提取的准确度。
4.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
5.根据本技术实施例的一个方面，提供了一种信息提取方法，包括：获取目标图像，所述目标图像中包括至少一个信息单元；获取信息提取模型，所述信息提取模型通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到；通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息。
6.根据本技术实施例的一个方面，提供了一种信息提取装置，包括：第一获取单元，被用于获取目标图像，所述目标图像中包括至少一个信息单元；第二获取单元，被用于获取信息提取模型，所述信息提取模型通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到；提取单元，被用于通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息。
7.在本技术的一些实施例中，基于前述方案，所述第二获取单元包括：第三获取单元，被用于获取训练样本图像；确定单元，被用于为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签，得到多个训练标签，其中，每一个训练标签用于表征所述至少一个信息单元在对应特征类型上的特征信息；第四获取单元，被用于获取待训练模型，并通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述信息提取模型。
8.在本技术的一些实施例中，基于前述方案，所述第三获取单元配置为：获取至少一帧原始训练样本图像；将各帧原始训练样本图像的高度或者宽度缩放至预设图像高度或者预设图像宽度，并按照所述高度或者所述宽度的缩放比例，对所述原始训练样本图像的宽度或者高度进行缩放处理，得到预处理训练样本图像；从所述预处理训练样本图像中选定预定数量的图像作为所述训练样本图像。
9.在本技术的一些实施例中，基于前述方案，所述第三获取单元配置为：按照所述预处理训练样本图像的宽度或者高度，对所述预处理训练样本图像进行排序；从所述预处理训练样本图像中选定排序相连的预定数量的图像作为所述训练样本图像。
10.在本技术的一些实施例中，基于前述方案，所述信息单元包括显性信息单元和隐性信息单元，所述确定单元配置为：获取与每一个特征类型相匹配的信息单元字典，所述信息单元字典中至少记录有全部显性信息单元所对应的特征向量；基于每一个信息单元字典中记录的特征向量，为所述训练样本图像中的至少一个信息单元构造在对应特征类型上的训练标签。
11.在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：通过网络结构搜索获取编码器模型和解码器模型，所述编码器模型用于对图像进行编码，所述解码器模型用于对所述编码器编码的特征进行解码，得到所述图像中的至少一个信息单元的第二特征信息；基于所述编码器模型和所述解码器模型，构建所述待训练模型。
12.在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：按照预定训练次数，通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述预定训练次数的信息提取参考模型；对所述预定训练次数的信息提取参考模型进行求平均处理，得到所述信息提取模型。
13.在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：将所述训练样本图像输入至所述待训练模型，并获取由所述待训练模型输出的所述训练样本图像中的至少一个信息单元的第三特征信息；基于每一个特征类型对应的训练标签，在所述第三特征信息中确定在对应特征类型上存在的误差信息；基于在各个特征类型上存在的误差信息，通过与各个特征类型对应的预设损失函数分别对所述待训练模型中的模型参数进行反向更新，得到所述信息提取参考模型。
14.在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：在所述多个训练标签中选择一个目标特征类型对应的训练标签；将所述训练样本图像输入至所述待训练模型，并获取由所述待训练模型输出的所述训练样本图像中的至少一个信息单元的第三特征信息；基于所述目标特征类型对应的训练标签，在所述第三特征信息中确定在所述目标特征类型上存在的目标误差信息；基于所述目标误差信息，通过与所述目标特征类型对应的预设损失函数对所述待训练模型中的模型参数进行反向更新，得到中间信息提取参考模型；将所述中间信息提取参考模型作为新的待训练模型，并重新执行在所述多个训练标签中选择一个目标特征类型对应的训练标签的步骤，直至所述多个训练标签中的标签被全部选择，得到所述信息提取参考模型。
15.在本技术的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述确定单元配置为：为所述训练样本图像中的至少一个字符单元确定在定位特征上的训练标签，所述定位特征用于至少表征所述至少一个字符单元之间的相对关系特征；为所述训练样本图像中的至少一个字符单元确定在形状特征上的训练标签。
16.在本技术的一些实施例中，基于前述方案，所述提取单元配置为：针对所述至少一个信息单元中的每一个目标信息单元，确定排列在所述目标信息单元之前的全部信息单元和部分信息单元；基于所述全部信息单元的特征信息，预测所述目标信息单元的第一参考特征信息；基于所述部分信息单元的特征信息，预测所述目标信息单元的第二参考特征信
息；基于所述至少一个信息单元中各个信息单元的第一参考特征信息和第二参考特征信息，确定所述第一特征信息。
17.在本技术的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述至少一个信息单元组成一个或者多个包含所述字符单元的公式，所述装置还包括编辑单元，被用于在通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息之后，基于所述目标特征信息，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
18.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例中所述的信息提取方法。
19.根据本技术实施例的一个方面，还提供了一种信息提取装置，其特征在于，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的信息提取方法的指令。
20.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如上述实施例中所述的信息提取方法所执行的操作。
21.在本技术的一些实施例所提供的技术方案中，通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到的信息提取模型，可以提取所述目标图像中的至少一个信息单元的第一特征信息。由于信息单元在多个特征类型上的训练标签考虑到了图像中信息单元在多个特征类型上的监督特征信息，使得训练得到的信息提取模型具有精准提取信息的能力，而通过该信息提取模型对目标图像中至少一个信息单元所反映的特征信息进行提取，可以提高信息提取的准确度。
22.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
23.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
24.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图；
25.图2示出了根据本技术一个实施例的信息提取方法的流程图；
26.图3示出了根据本技术一个实施例的获取信息提取模型的细节流程图；
27.图4示出了根据本技术一个实施例的获取训练样本图像的细节流程图；
28.图5示出了根据本技术一个实施例的为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签的细节流程图；
29.图6示出了根据本技术一个实施例的获取待训练模型的细节流程图；
30.图7示出了根据本技术一个实施例的通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练的细节流程图；
31.图8示出了根据本技术一个实施例的通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练的细节流程图；
32.图9示出了根据本技术一个实施例的通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练的细节流程图；
33.图10示出了根据本技术一个实施例的信息提取模型的框架示意图；
34.图11示出了根据本技术一个实施例的提取所述目标图像中的至少一个信息单元的第一特征信息的细节流程图；
35.图12示出了根据本技术一个实施例的信息提取装置的框图；
36.图13示出了根据本技术一个实施例的信息提取装置的框图。
具体实施方式
37.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
38.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
39.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
40.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
41.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
42.需要注意的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在图示或描述的那些以外的顺序实施。
43.本技术中的实施例有涉及到关于人工智能的技术，即通过人工智能实现了对数据(例如图像数据)的完全自动化处理。人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反
应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
44.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图。
45.如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等，但并不局限于此，本技术在此不做限制)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
46.在本技术的一个实施例中，用户在需要识别目标图像中至少一个信息单元所反映的特征信息时，可以通过终端设备将目标图像发送至服务器105，服务器105在获取目标图像之后，获取信息提取模型，其中，所述信息提取模型通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到，然后，服务器105通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息。
47.需要说明的是，本技术所提出的第一特征信息，可以是至少一个信息单元的全部特征信息，也可以是至少一个信息单元的部分特征信息。具体的，第一特征信息可以包括信息单元自身的特征信息，也可以包括信息单元之间的相对关系(例如相对位置关系)特征的信息，还可以同时包括信息单元自身的特征信息和信息单元之间的相对关系特征的信息。
48.比如，以识别图像中公式的场景为例，信息单元可以是公式中的字符单元，可以理解的是，公式中字符单元的第一特征信息可以包括每个字符单元的形状特征信息和/或字符单元之间的相对位置关系特征信息。
49.在本实施中，由训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到的信息提取模型，具有精准提取信息的能力，而通过该信息提取模型对目标图像中至少一个信息单元所反映的特征信息进行提取，可以提高信息提取的准确度。
50.需要说明的是，本技术实施例所提供的信息提取方法可以由服务器105执行，相应地，信息提取装置一般设置于服务器105中。但是，在本技术的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本技术实施例所提供的信息提取方案。
51.还需要说明的是，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
52.需要解释的是，如上所述的云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。通过建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
53.以下对本技术实施例的技术方案的实现细节进行详细阐述：
54.图2示出了根据本技术一个实施例的信息提取方法的流程图，该信息提取方法可
以由具有计算处理功能的设备来执行，比如可以由图1中所示的服务器105来执行，或者可以由图1中所示的终端设备来执行。参照图2所示，该信息提取方法至少包括步骤210至步骤250，详细介绍如下：
55.在步骤210中，获取目标图像，所述目标图像中包括至少一个信息单元。
56.在本技术中，所提出的信息提取方案可以应用于图像中目标对象的信息识别场景，比如可以是识别图像中的公式，也可以是识别图像中的文本，还可以是识别图像中的某些特定图案。进一步的，图像中目标对象可以是由至少一个信息单元构成，比如，图像中的公式或者文本可以是由至少一个字符单元构成的，还比如，图像中的某些特定图案可以是由至少一个图形单元构成的。
57.在本技术中，获取目标图像可以是通过截取界面中的包含有目标对象的页面区域获取的，也可以是直接在本地获取目标图像。
58.继续参照图2，在步骤230中，获取信息提取模型，所述信息提取模型通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到。
59.在本技术中，图像中目标对象的信息识别可以是通过预先构建的信息提取模型实现的，而本技术所提出的信息提取模型可以是通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到的。
60.为了使本领域技术人员更清楚的理解本技术所提出的信息提取模型，下面将详细介绍获取所述信息提取模型技术细节：
61.在如图2所示步骤230的一个实施例中，所述获取信息提取模型，可以按照如图3所示的步骤执行。
62.参见图3，示出了根据本技术一个实施例的获取信息提取模型的细节流程图。具体包括步骤231至步骤233：
63.步骤231，获取训练样本图像。
64.步骤232，为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签，得到多个训练标签，其中，每一个训练标签用于表征所述至少一个信息单元在对应特征类型上的特征信息。
65.步骤233，获取待训练模型，并通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述信息提取模型。
66.在如图3所示步骤231的一个实施例中，所述获取训练样本图像，可以按照如图4所示的步骤执行。
67.参见图4，示出了根据本技术一个实施例的获取训练样本图像的细节流程图。具体包括步骤2311至步骤2313：
68.步骤2311，获取至少一帧原始训练样本图像。
69.步骤2312，将各帧原始训练样本图像的高度或者宽度缩放至预设图像高度或者预设图像宽度，并按照所述高度或者所述宽度的缩放比例，对所述原始训练样本图像的宽度或者高度进行缩放处理，得到预处理训练样本图像。
70.步骤2313，从所述预处理训练样本图像中选定预定数量的图像作为所述训练样本图像。
71.在本实施例中，所述原始训练样本图像可以是指最初采集的样本图像，其在数量
上可以是一帧，也可以是多帧，例如一千帧，还例如一万帧，具体的样本图像数量可以根据实际情况确定。在每一帧样本图像中，都可以包括至少一个信息单元。
72.需要说明的是，对于最初采集的样本图像，可能会存在尺寸不统一的情况，针对该情况，需要对原始样本图像进行预处理。具体的，可以将各帧原始训练样本图像的高度或者宽度缩放至预设图像高度或者预设图像宽度，并按照所述高度或者所述宽度的缩放比例，对所述原始训练样本图像的宽度或者高度进行缩放处理。
73.比如，原始样本图像共包括5帧，其中高宽尺寸分别为第一帧15
×
30、第二帧5
×
15、第三帧20
×
30、第四帧5
×
30、第五帧15
×
45。以将样本图像的宽度放大至预设图像宽度60为例。可见，第一帧图像的宽度放大比例为2倍，第二帧图像的宽度放大比例为4倍，第三帧图像的宽度放大比例为2倍，第四帧图像的宽度放大比例为2倍，第一帧图像的宽度放大比例为2倍，第一帧图像的宽度放大比例为4/3倍。
74.按照与图像宽度的相同的放大比例对图像高度进行放大，得到预处理训练样本图像的高宽尺寸分别为第一帧30
×
60、第二帧20
×
60、第三帧40
×
60、第四帧10
×
60、第五帧20
×
60。
75.在得到预处理的训练样本图像之后，可以从所述预处理训练样本图像中选定预定数量的图像作为所述训练样本图像。
76.在本技术中，将各帧原始训练样本图像的高度或者宽度缩放至预设图像高度或者预设图像宽度，其好处在于，可以在后续中加快模型训练。
77.进一步的，在如图3所示步骤2313中，所述从所述预处理训练样本图像中选定预定数量的图像作为所述训练样本图像，可以通过如下方式执行：
78.首先，可以按照所述预处理训练样本图像的宽度或者高度，对所述预处理训练样本图像进行排序。然后，从所述预处理训练样本图像中选定排序相连的预定数量的图像作为所述训练样本图像。
79.比如，以高宽尺寸分别为第一帧30
×
60、第二帧20
×
60、第三帧40
×
60、第四帧10
×
60、第五帧20
×
60的预处理训练样本图像为例，可以按照所述预处理训练样本图像的高度，对所述预处理训练样本图像进行排序，得到排序第四帧10
×
60、第五帧20
×
60、第二帧20
×
60、第一帧30
×
60、第三帧40
×
60。
80.进一步的，如预定数量设为4，则可以选择将第四帧、第五帧、第二帧、第一帧，或者将第五帧、第二帧、第一帧、第三帧作为所述训练样本图像。
81.在本技术中，在基于训练样本图像训练模型时，为了优化训练效果，训练样本图像的尺寸可以保持一致。基于此，在训练样本图像的高度或者宽度一致，而图像的宽度或者高度不一致时，可以以训练样本图像的最大宽度或者最大高度为参照，对训练样本图像的宽度或者高度进行补充，以使得训练样本图像的高宽尺寸完全一致。
82.而在此之前，对所述预处理训练样本图像进行排序，并从所述预处理训练样本图像中选定排序相连的预定数量的图像作为所述训练样本图像，可以避免训练样本图像中的最大宽度和最小宽度之间，或者最大高度和最小高度之间的差距太大，从而避免对训练样本图像的宽度或者高度做出过多无效信息的补充，使得在模型训练过程中，降低计算机对无效数据的计算量，节省计算机资源。
83.在本技术中，所述信息单元可以包括显性信息单元和隐性信息单元。其中，显性单
元可以指图像中包含的能够直接看见的信息单元，隐性信息单元可以指图像中包含的不能直观看见的信息单元。
84.比如，比如，以识别图像中公式或者文本的场景为例，组成公式或者文本的各个字符单元为显性信息单元，各个字符单元之间的相对关系(例如公式中底数与指数之间的位置关系)为隐性信息单元。
85.在如图3所示步骤232的一个实施例中，所述为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签，可以按照如图5所示的步骤执行。
86.参见图5，示出了根据本技术一个实施例的为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签的细节流程图。具体包括步骤2321至步骤2322：
87.步骤2321，获取与每一个特征类型相匹配的信息单元字典，所述信息单元字典中至少记录有全部显性信息单元所对应的特征向量。
88.步骤2322，基于每一个信息单元字典中记录的特征向量，为所述训练样本图像中的至少一个信息单元构造在对应特征类型上的训练标签。
89.为了使本领域技术人员更好的理解本实施例，下面继续以识别图像中公式或文本的应用场景为例，具体的，在如图2所示步骤232中，所述特征类型在本应用场景中可以包括字符单元的定位特征和字符单元的形状特征。
90.更进一步的，所述为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签，可以包括如下两种：
91.第一种，为所述训练样本图像中的至少一个字符单元确定在定位特征上的训练标签，所述定位特征用于至少表征所述至少一个字符单元之间的相对关系特征。
92.第二种，为所述训练样本图像中的至少一个字符单元确定在形状特征上的训练标签。
93.在本场景中，一方面，与定位特征相匹配的信息单元字典可以包括能够全部列举的显性信息单元和隐性信息单元的特征向量，例如[1 0 0 0
ꢀ……ꢀ
0]为一个显性信息单元(例如字符单元“a”)的特征向量，[0 1 0 0
ꢀ……ꢀ
0]为一个隐性信息单元(例如两个字符单元之间的相对关系为底数与指数的关系)的特征向量。另一方面，与形状特征相匹配的信息单元字典可以仅仅包括能够全部列举的显性信息单元的特征向量。
[0094]
进一步的，基于每一个信息单元字典中记录的特征向量，为所述训练样本图像中的至少一个信息单元构造在对应特征类型上的训练标签。比如，图像中包括一个公式“a
b”。其中，字符单元“a”对应的特征向量为[1 0 0 0
ꢀ……ꢀ
0]，字符单元“b”对应的特征向量为[0 0 1 0
ꢀ……ꢀ
0]，字符单元“a”和字符单元“b”之间的相对关系(即底数与指数的关系)对应的特征向量为[0 1 0 0
ꢀ……ꢀ
0]。
[0095]
基于上述情况，为包含公式“a
b”的训练样本图像中的信息单元构造在定位特征上的训练标签为“[1 0 0 0
ꢀ……ꢀ
0]-[0 1 0 0
ꢀ……ꢀ
0]-[0 0 1 0
ꢀ……ꢀ
0]”，为的训练样本图像中的信息单元构造在形状特征上的训练标签为“[1 0 0 0
……ꢀ
0]，[0 0 1 0
ꢀ……ꢀ
0]”。
[0096]
可见，训练标签“[1 0 0 0
ꢀ……ꢀ
0]-[0 1 0 0
ꢀ……ꢀ
0]-[0 0 1 0
ꢀ……ꢀ
0]”中主要体现了各个字符单元之间相对关系的特征，当然也体现了各个字符单元的形状特征。而训练标签为“[1 0 0 0
ꢀ……ꢀ
0]，[0 0 1 0
ꢀ……ꢀ
0]”仅仅体现了各个字符单元的形状特
征，未体现各个字符单元之间相对关系的特征，因此，其实质上为一个弱监督标签。
[0097]
基于上述场景，可以理解的是，在本技术中，在为所述训练样本图像中的至少一个信息单元构造在各个特征类型上的训练标签中，可以包括弱监督训练标签。
[0098]
在本技术中，通过为所述训练样本图像中的至少一个信息单元确定包括弱监督训练标签在内的在多个特征类型上的训练标签，其好处在于，可以通过多个特征类型上的训练标签将训练样本图像的特征信息进行分割，给予模型更多的监督信息，以实现不同类型的监督信息对模型进行监督训练，从而提高模型预测的准确性。
[0099]
在如图3所示步骤233的一个实施例中，所述获取待训练模型，可以按照如图6所示的步骤执行。
[0100]
参见图6，示出了根据本技术一个实施例的获取待训练模型的细节流程图。具体包括步骤2331至步骤2332：
[0101]
步骤2331，通过网络结构搜索获取编码器模型和解码器模型，所述编码器模型用于对图像进行编码，所述解码器模型用于对所述编码器编码的特征进行解码，得到所述图像中的至少一个信息单元的第二特征信息。
[0102]
步骤2332，基于所述编码器模型和所述解码器模型，构建所述待训练模型。
[0103]
本领域技术人员可以理解的是，所述编码器模型和所述解码器模型在本质上可以属于网络结构模型。
[0104]
在本技术中，网络结构搜索(neural architecture search，nas)是生成和优化网络结构的有效工具，在不确定网络的长度和结构的情况下，使用一个循环神经网络(recurrent network)作为控制器来生成网络结构的字段，用来构建子神经网络。将训练子网络之后的准确率作为控制器回馈信号(reward signal)，通过计算策略梯度(policy gradient)更新控制器，这样不断的迭代循环。在下一次迭代中，控制器将有更高的概率提出一个高准确率的网络结构。
[0105]
基于此，通过网络结构搜索的方式获取编码器模型和解码器模型，其好处在于可以获取较优的编码器模型和解码器模型，从而使得构建的待训练模型具有准确的学习能力。
[0106]
在如图3所示步骤233的一个实施例中，所述通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述信息提取模型，可以按照如图7所示的步骤执行。
[0107]
参见图7，示出了根据本技术一个实施例的通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练的细节流程图。具体包括步骤2333至步骤2334：
[0108]
步骤2333，按照预定训练次数，通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述预定训练次数的信息提取参考模型；
[0109]
步骤2334，对所述预定训练次数的信息提取参考模型进行求平均处理，得到所述信息提取模型。
[0110]
在本实施例中，可以通过所述训练样本图像和所述多个训练标签对所述待训练模型进行多轮训练，例如进行12轮训练，其中，每一轮训练都会得到一个信息提取参考模型，然后对得到的多个信息提取参考模型进行求平均处理，得到所述信息提取模型。这样做的好处在于，可以提高模型的精度，增强所述信息提取模型对图像中的特征信息进行提取的
准确性。
[0111]
在如图7所示步骤2333的一个实施例中，所述通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，可以按照如图8所示的步骤执行。
[0112]
参见图8，示出了根据本技术一个实施例的通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练的细节流程图。具体包括步骤23331至步骤23333：
[0113]
步骤23331，将所述训练样本图像输入至所述待训练模型，并获取由所述待训练模型输出的所述训练样本图像中的至少一个信息单元的第三特征信息。
[0114]
步骤23332，基于每一个特征类型对应的训练标签，在所述第三特征信息中确定在对应特征类型上存在的误差信息。
[0115]
步骤23333，基于在各个特征类型上存在的误差信息，通过与各个特征类型对应的预设损失函数分别对所述待训练模型中的模型参数进行反向更新，得到所述信息提取参考模型。
[0116]
在本实施例中，在通过各个特征类型对应的训练标签在所述第三特征信息中确定在各个特征类型上存在的误差信息之后，可以基于各个误差信息，同时通过预设损失函数分别对所述待训练模型中的模型参数进行反向更新，以得到所述信息提取参考模型。
[0117]
在本实施例中，同时基于各个误差信息分别对所述待训练模型中的模型参数进行反向更新，其好处在于可以缩短信息提取参考模型的训练时间，提高模型训练效率。
[0118]
需要说明是，在本技术中，在通过每一个误差信息对所述待训练模型中的模型参数进行反向更新时，所利用的损失参数可以不同。
[0119]
比如，继续以识别图像中公式或文本的应用场景为例，对于在所述定位特征类型上存在的误差信息，可以通过celoss损失函数对所述待训练模型中的模型参数进行反向更新，而对于在所述形状特征类型上存在的误差信息，可以通过bcewithlogits loss损失函数对所述待训练模型中的模型参数进行反向更新。这样做的好处在于，基于在各个特征类型上存在的误差信息，分别设定与各个特征类型相适应的损失函数，能够增强模型的训练效果，从而增强所述信息提取模型对图像中的特征信息进行提取的准确性。
[0120]
在如图7所示步骤2333的另一个实施例中，所述通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，可以按照如图9所示的步骤执行。
[0121]
参见图9，示出了根据本技术一个实施例的通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练的细节流程图。具体包括步骤23334至步骤23338：
[0122]
步骤23334，在所述多个训练标签中选择一个目标特征类型对应的训练标签。
[0123]
步骤23335，将所述训练样本图像输入至所述待训练模型，并获取由所述待训练模型输出的所述训练样本图像中的至少一个信息单元的第三特征信息。
[0124]
步骤23336，基于所述目标特征类型对应的训练标签，在所述第三特征信息中确定在所述目标特征类型上存在的目标误差信息。
[0125]
步骤23337，基于所述目标误差信息，通过与所述目标特征类型对应的预设损失函数对所述待训练模型中的模型参数进行反向更新，得到中间信息提取参考模型。
[0126]
步骤23338，将所述中间信息提取参考模型作为新的待训练模型，并重新执行在所述多个训练标签中选择一个目标特征类型对应的训练标签的步骤，直至所述多个训练标签中的标签被全部选择，得到所述信息提取参考模型。
[0127]
在本实施例中，可以理解是的，实际上是基于多个训练标签，通过迭代训练的方式，依次通过每一个训练标签对所述待训练模型进行训练，即在通过一个特征类型对应的训练标签训练所述待训练模型之后，重新通过另一个特征类型对应的训练标签训练上一次训练过的待训练模型。这样做的好处在于，也可以增强模型的训练效果，从而增强所述信息提取模型对图像中的特征信息进行提取的准确性。
[0128]
为了使本领域技术人员更好的里面本技术中所提到的信息提取模型，下面将结合图10进行说明。
[0129]
参见图10，示出了根据本技术一个实施例的信息提取模型的框架示意图。
[0130]
如图10所示，信息提取模型由编码器1002和解码器1004构成，其中，在提取图像中至少一个信息单元的特征信息的过程中，首先由编码器1002将图像数据1001进行编码，得到编码特征信息1003，然后再由解码器1004对编码特征信息1003进行解码，得到图像中至少一个信息单元的特征信息1005。
[0131]
继续参照图2，在步骤250中，通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息。
[0132]
在如图2所示步骤250的一个实施例中，所述通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，可以按照如图11所示的步骤执行。
[0133]
参见图11，示出了根据本技术一个实施例的提取所述目标图像中的至少一个信息单元的第一特征信息的细节流程图。具体包括步骤251至步骤254：
[0134]
步骤251，针对所述至少一个信息单元中的每一个目标信息单元，确定排列在所述目标信息单元之前的全部信息单元和部分信息单元。
[0135]
步骤252，基于所述全部信息单元的特征信息，预测所述目标信息单元的第一参考特征信息。
[0136]
步骤253，基于所述部分信息单元的特征信息，预测所述目标信息单元的第二参考特征信息。
[0137]
步骤254，基于所述至少一个信息单元中各个信息单元的第一参考特征信息和第二参考特征信息，确定所述第一特征信息。
[0138]
在本实施例中，目标图像中的各个信息单元之间具有在某些逻辑上的在相对关系，比如，在空间逻辑上具有相对关系，还比如在阅读的顺序逻辑上具有相对关系。
[0139]
在本实施中，所述排列在所述目标信息单元之前的全部信息单元，可以是指在空间逻辑上或者是在阅读的顺序逻辑上排列在所述目标信息单元之前的全部信息单元。而所述排列在所述目标信息单元之前的部分信息单元，可以是指在空间逻辑上或者是在阅读的顺序逻辑上排列在所述目标信息单元之前的部分信息单元。
[0140]
在本实施例中，继续以识别图像中公式或文本的应用场景为例，比如，目标图像中包括公式“abc
d”，若需要预测目标信息单元“d”的第一特征信息，则一方面可以基于排列在所述目标信息单元之前的全部信息单元“a”、“b”、“c”的特征信息对“d”的第一参考特征信息进行预测。另一方面则可以基于排列在所述目标信息单元之前的部分信息单元“c”的特征信息对“d”的第二参考特征信息进行预测。然后再基于第一参考特征信息和第二参考特征信息，确定所述第一特征信息。
[0141]
在本实施中，在提取所述目标图像中的至少一个信息单元的第一特征信息时，通
过考虑排列在每一个目标信息单元之前的全部信息单元的特征信息和部分信息单元的特征信息，可以同时整合全局信息和局部信息，从而使得信息提取模型的预测更加精准。
[0142]
在本技术中，继续以图像中公式识别的应用场景为例，所述信息单元可以包括字符单元，所述至少一个信息单元可以组成一个或者多个包含所述字符单元的公式。
[0143]
具体的，在如图2所示步骤250之后的一个实施例中，即在通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息之后，还可以执行如下方案：
[0144]
基于所述目标特征信息，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
[0145]
具体的，在该应用场景中，用户在编辑文档时，可以在网页上截取需要编辑的公式图像，然后基于本技术提出的信息提取方案，对数所述公式图像中至少一个字符单元的第一特征信息进行提取，得到目标特征信息，然后再基于所述目标特征信息将所述公式图像中的公式编辑至公式编辑区域，可见本技术提出的信息提取方法可以为用户在公式编辑过程中带来极大的便利和优良的用户体验。
[0146]
本技术所提供的技术方案通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到的信息提取模型，可以提取所述目标图像中的至少一个信息单元的第一特征信息。由于通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签考虑到了图像中信息单元在多个特征类型上的监督特征信息，使得训练得到的信息提取模型具有精准提取信息的能力，而通过该信息提取模型对目标图像中至少一个信息单元所反映的特征信息进行提取，可以提高信息提取的准确度。
[0147]
以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的信息提取方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的信息提取方法的实施例。
[0148]
图12示出了根据本技术一个实施例的信息提取装置的框图。
[0149]
参照图12所示，根据本技术的一个实施例的信息提取装置1200，包括：第一获取单元1201、第二获取单元1202、和提取单元1203。
[0150]
其中，第一获取单元1201，被用于获取目标图像，所述目标图像中包括至少一个信息单元；第二获取单元1202，被用于获取信息提取模型，所述信息提取模型通过训练样本图像中的至少一个信息单元在多个特征类型上的训练标签训练得到；提取单元1203，被用于通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息。
[0151]
在本技术的一些实施例中，基于前述方案，所述第二获取单元1202包括：第三获取单元，被用于获取训练样本图像；确定单元，被用于为所述训练样本图像中的至少一个信息单元确定在多个特征类型上的训练标签，得到多个训练标签，其中，每一个训练标签用于表征所述至少一个信息单元在对应特征类型上的特征信息；第四获取单元，被用于获取待训练模型，并通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述信息提取模型。
[0152]
在本技术的一些实施例中，基于前述方案，所述第三获取单元配置为：获取至少一帧原始训练样本图像；将各帧原始训练样本图像的高度或者宽度缩放至预设图像高度或者预设图像宽度，并按照所述高度或者所述宽度的缩放比例，对所述原始训练样本图像的宽
度或者高度进行缩放处理，得到预处理训练样本图像；从所述预处理训练样本图像中选定预定数量的图像作为所述训练样本图像。
[0153]
在本技术的一些实施例中，基于前述方案，所述第三获取单元配置为：按照所述预处理训练样本图像的宽度或者高度，对所述预处理训练样本图像进行排序；从所述预处理训练样本图像中选定排序相连的预定数量的图像作为所述训练样本图像。
[0154]
在本技术的一些实施例中，基于前述方案，所述信息单元包括显性信息单元和隐性信息单元，所述确定单元配置为：获取与每一个特征类型相匹配的信息单元字典，所述信息单元字典中至少记录有全部显性信息单元所对应的特征向量；基于每一个信息单元字典中记录的特征向量，为所述训练样本图像中的至少一个信息单元构造在对应特征类型上的训练标签。
[0155]
在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：通过网络结构搜索获取编码器模型和解码器模型，所述编码器模型用于对图像进行编码，所述解码器模型用于对所述编码器编码的特征进行解码，得到所述图像中的至少一个信息单元的第二特征信息；基于所述编码器模型和所述解码器模型，构建所述待训练模型。
[0156]
在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：按照预定训练次数，通过所述训练样本图像和所述多个训练标签对所述待训练模型进行训练，得到所述预定训练次数的信息提取参考模型；对所述预定训练次数的信息提取参考模型进行求平均处理，得到所述信息提取模型。
[0157]
在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：将所述训练样本图像输入至所述待训练模型，并获取由所述待训练模型输出的所述训练样本图像中的至少一个信息单元的第三特征信息；基于每一个特征类型对应的训练标签，在所述第三特征信息中确定在对应特征类型上存在的误差信息；基于在各个特征类型上存在的误差信息，通过与各个特征类型对应的预设损失函数分别对所述待训练模型中的模型参数进行反向更新，得到所述信息提取参考模型。
[0158]
在本技术的一些实施例中，基于前述方案，所述第四获取单元配置为：在所述多个训练标签中选择一个目标特征类型对应的训练标签；将所述训练样本图像输入至所述待训练模型，并获取由所述待训练模型输出的所述训练样本图像中的至少一个信息单元的第三特征信息；基于所述目标特征类型对应的训练标签，在所述第三特征信息中确定在所述目标特征类型上存在的目标误差信息；基于所述目标误差信息，通过与所述目标特征类型对应的预设损失函数对所述待训练模型中的模型参数进行反向更新，得到中间信息提取参考模型；将所述中间信息提取参考模型作为新的待训练模型，并重新执行在所述多个训练标签中选择一个目标特征类型对应的训练标签的步骤，直至所述多个训练标签中的标签被全部选择，得到所述信息提取参考模型。
[0159]
在本技术的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述确定单元配置为：为所述训练样本图像中的至少一个字符单元确定在定位特征上的训练标签，所述定位特征用于至少表征所述至少一个字符单元之间的相对关系特征；为所述训练样本图像中的至少一个字符单元确定在形状特征上的训练标签。
[0160]
在本技术的一些实施例中，基于前述方案，所述提取单元1203配置为：针对所述至少一个信息单元中的每一个目标信息单元，确定排列在所述目标信息单元之前的全部信息
单元和部分信息单元；基于所述全部信息单元的特征信息，预测所述目标信息单元的第一参考特征信息；基于所述部分信息单元的特征信息，预测所述目标信息单元的第二参考特征信息；基于所述至少一个信息单元中各个信息单元的第一参考特征信息和第二参考特征信息，确定所述第一特征信息。
[0161]
在本技术的一些实施例中，基于前述方案，所述信息单元包括字符单元，所述至少一个信息单元组成一个或者多个包含所述字符单元的公式，所述装置还包括编辑单元，被用于在通过所述信息提取模型，提取所述目标图像中的至少一个信息单元的第一特征信息，作为目标特征信息之后，基于所述目标特征信息，将所述目标图像中的一个或者多个公式编辑至公式编辑区域。
[0162]
作为另一方面，本技术实施例还提供了另一种信息提取装置，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的信息提取方法的指令。
[0163]
图13示出了根据本技术一个实施例的信息提取装置的框图。例如，装置1300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0164]
参照图13，装置1300可以包括以下一个或多个组件：处理组件1302，存储器1304，电源组件1306，多媒体组件1308，音频组件1310，输入/输出(i/o)的接口1312，传感器组件1314，以及通信组件1316。
[0165]
处理组件1302通常控制装置1300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。
[0166]
存储器1304被配置为存储各种类型的数据以支持在设备1300的操作。这些数据的示例包括用于在装置1300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0167]
电源组件1306为装置1300的各种组件提供电力。电源组件1306可以包括电源管理系统，一个或多个电源，及其他与为装置1300生成、管理和分配电力相关联的组件。
[0168]
多媒体组件1308包括在所述装置1300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当设备1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像
头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0169]
音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(mic)，当装置1300处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。
[0170]
i/o接口1312为处理组件1302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0171]
传感器组件1314包括一个或多个传感器，用于为装置1300提供各个方面的状态评估。例如，传感器组件1314可以检测到设备1300的打开/关闭状态，组件的相对定位，例如所述组件为装置1300的显示器和小键盘，传感器组件1314还可以搜索结果展示装置1300或装置1300一个组件的位置改变，用户与装置1300接触的存在或不存在，装置1300方位或加速/减速和装置1300的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0172]
通信组件1316被配置为便于装置1300和其他设备之间有线或无线方式的通信。装置1300可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1316还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频信息处理(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0173]
在示例性实施例中，装置1300可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0174]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由装置1300的处理器1320执行以完成上述的信息提取方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0175]
作为另一方面，本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现上述实施例中所述的信息提取方法。
[0176]
作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由该装置的处理器加载并执行以实现如上述实施例中所述的信息提取方法所执行的操作。
[0177]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单
元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0178]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
[0179]
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
[0180]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。