用于将位图解析为结构化数据的方法、设备和介质与流程

1.本公开的实施例总体涉及机器学习领域，并且更具体地涉及一种用于将位图解析为结构化数据的方法、系统、计算设备和计算机可读存储介质。


背景技术：

2.标准位图指的是如折线图、柱状图、面积图、饼图及它们的混合类型图片等。位图来源分布广泛，包括excel/程序/编程自制及拷贝于互联网等。这些图片中往往存在着大量难以从公开数据库中获得的指标数据，因此市场上也存在着不小的希望将其解析成结构化数据的诉求。
3.与矢量图可以直接从码流中获取相关数据信息不同，位图的解析只能通过图像方法处理，这需要算法可以理解原始图片的版面结构及其语义信息，并最终将这些信息整合成结构化数据。近年来随着深度学习的发展，部分图像模型已经可以较好地替代之前手工提取图像特征的工作，落实于实际生产之中。举例而言，各类ocr检测识别模型均已达到或超过人眼识别水准；以unet为代表的语义分割模型被广泛应用于医疗领域之中，其效果也被多次验证。通过整合这些深度学习模型，再辅以一定的传统图像算法与规则编写，就可以让程序较好地理解图片所包含的信息，并最终输出对应的结构化数据。
4.目前学术界和工业界均无成熟的位图解析方案。icdar已连续三年出过位图解析的竞赛（https://chartinfo.github.io/index_2020.html），但可发现的是其提供的数据类型与标准位图存在差别。一个是对单张图片来说，icdar只有一种类型，而标准位图则往往是多种类型的混合；一个是icdar的数据主要通过规则方式生成，没有清晰度的问题，从这些方面均可以看出竞赛在数据上做的简化，与工业数据还存在一定差距。
5.综上所述传统的用于将位图解析为结构化数据的方案所存在的不足之处在于：无法解析混合有多种数据的位图以及无法将位图解析为数据。


技术实现要素：

6.针对上述问题，本公开提供了一种用于将位图解析为结构化数据的方法、系统、设备和介质。基于以上完整且可执行的标准位图解析流程方案，可以从人眼的阅读流程中衍生并对其中关键步骤做了抽象处理；其从方案解决了流程中一些关键性的技术难点，如像素空间解析步骤中的实例分割，坐标轴解析及其对应的文本判断等，从而大大提高了解析效率。
7.根据本公开的第一方面，提供了一种用于将位图解析为结构化数据的方法，包括：对所获取的待解析的位图执行图像识别处理，以便获取对应于所述位图的语义分割图以及后续解析所需要的文本；基于所获取的语义分割图，建立图像坐标系，以便获取所述语义分割图的像素坐标；将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标，从而建立所述像素坐标与所述位图的纵坐标、横坐标之间的函数关系；以及基于所建立的函数关系以及所获取的图例文本，将所述位图解析为结构化数据。
8.根据本公开的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的第一方面的方法。
9.在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中计算机指令用于使计算机执行本公开的第一方面的方法。
10.在一些实施例中，对所获取的待解析的位图执行图像识别处理包括：基于文本检测模型，对所获取的位图执行文本检测，以便标识出所述位图中的文本框；基于文本识别模型，对所标识的图形执行文本识别，以便确定后续解析所需要的文本；以及基于语义分割模型，将所获取的位图转化为与所述位图尺寸相同的语义分割图。
11.在一些实施例中，对所获取的位图执行图像识别处理包括：基于文本识别模型，解析所述图例文本，从而获取所述图例文本与所述语义分割图中的图形的关联关系；以及基于所获取的关联关系，将所述图例文本关联到所述语义分割图中的图形。
12.在一些实施例中，对所获取的位图执行图像识别处理包括：确定所述图例文本对应的图例类型；基于实例分割模型，将所述语义分割图分割为包括多个实例的实例分割图；以及基于所确定的图例类型，将所述图例文本与所述实例分割图中的多个实例相关联。
13.在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标包括：获取所述位图的纵坐标轴的数量；以及基于所获取的纵坐标轴的数量，将所述位图确定为第一位图或第二位图，其中第一位图具有一个纵坐标轴并且第二位图具有两个纵坐标轴。
14.在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标还包括：响应于所述位图被确定为第一位图，确定所述图像坐标系中的像素坐标映射在所述纵坐标轴的原点处的初始位置；确定所述图像坐标系中的像素坐标每变化一个单位在所述纵坐标值上的坐标值的变化值；以及基于所确定的初始位置以及变化值，确定所述像素坐标与所述纵坐标轴的坐标值之间的函数。
15.在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标还包括：响应于所述位图被确定为第二位图，将两个纵坐标轴确定为左纵坐标轴以及右纵坐标轴；确定所述图像坐标系中的像素坐标映射在所述左纵坐标轴以及右纵坐标轴的原点处的第一初始位置和第一初始位置；确定所述图像坐标系中的像素坐标每变化一个单位在所述左纵坐标轴以及右纵坐标轴上的坐标值的第一变化值和第二变化值；基于所确定的第一初始位置以及第一变化值，确定所述像素坐标与所述左纵坐标轴的坐标值之间的第一函数；以及基于所确定的第二初始位置以及第二变化值，确定所述像素坐标与所述右纵坐标轴的坐标值之间的第二函数。
16.在一些实施例中，将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标包括：确定所述位图的横坐标轴上的离散横坐标值；基于所确定的离散横坐标值，确定与所述离散横坐标值对应的左横坐标值以及右横坐标值；以及将所述左横坐标值以及所述右横坐标值之间的像素坐标均映射到与所述左横坐标值以及所述右横坐标值对应的离散横坐标值。
17.在一些实施例中，方法还包括：将所解析的结构化数据与标注数据执行对齐。
18.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
19.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
20.图1示出了用于实现根据本发明的实施例的用于将位图解析为结构化数据的系统的示意图。
21.图2示出了根据本公开的实施例的用于将位图解析为结构化数据的方法200的流程图。
22.图3示出了根据本公开的实施例的待解析的位图。
23.图4示出了根据本公开的实施例的语义分割图。
24.图5示出了根据本公开的实施例的实例分割图。
25.图6示出了根据本发明的实施例的结构化数据。
26.图7示出了可以用来实施本公开内容的实施例的示例电子设备700的示意性框图。
具体实施方式
27.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
28.在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
29.本发明根据研报实际位图情况提出了一个可行的解析位图的流程，主要是现有各类图像技术的整合，但在实际执行过程中也发现了一些常规方法不适用的地方。以实例分割为例，经典的实例分割模型通常还是首先回归一个实例框，然后在该实例框中做背景前景的二分割。但在位图解析任务中，多条数据线之间往往相互重叠，这就导致了经典实例分割模型的不适用，只能通过人工特征想办法。
30.为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于解析位图的方案。本发明针对标准位图，应用各类图像方法及深度学习模型，提出了一套完整的解析方案。在方案中，基于准备位图，传入预先训练好的深度学习模型（ocr/语义分割模型等），作为之后解析步骤的中间结果；坐标空间解析，这步的主要目的是解析位图上的坐标轴，结合第一步中的ocr结果分别解析得到高度空间及宽度空间；像素空间解析，这步的主要目的是结合语义分割/ocr模型得到的结果提取图例，并做进一步的实例分离；像素空间到坐标空间的映射，除了一般意义上的映射流程外，还解决了如折线的采样及标注数据对齐等问题。
31.图1示出了用于实现根据本发明的实施例的用于将位图解析为结构化数据的系统
的示意图。如图1中所示，系统包括计算设备110和位图管理设备130和网络140。计算设备110、位图管理设备130可以通过网络140（例如，因特网）进行数据交互。
32.位图管理设备130，其例如可以执行对位图文件的常规管理，例如收集、存储位图文件。位图管理设备130还可以将所管理的位图文件发送给计算设备110。位图管理设备130例如而不限于：可执行位图文件读取和修改的台式计算机、膝上型计算机、上网本计算机、平板电脑、网络浏览器、电子书阅读器、个人数字助理（pda）和可穿戴计算机（诸如智能手表和活动追踪器设备）等。位图管理设备130可以配置成存储位图文件，将位图文件经由网络140发送到计算设备110，并且接收来自计算设备110处理的位图文件。
33.关于计算设备110，其例如用于经由网络140接收来自位图管理设备130的位图文件。计算设备110可以对所接收的位图文件执行机构识别。基于所识别的机构，可以匹配与位图文件相关的该机构的模板。基于所匹配的模板，可以从位图文件中准确挖掘出相关数据。计算设备110还可以对所挖掘的数据执行文本块去重、数据验证以及归一化等图像处理相关操作。计算设备110可以具有一个或多个处理单元，包括诸如gpu、fpga和asic等的专用处理单元以及诸如cpu的通用处理单元。另外，在每个计算设备110上也可以运行着一个或多个虚拟机。在一些实施例中，计算设备110与位图管理设备130可以集成在一起，也可以是彼此分立设置。
34.在一些实施例中，计算设备110例如包括图像处理单元112、机构确定单元114、坐标系单元114、坐标映射单元116以及解析单元118。
35.图像处理单元112，所述图像处理单元112配置成获取待解析的位图，对所获取的位图执行图像识别处理，以便获取对应于所述位图的语义分割图以及后续解析所需要的文本。
36.坐标系单元114，所述坐标系单元114配置成基于所获取的语义分割图，建立图像坐标系，以便获取所述语义分割图的像素坐标。
37.坐标映射单元116，所述坐标映射单元116配置成将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标，从而建立所述像素坐标与所述位图的纵坐标、横坐标之间的函数关系。
38.解析单元118，所述解析单元118配置成基于所建立的函数关系以及所获取的图例文本，将所述位图解析为结构化数据。
39.图2示出了根据本公开的实施例的用于将位图解析为结构化数据的方法200的流程图。方法200可由如图1所示的计算设备110执行，也可以在图7所示的电子设备700处执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
40.在步骤202中，计算设备110配置成获取待解析的位图，对所获取的位图执行图像识别处理，以便获取对应于所述位图的语义分割图以及后续解析所需要的文本，例如图例文本。
41.图3示出了根据本公开的实施例的待解析的位图。如图3所示，位图包含多类图表，例如不同类型的折线图、柱状图等。图3中还包括双纵轴以及多个图例。这都为解析带来了很多的困难。为解析这样的复杂图表，计算设备110对所获取的位图执行图像处理。
42.在一个实施例中，计算设备110基于文本检测模型，对所获取的位图执行文本检
测，返回该图片上的所有文本框位置。计算设备110可以基于这些文本框位置对原始图片做裁剪，将所有裁剪图片做角度偏转后输入文本识别模型返回对应文本。
43.基于文本识别模型，计算设备110对所标识的图形执行文本识别，以便确定所述图形中对后续解析必要文本。如图3所示，可以识别图形中的图例文本，例如，全球产能（万吨）以及坐标轴数字，例如，纵坐标值上的100以及横坐标轴上的2011。
44.基于语义分割模型，计算设备110将所获取的位图转化为与所述位图尺寸相同的语义分割图。语义分割模型输入原始图片后返回与原始图片尺寸相同的带标签信息的语义图。
45.图4示出了根据本公开的实施例的语义分割图。图4省略了图例语义部分，但是仍然可以看出，图4是原始位图图3对应的经过语义分割模型后带标签信息的图片，标签信息包括背景、折线、柱、面积、饼图、图例等。
46.在一个实施例中，计算设备110可以基于语义分割结果与文本识别结果，获取所述图例文本与所述语义分割图中的图例框的关联关系，之后通过规则增加或删除一些错误图例。例如，计算设备110可以将所识别的图例文本（全球产能（万吨））关联到对应的红色图例框。
47.在一个实施例中，计算设备110可以确定所述图例文本对应的单条数据语义。基于实例分割模型，将所述语义分割图分割为包括多个实例的实例分割图。实例分割图，指在语义分割图基础上更进一步处理得到的单条数据语义图片。如图4所示，语义分割图可以包括“全球产能”与“我国产能”，其中“全球产能”与“我国产能”图例对应的数据均为柱状图，在语义分割图上无法分开，因此需要做进一步的实例分割。
48.具体地，计算设备110可以对所述图例框作分析可以得到初始颜色的正态分布，输入实例分割模型不断迭代分割结果直至达到设定的迭代次数或损失小于规定的阈值（若无图例则直接使用语义分割的结果）。通过这样处理，可以将一个语义分割图分成一个或多个实例分割图，再通过语义分割结果获得每个实例对应的数据类型。
49.图5示出了根据本公开的实施例的实例分割图。如图5所示，先前叠加的多个柱状图、折线图被分割成不同的实例，被分割的实例同时与图例文本相关联。
50.在步骤204中，计算设备110配置成基于所获取的实例分割图，建立图像坐标系，以便获取所述语义分割图的像素坐标。
51.如上所述，计算设备110可以基于所获取的实例分割图，建立图像坐标系，以便获取所述实例分割图的像素坐标。像素坐标又称像素空间，其指该图片上所有像素的集合，以(x, y)表示；举例而言，对于一张长宽为800x400的位图，本发明定义其左上角索引为(0, 0)，右下角索引为(400, 800)，其余像素依此类推。位图坐标系，通常由位图上定义的横纵坐标轴及其对应文本组成。
52.在步骤206中，计算设备110配置成将所述图像坐标系中的像素坐标映射于所述位图的纵坐标以及横坐标，从而建立所述像素坐标与所述位图的纵坐标、横坐标之间的函数关系。
53.在一个实施例中，计算设备110可以获取所述位图的纵坐标轴的数量。在位图解析中，纵坐标往往可能存在一个或两个，即单纵坐标或双纵坐标。基于所获取的纵坐标轴的数量，将所述位图确定为第一位图或第二位图，其中第一位图具有一个纵坐标轴并且第二位
图具有两个纵坐标轴。在此介绍高度空间的概念，高度空间，指像素空间到坐标系在高度上的转换关系，根据实际情况也可再细分为左坐标轴高度空间与右坐标轴高度空间；为方便起见，本发明将高度空间定义为(start, step)，其中start是像素空间中y值为0的像素点对应的纵坐标值，step指像素空间中y值每增大1其增加/减少的纵坐标值。
54.计算设备110可以响应于所述位图被确定为第一位图，确定所述图像坐标系中的像素坐标映射在所述纵坐标轴的原点处的初始位置。确定所述图像坐标系中的像素坐标每变化一个单位在所述纵坐标值上的坐标值的变化值。基于所确定的初始位置以及变化值，确定所述像素坐标与所述纵坐标轴的坐标值之间的函数。例如在图3中，将左坐标轴的0对应于初始位置，结束位置为600。然后计算像素在高度上每变化1或一个单位值左坐标轴的变化量。
55.计算设备110可以响应于所述位图被确定为第二位图，将两个纵坐标轴确定为左纵坐标轴以及右纵坐标轴。确定所述图像坐标系中的像素坐标映射在所述左纵坐标轴以及右纵坐标轴的原点处的第一初始位置和第一初始位置。确定所述图像坐标系中的像素坐标每变化一个单位在所述左纵坐标轴以及右纵坐标轴上的坐标值的第一变化值和第二变化值；基于所确定的第一初始位置以及第一变化值，确定所述像素坐标与所述左纵坐标轴的坐标值之间的第一函数以及基于所确定的第二初始位置以及第二变化值，确定所述像素坐标与所述右纵坐标轴的坐标值之间的第二函数。例如在图3中，将左坐标轴的0对应于初始位置，结束位置为600。同时将右坐标轴的0%对应于初始位置，结束位置为70%。然后计算像素在高度上每变化1或一个单位值左坐标轴的变化量以及右坐标轴的变化量。这种情况计算设备110还会利用如上所述的文本识别模型识别图例中的文本（例如，图例中的左轴），从而正确将数字文本对应于左坐标轴或右坐标轴。
56.在一个实施例中，在此介绍宽度空间的概念。宽度空间，指像素空间到坐标系在宽度上的转换关系，与高度空间不同，其一般没有step概念；为方便起见，本发明将宽度空间定义为[(s_1,t_1,text_1), (s_2,t_2,text_2),
ꢀ…
, (s_n,t_n,text_n)]的三元组列表，(s_1,t_1,text_1)意为像素空间中x值处于[s_1,t_1)的所有像素点其横坐标均映射到text_1，在列表中通常有t_n=s_(n+1)。
[0057]
计算设备110可以确定所述位图的横坐标轴上的离散横坐标值；基于所确定的离散横坐标值，确定与所述离散横坐标值对应的左横坐标值以及右横坐标值；以及将所述左横坐标值以及所述右横坐标值之间的像素坐标均映射到与所述左横坐标值以及所述右横坐标值对应的离散横坐标值。如上所述，计算设备110确定横坐标轴上的各个离散坐标值，例如2011，2012。然后计算设备110确定与每个离散坐标值对应的左边界和右边界，即左横坐标值以及所述右横坐标值。在左边界和右边界之间的值都映射到对应的离散坐标值（例如，2011）上。
[0058]
在步骤208中，计算设备110配置成基于所建立的函数关系以及所获取的图例文本，将所述位图解析为结构化数据。
[0059]
计算设备110根据如上所述的将所解析的结构化数据与标注数据执行对齐。例如，在坐标空间与像素空间均解析完毕后，计算设备110可通过映射的方式获得真实的对应数据。对于折线数据，计算设备110可以采用采样算法做采样模拟真实数据的趋势而不至于输出所有像素点的值；对于柱型数据，计算设备110另需要一定的规则判断其为簇状柱形图还
是堆积柱形图，两者在值的计算方式上存在不同。最后对于存在标注数据的位图还需要做一定的对齐。
[0060]
图6示出了根据本发明的实施例的结构化数据。如图6所示，对应于5个图例的数据被分别解析为了5列，其中每列的数据和纵坐标年份对应，其中在位图中明确标注的数据被对齐为表格数据。在位图中未明确标注的数据被根据如上所述的方法计算并填入表格中作为结构化数据保存。
[0061]
利用以上技术手段，实现了将数据从位图中提取并解析，从而准确的将图像转化为了可用的结构化数据。
[0062]
图7示出了可以用来实施本公开内容的实施例的示例电子设备700的示意性框图。例如，如图1所示的计算设备110可以由电子设备700来实施。如图所示，电子设备700包括中央处理单元（cpu）401，其可以根据存储在只读存储器（rom）702中的计算机程序指令或者从存储单元708加载到随机存取存储器（ram）703中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器703中，还可存储电子设备700操作所需的各种程序和数据。中央处理单元701、只读存储器702以及随机存取存储器703通过总线704彼此相连。输入/输出（i/o）接口705也连接至总线704。
[0063]
电子设备700中的多个部件连接至输入/输出接口705，包括：输入单元706，例如键盘、鼠标、麦克风等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0064]
上文所描述的各个过程和处理，例如方法200可由中央处理单元701执行。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到随机存取存储器703并由中央处理单元701执行时，可以执行上文描述的方法200、300的一个或多个动作。
[0065]
本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。
[0066]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、静态随机存取存储器（sram）、便携式压缩盘只读存储器（cd-rom）、数字多功能盘（dvd）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
[0067]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关
计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0068]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（isa）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（fpga）或可编程逻辑阵列（pla），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0069]
这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0070]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0071]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0072]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0073]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技
术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。