图像识别的方法、装置、设备以及存储介质与流程

1.本申请实施例涉及计算机领域，具体涉及计算机视觉、语音识别等人工智能领域，尤其涉及图像识别方法、装置、设备以及存储介质。


背景技术：

2.近年来，随着人工智能的快速发展，图像识别功能已经在多个场景中应用，如二维码、人物识别、物体识别、拍题等。在移动端的应用也已经很广泛，由于在现在的移动设备中，摄像头硬件已经成为了每台移动设备的标配，所以，可随时的进行拍一拍、扫一扫，对应的内容都可以进行浏览及交互。同时，也由于内容的多样性，而对图像识别的能力产生了限制。


技术实现要素：

3.本申请实施例提出了一种图像识别的方法、装置、设备以及存储介质。
4.第一方面，本申请实施例提出了一种图像识别方法，包括：响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像；获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果，其中，语音信息为描述用户的识别需求的信息；将语音识别结果与预设的配置项匹配，生成与语音识别结果相对应的识别选择项，其中，配置项为与预设的图像识别功能相关的关键字和/或关键词；拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。
5.第二方面，本申请实施例提出了一种图像识别装置，包括：获取模块，被配置成响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像；第一识别模块，被配置成获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果，其中，语音信息为描述用户的识别需求的信息；第一匹配模块，被配置成将语音识别结果与预设的配置项匹配，生成与语音识别结果相对应的识别选择项，其中，配置项为与预设的图像识别功能相关的关键字和/或关键词；识别模块，被配置成拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。
6.第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
7.第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
8.第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
9.本申请实施例提供的图像识别方法、装置、设备以及存储介质，首先响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像；然后获取用户的语音信
息，并对语音信息进行语音识别，得到语音识别结果，其中，语音信息为描述用户的识别需求的信息；之后将语音识别结果与预设的配置项匹配，生成与语音识别结果相对应的识别选择项，其中，配置项为与预设的图像识别功能相关的关键字和/或关键词；最后拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。本申请提供了一种结合语音识别对图像进行识别的方法，基于语音识别结果对图像识别结果进行了优化。
10.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
12.图1是本申请可以应用于其中的示例性系统架构图；
13.图2是根据本申请的图像识别方法的一个实施例的流程图；
14.图3是根据本申请的图像识别方法的另一个实施例的流程图；
15.图4是图像识别方法的一个应用场景图；
16.图5是图像识别方法的另一个应用场景图；
17.图6是图像识别方法的又一个应用场景图；
18.图7是根据本申请的图像识别装置的一个实施例的结构示意图；
19.图8是用来实现本申请实施例的图像识别方法的电子设备的框图。
具体实施方式
20.以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
22.图1示出了可以应用本申请的图像识别方法或图像识别装置的实施例的示例性系统架构100。
23.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
24.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送待识别图像等。终端设备101、102、103上可以安装有各种客户端应用，例如拍摄软件等等。
25.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式
计算机等等。当终端设备101、102、103为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
26.服务器105可以提供各种服务。例如，服务器105可以对从终端设备101、102、103获取到的待识别图像进行分析和处理，并生成处理结果(例如识别结果)。
27.需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
28.需要说明的是，本申请实施例所提供的图像识别方法一般由服务器105执行，相应地，图像识别装置一般设置于服务器105中。
29.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
30.继续参考图2，其示出了根据本申请的图像识别方法的一个实施例的流程200。该图像识别方法包括以下步骤：
31.步骤201，响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像。
32.在本实施例中，图像识别方法的执行主体(例如图1所示的服务器105)在用户进入图像识别功能之后，可以获取终端设备的摄像头取景框中的待识别图像。用户进入图像识别功能可以为用户点击终端设备中带有摄像头标识或是图像识别标识的应用，在用户点击该应用后，进入到图像识别功能，用户可将该终端设备的摄像头取景框对准待识别物体，从而得到待识别图像，待识别图像中可以包含一个待识别物体，也可以包括多个待识别物体，其中，待识别物体可以为花草等物体，也可以为人物，还可以为题目等文本，本申请对此不做限制。
33.步骤202，获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果。
34.在本实施例中，上述执行主体可以获取用户输入的语音信息，并对语音信息进行语音识别，得到语音识别结果，其中，语音信息为描述用户的识别需求的信息。当终端设备的摄像头取景框中呈现待识别图像后，用户可以输入描述其识别需求的语音信息，例如，用户可以输入语音信息“这是什么花”，该语音信息表明用户想要识别这是什么花，上述执行主体可以获取用户输入的语音信息，并对该语音信息进行语音识别，得到语音识别结果为“这是什么花”。
35.在本实施例的一些可选实现方式中，终端设备上以半透明的悬浮文字来提示用户输入语音信息。在终端设备的摄像头取景框中呈现待识别图像后，该终端设备上会以悬浮文字的形式来提示用户输入语音信息，该悬浮框为半透明的，且该提示不会阻塞其他工作。
36.步骤203，将语音识别结果与预设的配置项匹配，生成与语音识别结果相对应的识别选择项。
37.在本实施例中，上述执行主体可以将步骤202得到的语音识别结果与预设的配置项进行匹配，并生成与语音识别结果相对应的识别选择项，其中，配置项为与预设的图像识别功能相关的关键字和/或关键词。在本实施例中，会对图像识别功能的相关配置项进行预设，这些预设的配置项可以关联语音信息，以使得当得到用户的语音信息的语音识别结果
后，就可以将该语音识别结果与预设的配置项进行匹配，并基于匹配结果生成与语音识别结果相对应的识别选择项，每个识别选择项可以与多个配置项进行关联。如预设的图像识别功能可以识别出花，那与识别花对应的预设的配置项中就会有识别花的关键字和/或关键词，如鲜花、花、这是什么花等，这些配置项所对应的识别选择项都为“识花”，所以当得到的用户的语音识别结果为“这是什么花”时，上述执行主体将该语音识别结果与配置项进行匹配，得到的结果是与识别花的配置项能够匹配上，所以会生成与配置项相对应的识别选择项“识花”。
38.在本实施例的一些可选实现方式中，预设的配置项与对应的识别选择项包括但不限于以下内容：图像识别功能识别花对应的配置项为：鲜花、花、这是什么花，对应的识别选择项为“识花”；图像识别功能识明星对应的配置项为：这是谁、这是明星吗、这女的是谁，对应的识别选择项为“识明星”；图像识别功能看面相对应的配置项为：运势、面相，对应的识别选择项为“看面相”；图像识别功能识题对应的配置项为：这题怎么做、打分、判卷，对应的识别选择项为“识题”。
39.在本实施例的一些可选实现方式中，语音识别结果与预设的配置项匹配的方式为模糊匹配。即语音识别结果与预设的匹配项不需要百分百匹配，当两者的匹配度达到预定的值就可以将两者进行匹配。
40.步骤204，拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。
41.在本实施例中，上述执行主体可以拍摄待识别图像，并采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。在对与图像识别功能相关的配置项以及配置项对应的识别选择项进行预设之后，会训练与识别选择项相对应的模型，每个识别选择项对应一个模型，如识别选择项“识花”对应有识花模型、识别选择项“识明星”对应有识明星模型、识别选择项“识题”对应有识题模型等等。上述不同的模型具有相同的网络结构，但是采用了不同的训练样本训练出来的，如识花模型是采用与花相关的训练样本训练出来的，识花模型能识别出来花的种类等；识明星模型是采用与明星相关的训练样本训练出来的，识明星模型能识别出具体是哪一位明星。由于识别选择项是基于用户的语音信息生成的，表明了用户的识别需求，会根据用户的识别需求，拍摄待识别图像，并采用与识别选择项相对应的、预先训练好的模型对拍摄的待识别图像进行识别。
42.在本实施例的一些可选实现方式中，识别选择项可以按钮的形式显示在终端设备的摄像头取景框中，用户选中识别选择项的方式可以为点击，当用户点击显示的识别选择项按钮后，拍摄待识别图像。
43.在本实施例的一些可选实现方式中，预先训练了多个图像识别模型，如识花模型、识明星模型、识题模型等。基于用户的识别需求采用相对应的模型来对待识别图像进行识别。
44.本申请实施例提供的图像识别方法，首先响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像；然后获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果；之后将语音识别结果与预设的配置项进行匹配，生成与语音识别结果相对应的识别选择项；最后拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。本申请提供了一种结合语音识别对图像进行识别的方
法，基于语音识别结果对图像识别结果进行了优化，提高了识别准确率。
45.继续参考图3，图3示出了根据本申请的图像识别方法的另一个实施例的流程300。该图像识别方法包括以下步骤：
46.步骤301，响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像。
47.在本实施例中，图像识别方法的执行主体在用户进入图像识别功能后，可以获取终端设备的摄像头取景框中的待识别图像。步骤301与前述实施例的步骤201相对应，具体实现方式可以参考前述对步骤201的描述，此处不再赘述。
48.步骤302，对待识别图像进行图像识别，将识别出来的物体在待识别图像上显示。
49.在本实施例中，上述执行主体对待识别图像进行图像识别，并将识别出来的物体及识别结果在待识别图像上显示。具体的，上述执行主体可以在获取终端设备的摄像头取景框中的待识别图像后，实时对待识别图像进行图像识别，可以采用预先训练的多目标识别模型来对待识别图像进行识别，由于待识别图像中可以包含不止一个待识别物体，且待识别物体可以为人，也可以为花草树木，还可以为题目文本等，多目标识别模型能够识别出待识别图像中包含的多种类型的待识别物体，并将识别出来的物体及对该物体的识别结果显示在待识别图像上。实时对待识别图像进行识别处理，提高了识别速度。
50.步骤303，获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果。
51.在本实施例中，上述执行主体可以获取用户的语音信息，并对该语音信息进行语音识别，得到语音识别结果。
52.在本实施例的一些可选实现方式中，图像识别与语音识别并行进行。图像识别过程与语音识别过程互相没有依赖关系，并行进行，缩短了处理图像的时间，提高了识别工作效率。
53.步骤304，将语音识别结果与预设的配置项进行匹配，生成与语音识别结果相对应的识别选择项。
54.在本实施例中，上述执行主体可以将语音识别结果与预设的配置项进行匹配，并生成与语音识别结果相对应的识别选择项。步骤304与前述实施例的步骤203相对应，具体实现方式可以参考前述对步骤203的描述，此处不再赘述。
55.步骤305，显示识别选择项，并将识别选择项与图像识别的结果进行匹配，得到第一匹配结果。
56.在本实施例中，上述执行主体可以显示识别选择项，并将识别选择项与图像识别的结果进行匹配，以得到第一匹配结果。由于上述执行主体在获取到待识别图像后，就已经对待识别图像进行图像识别，得到了图像识别结果，所以当得到与语音识别结果相对应的识别选择项后，会将该识别选择项与图像识别结果进行匹配，并得到匹配结果，记为第一匹配结果。例如，当识别选择项为“识花”，对待识别图像的图像识别结果为“花、台灯”时，将识别选择项与图像识别结果进行匹配，此时第一匹配结果为“相同”；而当识别选择项为“识花”，对待识别图像的图像识别结果为“台灯”时，将识别选择项与图像识别结果进行匹配，此时第一匹配结果为“不相同”。
57.在本实施例的一些可选实现方式中，当第一匹配结果为不相同时，会让用户重新确认识别选择项。因为第一匹配结果为不相同说明当前待识别图像中不包含与识别选择项
相对应的区域，那么识别出与识别选择项相对应的区域的概率会很低，所以，此时会让用户重新确认识别选择项，这相当于增加了一个容错处理，可以提高识别的准确性。
58.步骤306，响应于用户选中识别选择项，拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。
59.在本实施例中，上述执行主体可以拍摄待识别图像，并采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。
60.在本实施例的一些可选实现方式中，响应于用户选中识别选择项且第一匹配结果为相同，拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像中仅包含与识别选择项相对应的区域进行识别。第一匹配结果为相同，说明待识别图像中已经识别出来的区域包含识别选择项要识别的区域。所以当用户选中识别选择项且第一匹配结果为相同时，拍摄待识别图像，将待识别图像中与识别选择项相对应区域作为待识别区域，采用与识别选择项相对应的、预先训练好的模型对该待识别区域进行识别。基于语音识别结果对图像识别结果进行优化，提高了识别结果的准确率，也提升了用户体验。
61.在本实施例的一些可选实现方式中，响应于用户选中识别选择项且第一匹配结果为不相同，拍摄待识别图像，采用与选择项相对应的、预先训练好的模型对待识别图像中除当前已经识别出来的区域之外的区域进行识别。第一匹配结果为不相同，说明待识别图像中已经识别出来的区域不包含识别选择项要识别的区域。所以当用户选中识别选择项且第一匹配结果为不相同时，拍摄待识别图像，将待识别图像中除当前已经识别出来的区域之外的区域作为待识别区域，采用与识别选择项相对应的、预先训练好的模型对该待识别区域进行二次识别。基于语音识别结果对图像识别结果进行优化，提高了识别结果的准确率，也提升了用户体验。
62.本申请实施例提供的图像识别方法，首先响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像；然后对待识别图像进行图像识别，将识别出来的物体在待识别图像上显示；同时获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果；之后将语音识别结果与预设的配置项进行匹配，生成与语音识别结果相对应的识别选择项；显示所述识别选择项，并将识别选择项与图像识别的结果进行匹配，得到第一匹配结果；最后响应于用户选中识别选择项，拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。本申请实施例提供的图像识别方法，在进行图像识别时，结合语音识别，并基于语音识别结果对图像识别结果进行优化，提高了识别的准确率。
63.继续参考图4，图4是图像识别方法的一个应用场景图。如图4所示，在用户进入到图像识别功能后，获取终端设备的摄像头取景框中的待识别图像，如图4所示的空白区为取景框的取景区。然后获取用户输入的语音信息“这是什么花”，并对该语音信息进行语音识别得到语音识别结果；将得到的语音识别结果与预设的配置项进行匹配，生成相对应的识别选择项“识花”；用户点击识别选择项“识花”，则拍摄待识别图像，采用预先训练的识花模型进行识别，得到最终的识别结果。
64.继续参考图5，图5是图像识别方法的另一个应用场景图。如图5所示，在用户进入到图像识别功能后，获取终端设备的摄像头取景框中的待识别图像，并对待识别图像进行图像识别，得到图像识别结果，将识别出来的物体在待识别图像上显示，如图5所示，图像识
别出“花”及“水杯”。同时获取用户输入的语音信息“这是什么花”，并对该语音信息进行语音识别得到语音识别结果；将得到的语音识别结果与预设的配置项进行匹配，显示相对应的识别选择项“识花”；将识别选择项与图像识别的结果进行匹配，得到匹配结果为“相同”；用户点击识别选择项“识花”且匹配结果为“相同”，则拍摄待识别图像，提取与识花相对应的花这部分的数据，采用预先训练的识花模型对花这部分数据进行识别，得到最终的识别结果。
65.继续参考图6，图6是图像识别方法的又一个应用场景图。如图6所示，在用户进入到图像识别功能后，获取终端设备的摄像头取景框中的待识别图像，并对待识别图像进行图像识别，得到图像识别结果，将识别出来的物体在待识别图像上显示，如图6所示，图像识别出“台灯”及“水杯”。同时获取用户输入的语音信息“这是什么花”，并对该语音信息进行语音识别得到语音识别结果；将得到的语音识别结果与预设的配置项进行匹配，显示相对应的识别选择项“识花”；将识别选择项与图像识别的结果进行匹配，得到匹配结果“不相同”；用户点击识别选择项“识花”且匹配结果为“不相同”，则拍摄待识别图像，替除已经识别出来的区域，即替除台灯和水杯这部分的数据，将待识别图像中不包含台灯和水杯的区域作为待识别区域，采用预先训练的识花模型对该待识别区域进行识别，得到最终的识别结果。
66.进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种图像识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
67.如图7所示，本实施例的图像识别装置700可以包括：获取模块701、第一识别模块702、第一匹配模块703和识别模块704。其中，获取模块701，被配置成响应于用户进入图像识别功能，获取终端设备的摄像头取景框中的待识别图像；第一识别模块702，被配置成获取用户的语音信息，并对语音信息进行语音识别，得到语音识别结果，其中，语音信息为描述用户的识别需求的信息；第一匹配模块703，被配置成将语音识别结果与预设的配置项进行匹配，生成与语音识别结果相对应的识别选择项，其中，配置项为与预设的图像识别功能相关的关键字和/或关键词；识别模块704，被配置成拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像进行识别。
68.在本实施例中，图像识别装置700中：获取模块701、第一识别模块702、第一匹配模块703和识别模块704的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201
‑
204的相关说明，在此不再赘述。
69.在本实施例的一些可选的实现方式中，上述图像识别装置还包括：第二识别模块，被配置成对待识别图像进行图像识别，将识别出来的物体在待识别图像上显示。
70.在本实施例的一些可选的实现方式中，图像识别与语音识别并行进行。
71.在本实施例的一些可选的实现方式中，上述图像识别装置还包括：第二匹配模块，被配置成显示识别选择项，并将识别选择项与图像识别的结果进行匹配，得到第一匹配结果。
72.在本实施例的一些可选的实现方式中，识别模块进一步配置成：响应于用户选中识别选择项且第一匹配结果为相同，拍摄待识别图像，采用与识别选择项相对应的、预先训练好的模型对待识别图像中仅包含与识别选择项相对应的区域进行识别。
73.在本实施例的一些可选的实现方式中，识别模块进一步配置成：响应于用户选中识别选择项且第一匹配结果为不相同，拍摄待识别图像，采用与选择项相对应的、预先训练好的模型对待识别图像中除当前已经识别出来的区域之外的区域进行识别。
74.根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
75.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
76.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
77.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
78.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像识别方法。例如，在一些实施例中，图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的图像识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像识别方法。
79.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
80.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来
编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
81.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
82.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
83.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
84.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。
85.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
86.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。