一种图像处理方法、装置及电子设备与流程

1.本公开涉及人工智能技术领域，尤其涉及图像处理领域的图像处理方法、装置及电子设备。


背景技术：

2.随着互联网技术的飞速发展，针对用户输入的文本或图像进行相应的图像处理被广泛地应用到越来越多的场景中；如通过在购物平台输入商品名称或商品图像，能够查找购物平台中与输入的商品名称或商品图像相似的商品。因此，针对输入的信息进行高效的图像处理是图像处理技术领域一直追求的目标。


技术实现要素：

3.本公开提供了一种图像处理方法、装置及电子设备。
4.根据本公开的第一方面，提供了一种图像处理方法，包括：
5.终端设备接收图像处理请求；
6.所述终端设备生成所述图像处理请求对应的图像处理请求向量；
7.所述终端设备查找与所述图像处理请求向量匹配的标签向量；
8.其中，所述标签向量用于所述终端设备和/或服务器对图像进行处理。
9.根据本公开的第二方面，提供了一种图像处理装置，所述图像处理装置包括：
10.接收模块，用于接收图像处理请求；
11.生成模块，用于生成所述图像处理请求对应的图像处理请求向量；
12.匹配模块，用于查找与所述图像处理请求向量匹配的标签向量；
13.其中，所述标签向量用于所述终端设备和/或服务器对图像进行处理。
14.根据本公开的第三方面，提供了一种电子设备，包括：
15.至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像处理方法。
17.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的图像处理方法。
18.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据上述的图像处理方法。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本公开的限定。其中：
21.图1是本公开实施例提供的图像处理方法的一种处理流程示意图；
22.图2是本公开实施例提供的终端设备生成图像处理请求对应的图像处理请求向量的一种具体实现过程示意图；
23.图3是本公开实施例提供的终端设备查找与图像处理请求向量匹配的标签向量的一种具体实现过程示意图；
24.图4是本公开实施例提供的分类标签的向量化表示的一种示意图；
25.图5是本公开实施例提供的终端设备分别查找与每个词语向量匹配的标签向量的一种具体实现过程示意图；
26.图6是本公开实施例提供的图像处理方法的一种详细处理流程示意图；
27.图7是本公开实施例提供的用户输入的图像示意图；
28.图8是本公开实施例提供的图像处理方法的另一种详细处理流程示意图；
29.图9是本公开实施例提供的图像处理装置的一种可选组成结构示意图；
30.图10是用来实现本公开实施例的图像处理方法的电子设备的框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
33.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
34.除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
35.相关技术中，可以对云存储的图像进行分类，为每个类别的图像打标分类标签；并为每个分类标签分别建立对应的近义词字典。若用户输入一个图像或文本，在云存储的图像中搜索与输入的图像或文本对应的图像时，若命中某近义词字典中的一个词语，则将该近义词字典所属的分类标签对应的图像召回。而近义词字典通常由工作人员利用近义词查询工具对每个分类标签进行常见的近义词查询和筛选，基于查询和筛选得到的词语构成近义词字典。但是，通过工作人员进行近义词字典的扩充时，一般不包括口头用语和网络用语等非书面用语，对近义词字典的扩充有限且效率低；导致用户在搜索图像时，图像的召回率和有结果率低。其中，有结果率可以指针对用户的搜索请求具有查询结果的搜索请求数量与用户总的搜索请求数量之比。
36.本公开提供一种图像处理方法，终端设备接收图像处理请求；所述终端设备生成所述图像处理请求对应的图像处理请求向量；所述终端设备查找与所述图像处理请求向量
匹配的标签向量；其中，所述标签向量用于所述终端设备和/或服务器对图像进行处理。如此，能够高效地对图像进行处理，提高图像的召回率、有结果率。
37.图1是本公开提供的图像处理方法的一种可选处理流程示意图，图像处理方法至少可以包括以下步骤：
38.步骤s201，终端设备接收图像处理请求。
39.在一些可选实施例中，图像处理请求可以是用户输入的图像，如用户在电商平台中输入一张图像，以请求获取与输入的图像相似的产品。
40.在另一些可选实施例中，图像处理请求也可以是用户输入的文本，如用户在电商平台中输入“手机”，以请求查看电商平台中的手机产品。
41.在又一些可选实施例中，图像处理请求还可以是用户输入的图像与文本的组合。如用户输入“删除云相册中的照片”以及一张风景图像，以请求删除云相册中与风景相关的图像。
42.步骤s202，终端设备生成图像处理请求对应的图像处理请求向量。
43.在一些可选实施例中，终端设备生成图像处理请求对应的图像处理请求向量的一种具体实现过程可以如图2所示，至少包括：
44.步骤s202a，终端设备对图像处理请求进行处理处理，得到处理结果；所述处理结果包括至少一个词语。
45.在一些实施例中，若图像处理请求是用户输入的文本，则对图像处理请求进行处理可以包括：对文本进行字体转换，如将文本中的繁体字转换为中文简体；删除文本中的冗余信息，如将文本中的符号删除；在对文本进行字体转换和删除冗余信息之后，对文本进行切词处理。作为示例，若对文本进行字体转换和删除冗余信息之后的文本为“喝酒的照片”，则对文本进行处理得到的处理结果为“喝酒”、“的”和“照片”。
46.步骤s202b，终端设备生成每个词语分别对应的词语向量。
47.以对文本进行字体转换和删除冗余信息之后的文本为“喝酒和唱歌的照片”为例，对文本进行处理得到的处理结果为“喝酒”、“唱歌”、“的”和“照片”，则生成“喝酒”和“唱歌”分别对应的词语向量。
48.在一些实施例中，词语对应的词语向量可以通过预先训练的向量模型确定。作为示例，可以先建立样本中文词库，样本中文词库中的词语样本可以来自于网络、书籍、字典等。将样本中文词库中的词语样本作为向量模型的输入对向量模型进行训练，使得向量模型输出的向量矩阵能够向量化地表示输入向量模型的词语。
49.步骤s202c，终端设备确定词语向量的集合为图像处理请求向量。
50.在一些实施例中，图像处理请求向量为对用户输入的文本进行处理后得到的每个词语分别对应的词语向量的集合。
51.步骤s203，终端设备查找与图像处理请求向量匹配的标签向量。
52.在一些可选实施例中，终端设备查找与图像处理请求向量匹配的标签向量的一种具体实现过程，如图3所示，包括：
53.步骤s203a，终端设备分别查找与每个词语向量匹配的标签向量。
54.在一些可选实施例中，对于终端设备内已经存储的图像，可以确定图像对应的分类标签，分类标签用于表征图像所属的类别。作为示例，分类标签可以是聚餐、唱歌、动物、
植物、风景、人物等内容类的标签；分类标签也可以是清理、去重、排序和分类等功能类的标签。
55.在一些实施例中，若图像中没有人物、图像中包括大海，则图像的分类标签为风景；若图像中没有人物、图像中包括多种绿色植物，则图像的分类标签为植物；若图像中没有人物，图像中包括动物，则图像的分类标签为动物；如图像中既包括植物，也包括动物，则的图像的分类标签为动物和植物。一张图像可以有多个分类标签。
56.在一些实施例中，可以利用预先训练的向量模型将每个分类标签转换为对应的标签向量。作为示例，可以先建立样本中文词库，样本中文词库中的词语样本可以来自于网络、书籍、字典等。将样本中文词库中的词语样本作为向量模型的输入对向量模型进行训练，使得向量模型输出的向量矩阵能够向量化地表示输入向量模型的词语。分类标签的向量化表示的一种示意图，如图4所示，每个词语都有对应的标签向量。
57.步骤s203b，终端设备确定与词语向量匹配的标签向量的集合，为与图像处理请求向量匹配的标签向量。
58.针对步骤s203a，终端设备分别查找与每个词语向量匹配的标签向量的一种具体实现过程，如图5所示，包括：
59.步骤1，终端设备针对每个词语向量，计算词语向量与存储的每个标签向量之间的距离。
60.在一些可选实施例中，若用户输入的文本经过处理后，包括n个词语，则分别计算n个词语中的每个词语对应的词语向量，得到第一词语向量、第二词语向量
…
第n词语向量。终端设备中存储x个标签向量，分别为第一标签向量、第二标签向量
…
第x标签向量。计算第一词语向量分别与第一标签向量、第二标签向量
…
第x标签向量共x个标签向量之间的距离；计算第二词语向量分别与第一标签向量、第二标签向量
…
第x标签向量共x个标签向量之间的距离；直至计算地n词语向量分别与第一标签向量、第二标签向量
…
第x标签向量共x个标签向量之间的距离。
61.步骤2，终端设备确定所述距离小于距离阈值时的标签向量，为与所述词语向量匹配的标签向量。
62.在一些实施例中，针对第一词语向量，终端设备确定第一词语向量与x个标签向量之间的x个距离中小于距离阈值的距离，确定小于距离阈值的距离对应的标签向量为与第一词语向量匹配的标签向量。
63.作为示例，若第一词语向量与第一标签向量之间的距离，第一词语向量与第二标签向量之间的距离，以及第一词语向量与第三标签向量之间的距离军小于距离阈值，则第一标签向量、第二标签向量和第三标签向量为与第一词语向量匹配的标签向量。举例来说，若第一词语为“聚餐”，第一标签向量、第二标签向量和第三标签向量对应的分类标签为“聚会”、“烧烤”和“ktv”。
64.针对除第一词语向量以外的其他词语向量，采用与上述第一词语向量相同的处理方法，能够确定每个词语对应的分类标签。
65.本公开实施例中，通过将用户输入的图像处理请求对应的词语向量与分类标签对应的标签向量匹配，得到用户输入的图像处理请求对应的分类标签，能够更精准地理解用户的意图，高效地确定用户需要处理的图像。
66.在一些实施例中，终端设备确定与图像处理请求向量匹配的标签向量之后，所述图像处理方法还可以包括：
67.步骤s204，终端设备向服务器发送与图像处理请求向量匹配的标签向量。
68.在一些实施例中，终端设备将与图像处理请求向量匹配的标签向量发送至服务器，使得服务器能够对服务器中存储的与标签向量对应的图像进行处理，如对图像进行去重处理、对图像进行分类，对图像进行召回，以及对图像进行排序等。
69.在一些实施例中，终端设备确定与图像处理请求向量匹配的标签向量之后，所述图像处理方法还可以包括：
70.步骤s204’，终端设备确定与图像处理请求向量匹配的标签向量对应的图像，终端设备基于图像处理请求对图像进行处理。
71.在一些实施例中，终端设备对图像进行处理可以包括：对图像进行去重处理、对图像进行分类，对图像进行召回，以及对图像进行排序等。
72.在一些实施例中，在对图像进行处理之后，所述图像处理方法还可以包括：
73.步骤s205，终端设备确定针对所述图像处理请求的图像处理结果。
74.在一些实施例中，终端设备可以接受服务器发送的图像处理结果。作为示例，若图像处理请求为搜索图像，则服务器针对图像处理请求对图像进行搜索和召回，并把搜索和召回结果发送至终端设备。若图像处理请求为对第一类别标签的图像进行去重处理，则服务器将去重处理结果发送至终端设备。
75.在一些实施例中，终端设备还可以对图像处理结果进行统计，得到图像处理请求的有结果率；其中，图像处理请求的有结果率可以指针对图像处理请求得到处理结果的图像处理请求数量与全部图像处理请求数量之比。作为示例，若终端设备接收用户发送的m个图像处理请求，其中p个图像处理请求有处理结果，则有结果率为p/m。
76.本公开实施例中，通过终端设备对用户输入的文本或图像进行向量化转换，使得服务器或终端设备能够基于文本的向量化转换结果对用户的搜索意图进行智能化理解，避免工作人员扩展词语的近义词字典导致的近义词字典扩充率有限的问题，提高了对非书面用语和网络用于的覆盖率。
77.通过将用户输入的文本或图像的向量化转换结果与预先存储的标签向量进行比较，能够解决用户搜索的文本或图片与存储的图片的分类标签不同、但是含义相似导致的搜索不到的问题。举例来说，若用户输入的文本为“聚餐”，相关技术中根据用户输入的文本，无法匹配分类标签为“ktv”的图像；而采用本公开的图像处理方法，根据用户输入的“聚餐”，能够匹配到分配标签为“ktv”的图像。
78.下面针对用户输入的不同的图像处理请求对本公开提供的图像处理方法进行说明。
79.本公开实施例提供的图像处理方法的一种详细处理流程，如图6所示，至少可以包括：
80.步骤s301，用户向终端设备发送图像处理请求。
81.在一些实施例中，用户可以基于终端设备安装的应用程序或小程序发送图像处理请求，图像处理请求是图像的形式，也可以是文本的形式。如用户在云相册应用程序中输入一张图像，用户希望召回云相册中与输入的图像相似的图像。作为示例，用户输入的图像如
图7所示。
82.步骤s302，终端设备将用户输入的图像转换为文本，并对文本进行处理。
83.在一些实施例中，终端设备根据用户输入的图像得到文本“吃饭和喝酒的照片”，并对“吃饭和喝酒的照片”进行切词处理，得到“吃饭”、“喝酒”、“的”和“照片”。
84.步骤s303，终端设备确定经处理后的文本的词语向量。
85.在一些实施例中，终端设备计算“吃饭”、“喝酒”和“照片”分别对应的词语向量。
86.步骤s304，终端设备计算每个词语向量分别与云相册中存储的图像对应的分类标签的标签向量之间的距离。
87.在一些实施例中，词语向量包括：“吃饭”对应的词语向量、“喝酒”对应的词语向量和“照片”对应的词语向量。
88.在具体实施时，终端设备计算“吃饭”对应的向量与云相册中存储的图像对应的分类标签的标签向量之间的距离dis11，dis12，
…
，dis1n；终端设备计算“喝酒”对应的向量与云相册中存储的图像对应的分类标签的标签向量之间的距离dis21，dis22，
…
，dis2n；终端设备计算“照片”对应的向量与云相册中存储的图像对应的分类标签的标签向量之间的距离dis31，dis32，
…
，dis3n。
89.步骤s305，终端设备确定小于距离阈值的距离对应的分类标签。
90.在一些实施例中，终端设备比较dis11，dis12，
…
，dis1n，dis21，dis22，
…
，dis2n，dis31，dis32，
…
，dis3n与距离阈值的大小；若小于距离阈值，则表征该分类标签为用户希望搜索的图像对应的分类标签。
91.步骤s306，终端设备向服务器发送小于距离阈值的距离对应的分类标签。
92.步骤s307，服务器将云相册中该分类标签对应的图像发送至终端设备。
93.本公开实施例中，用户请求获取云相册中的照片，则服务器将云相册中该分类标签对应的图像发送至终端设备；若用户仅请求获取照片，并未限定获取云相册中的照片，则服务器可以将该用户对应的应用程序中满足条件的照片均发送至终端设备，如将用户对应的社交类应用程序、音乐类应用程序和存储类应用程序中满足条件的照片均发送至终端设备。
94.上述图6以召回图像为例对本公开提供的图像处理方法进行说明，下面以对图像进行删除为例对本公开提供的图像处理方法进行说明；本公开实施例提供的图像处理方法的另一种详细处理流程，如图8所示，可以包括：
95.步骤s401，用户向终端设备发送文本形式的图像处理请求。
96.在一些实施例中，用户可以基于终端设备安装的应用程序或小程序发送图像处理请求，图像处理请求是文本的形式。如用户在应用程序中输入文本“清理本地相册中的风景照片”。
97.步骤s402，终端设备将用户输入的文本转换为词语向量。
98.在一些实施例中，终端设备将用户输入的文本进行切词处理，得到“清理”、“本地相册”和“风景照片”；并利用预先训练的向量模型确定“清理”、“本地相册”和“风景照片”分别对应的词语向量。
99.步骤s403，终端设备计算词语向量与终端设备中存储的标签向量的距离，确定距离小于距离阈值的标签向量为目标标签向量。
100.在一些实施例中，根据目标标签向量对用户输入的文本进行语义理解。
101.在一些实施例中，针对目标标签向量能够确定用户希望删除本地相册中的风景照片。
102.步骤s404，终端设备删除本地相册中包括风景的照片。
103.本公开实施例还提供一种图像处理装置，所述图像处理装置的组成结构，如图9所示，包括：
104.接收模块501，用于接收图像处理请求；
105.生成模块502，用于生成所述图像处理请求对应的图像处理请求向量；
106.匹配模块503，用于查找与所述图像处理请求向量匹配的标签向量；
107.其中，所述标签向量用于所述终端设备和/或服务器对图像进行处理。
108.在一些可选实施例中，生成模块502，用于对所述图像处理请求进行处理处理，得到处理结果；所述处理结果包括至少一个词语；
109.生成每个词语分别对应的词语向量；
110.确定所述词语向量的集合为所述图像处理请求向量。
111.在一些可选实施例中，匹配模块503，用于分别查找与每个所述词语向量匹配的标签向量；
112.确定与所述词语向量匹配的标签向量的集合，为与所述图像处理请求向量匹配的标签向量。
113.在一些可选实施例中，匹配模块503，用于针对每个所述词语向量，计算所述词语向量与存储的每个标签向量之间的距离；
114.确定所述距离小于距离阈值时的标签向量，为与所述词语向量匹配的标签向量。
115.在一些可选实施例中，所述图像处理装置还包括：发送模块504，用于向服务器发送与所述图像处理请求向量匹配的标签向量；
116.所述与所述图像处理请求向量匹配的标签向量，用于所述服务器对所述服务器中存储的与所述标签向量对应的图像进行处理。
117.在一些可选实施例中，所述图像处理装置还包括：处理模块505，用于确定与所述图像处理请求向量匹配的标签向量对应的图像；
118.基于所述图像处理请求对所述图像进行处理。
119.在一些可选实施例中，处理模块505，用于对所述图像进行召回、分类、排序和去重。
120.在一些可选实施例中，匹配模块503，还用于确定针对所述图像处理请求的图像处理结果。
121.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
122.图10示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。在一些可选实施例中，电子设备800可以是终端设备，也可以是服务器。在一些可选实施例中，电子设备800可以通过运行计算机程序来实现本技术实施例提供的图像处理方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(native)应用程序(application，app)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需
要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意app中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
123.在实际应用中，电子设备800可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。电子设备800可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。
124.电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
125.如图10所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
126.电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
127.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些可选实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些可选实施例中，计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的视觉问答方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为图像处理方法。
128.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出
装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
129.用于实施本公开的图像处理方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
130.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
131.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
132.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
133.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
134.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
135.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。