一种图像处理网络的训练方法及装置与流程

1.本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域。


背景技术：

2.近年来，随着深度学习的发展，越来越多的深度学习网络被应用于图像处理，图像处理中，通常先采用神经网络提取图像特征，再基于图像特征进行后续处理。


技术实现要素：

3.本公开提供了一种图像处理网络的训练方法、装置、电子设备及存储介质。
4.根据本公开的一方面，提供了一种图像处理网络的训练方法，包括：
5.获取样本图像，将所述样本图像分别输入第一编码网络和第二编码网络，分别得到所述样本图像的查询向量和键向量；
6.基于同一样本图像的查询向量和键向量构建正样本对；
7.针对每一样本图像，计算该样本图像的查询向量与其他样本图像的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量；
8.基于样本图像的查询向量、与该查询向量的相似度低于预设阈值的其他样本图像的键向量，构建负样本对；
9.基于所述正样本对、所述负样本对训练所述图像处理网络。
10.根据本公开的一方面，提供了一种图像处理方法，包括：
11.基于图像处理网络的提取目标图像的图像特征，得到所述目标图像的特征向量，基于所述特征向量对所述目标图像进行图像处理，其中，所述图像处理网络的是基于图像处理网络的训练方法训练得到的。
12.根据本公开的另一方面，提供了一种图像处理网络的训练装置，包括：
13.获取模块，用于获取样本图像，将所述样本图像分别输入第一编码网络和第二编码网络，分别得到所述样本图像的查询向量和键向量；
14.第一构建模块，用于基于同一样本图像的查询向量和键向量构建正样本对；
15.计算模块，用于针对每一样本图像，计算该样本图像的查询向量与其他样本图像的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量；
16.第二构建模块，用于基于样本图像的查询向量、与该查询向量的相似度低于预设阈值的其他样本图像的键向量，构建负样本对；
17.训练模块，用于基于所述正样本对、所述负样本对训练所述图像处理网络。
18.根据本公开的另一方面，提供了一种图像处理装置，包括：
19.分析模块，用于基于图像处理网络提取目标图像的图像特征，得到所述目标图像的特征向量，基于所述特征向量对所述目标图像进行图像处理，其中，所述图像处理网络是基于图像处理网络的训练装置训练得到的。
20.根据本公开的又一方面，提供了一种电子设备，包括：
21.至少一个处理器；以及
22.与所述至少一个处理器通信连接的存储器；其中，
23.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图像处理网络的训练方法。
24.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行图像处理网络的训练方法。
25.根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现图像处理网络的训练方法。
26.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
27.附图用于更好地理解本方案，不构成对本公开的限定。其中：
28.图1为本公开实施例提供的图像处理网络的训练方法的一种流程示意图；
29.图2为本公开实施例提供的图像处理方法的一种流程示意图；
30.图3是用来实现本公开实施例的图像处理网络的训练方法的装置的框图；
31.图4是用来实现本公开实施例的图像处理方法的装置的框图；
32.图5是用来实现本公开实施例的图像处理网络的训练方法的电子设备的框图。
具体实施方式
33.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
34.随着深度学习的发展，越来越多的深度学习网络被应用于图像处理，图像处理中，通常先采用神经网络提取图像特征，再基于图像特征进行后续处理。
35.近年来，无监督学习在自然语言处理领域取得了较大的成功，但在计算机视觉领域，有监督的学习仍然占据主流。然而，当前绝大多数视频图像数据都是不存在标注信息的，标注这些数据需要耗费巨大的人力。因此，合理利用海量的视频图像数据进行无监督学习，是计算机视觉领域的一个重要发展方向。
36.目前常用的无监督学习方法是对比损失(contrastive loss)学习方法，对比学习的目标是训练一个编码器，也叫编码网络，训练目标是：编码器能够对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。在计算机视觉领域，训练好的编码器可以用于提取通用的视觉表征，即提取图像的图像特征，用于后续的进一步图像处理。
37.具体实现中，将输入编码网络的样本分为正负样本进行学习，学习目标为：正样本之间的向量表示尽可能相似，而正样本与负样本之间的向量表示尽可能差异较大。
38.然而，相关技术中，忽略了训练集中往往存在相似的样本图像，直接让当前样本图像经过编码网络输出的向量和其他样本图像经过编码网络输出的向量构成负样本对，这样会导致两个相似的样本图像对应的两个向量构成了负样本对，这是不合理的，会导致编码
网络的训练效果较差，不能合理、准确的提取图像的图像特征。
39.为了解决上述技术问题，本公开提供了一种图像处理网络的训练方法、装置、电子设备及存储介质。
40.本公开的一个实施例中，提供了一种基于图像处理网络的训练方法，图像处理网络包括第一编码网络和第二编码网络，方法包括：
41.获取样本图像，将样本图像分别输入第一编码网络和第二编码网络，分别得到样本图像的查询向量和键向量；
42.基于同一样本图像的查询向量和键向量构建正样本对；
43.针对每一样本图像，计算该样本图像的查询向量与其他样本图像的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量；
44.基于样本图像的查询向量、与该查询向量的相似度低于预设阈值的其他样本图像的键向量，构建负样本对；
45.基于正样本对、负样本对训练图像处理网络。
46.可见，在构建负样本对之前，先计算样本图像的查询向量与其他样本图像的键向量的相似度，如果相似度低于预设阈值，才将该查询向量和对应的键向量构成负样本对，即相对于现有实现方案，通过聚类的方式从负样本对中剔除相似度较高的查询向量和键向量，从而所构建的每一负样本对对应的两个样本图像之间的差异较大，解决了相关方案中两个相似的样本图像对应的两个向量构成负样本对的问题，使负样本对的构建更为合理，最终提高图像处理网络的训练效果，在图像处理过程中，准确、合理的提取图像特征，从而提高了图像处理精度。
47.下面对本公开实施例提供的图像处理网络的训练方法、装置、电子设备及存储介质分别进行详细介绍。
48.参见图1，图1为本公开实施例提供的图像处理网络的训练方法的一种流程示意图，如图1所示，方法可以包括以下步骤：
49.s101：获取样本图像，将样本图像分别输入第一编码网络和第二编码网络，分别得到样本图像的查询向量和键向量。
50.在计算机视觉和深度学习技术领域，基于网络模型对图像进行分析的过程，需要先通过编码网络提取图像的图像特征，再对图像特征进行后续处理，以进行图像分类、识别、分割等。其中，后续处理的过程可以基于有标签的监督学习实现，具体参见相关技术。
51.本公开实施例中，采用无监督学习方式，对图像处理网络进行训练，也就是对图像处理网络中的第一编码网络和第二编码网络进行训练，训练完成的编码网络可以用于提取图像特征，即调整编码网络中的网络参数，实现合理、准确的提取图像特征。
52.本步骤中，样本图像均为无标注信息的图像。第一编码网络和第二编码网络是待训练的用于提取图像特征的网络。
53.将样本图像输入第一编码网络，得到样本图像的第一特征向量，记为查询向量；将样本图像输入第二编码网络，得到样本图像的第二特征向量，记为键向量。
54.s102：基于同一样本图像的查询向量和键向量构建正样本对。
55.本公开实施例中，同一样本图像的查询向量和键向量构成正样本对。
56.作为一个示例，样本图像a经过第一编码网络，得到查询向量a1，样本图像a经过第
二编码网络，得到查询向量a2，则a1和a2构成正样本对。
57.s103：针对每一样本图像，计算该样本图像的查询向量与其他样本图像的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量。
58.s104：基于样本图像的查询向量、与该查询向量的相似度低于预设阈值的其他样本图像的键向量，构建负样本对。
59.具体的，不限于采用欧几里德距离、皮尔逊相关系数、曼哈顿距离等计算方式，计算样本图像的查询向量与其他样本图像的键向量的相似度。
60.根据计算得到的相似度可以筛选出相似度低于预设阈值的其他样本图像的键向量。
61.随后，基于样本图像的查询向量、与该查询向量的相似度低于预设阈值的其他样本图像的键向量，构建负样本对。
62.作为一个示例，样本图像a经过第一编码网络，得到查询向量a1；样本图像b经过第二编码网络，得到键向量b2；样本图像c经过第二编码网络，得到键向量c2。在构建负样本对时，计算查询向量a1和键向量b2的相似度为0.3，计算查询向量a1和键向量c2的相似度为0.7，若预设阈值为0.5，则查询向量a1和键向量b2构成负样本对，查询向量a1和键向量c2不构成负样本对。
63.也就是说，查询向量a1和键向量c2相似度较高，二者分别对应的样本图像a和样本图像c很可能是同一类别的，将查询向量a1和键向量c2构成负样本对是不合理的，因此本公开实施例中，查询向量a1和键向量c2不构成负样本对。
64.s105：基于正样本对、负样本对训练图像处理网络。
65.构建的正样本对和负样本对，用于训练第一编码网络和第二编码网络，本公开实施例中，训练完成的第一编码网络可以作为图像特征提取网络。
66.可见，在构建负样本对之前，先计算样本图像的查询向量与其他样本图像的键向量的相似度，如果相似度低于预设阈值，才将该查询向量和对应的键向量构成负样本对，即相对于现有实现方案，通过聚类的方式从负样本对中剔除相似度较高的查询向量和键向量，从而所构建的每一负样本对对应的两个样本图像之间的差异较大，解决了相关方案中两个相似的样本图像对应的两个向量构成负样本对的问题，使负样本对的构建更为合理，最终提高图像处理网络的训练效果，在图像处理过程中，准确、合理的提取图像特征，从而提高了图像处理精度。
67.本公开的一个实施例中，以最小化每一正样本对中查询向量和键向量的相似度、最大化每一负样本对中查询向量和键向量的相似度为目标，调整第一编码网络中的参数。例如，基于梯度下降法调整第一编码网络中的参数。
68.随后基于第一编码网络中的参数，采用动量更新方式更新第二编码网络中的参数，使第二编码网络的参数逐步向第一编码网络的参数逼近。其中，动量更新是指，参数更新时在一定程度上保留之前更新的方向，同时又利用当前样本数据的梯度微调最终的更新方向。
69.本公开的一个实施例中，可以基于预设的训练终止条件，将当前第一编码网络确定为训练完成的图像特征提取网络。
70.具体的，在每次更新第一编码网络和第二编码网络之后，判断是否符合训练终止
条件，该终止条件可以是迭代次数达到预设阈值。
71.若符合，将当前第一编码网络确定为训练完成的图像特征提取网络。
72.若不符合，返回获取样本图像，将样本图像分别输入第一编码网络和第二编码网络的步骤，即进入下一轮训练。
73.本公开的一个实施例中，为了便于构建更多的正样本对和负样本对，并提高网络模型的泛化性，上述步骤s101中：将样本图像分别输入图像处理网络的第一编码网络和第二编码网络，分别得到样本图像的查询向量和键向量，具体可以包括：
74.对样本图像进行预设多种类型的数据增强；将经过预设多种类型的数据增强后的样本图像输入第一编码网络得到多个查询向量；将经过预设多种类型的数据增强后的样本图像输入第二编码网络得到多个键向量。
75.其中，图像的数据增强不限于：裁剪、翻转、旋转、缩放、扭曲等几何变换，以及像素扰动、添加噪声、光照调节、对比度调节、分割补丁等。
76.本公开实施例中，同一个样本图像经过多种类型的数据增强后，得到多个图像，随后将数据增强后的每个图像分别输入第一编码网络和第二编码网络。
77.也就是说，样本图像的查询向量包括：将经过预设多种类型的数据增强后的样本图像输入第一编码网络得到的多个查询向量。
78.样本图像的键向量包括：将经过预设多种类型的数据增强后的样本图像输入第二编码网络得到的多个键向量。
79.本公开的一个实施例中，为了在较小的样本图像数据量下进行无监督训练，尽可能的构建较多的负样本对，可以预先构建记忆队列，该队列中存储预设数目的样本图像的历史键向量。历史键向量表示先前的训练轮次中历史样本图像依次经过数据增强、第二编码网络后得到的键向量。
80.在每轮训练中，基于新输入的样本图像的键向量更新记忆队列，例如采用先进先出的方式更新记忆队列。
81.相应的，上述步骤s103，具体可以包括：
82.针对每一样本图像，计算该样本图像的查询向量与更新后的记忆队列中存储的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量。
83.也就是说，针对每一样本图像，可以先对其进行多种类型的数据增强，再经过第一编码网络得到多个查询向量。针对每个查询向量，都计算该查询向量与记忆队列中存储的键向量的相似度，筛选出相似度低于预设阈值的键向量，将筛选出的每一键向量与上述查询向量构成负样本对。
84.由于设置了记忆队列，保留先前轮次的键向量，使得每次训练输入的样本图像数目(batch)较少的情况下，依然能够构建较多的负样本对，从而对机器资源没有显著要求。
85.本公开的一个实施例中，训练完成的第一编码网络能够作为提取目标图像的图像特征的网络，应用于图像处理领域。
86.具体的，参见图2，图2为本公开实施例提供的图像处理方法的一种流程示意图，包括：
87.s201：基于图像处理网络提取目标图像的图像特征，得到目标图像的特征向量，基于特征向量对目标图像进行图像处理，其中，图像处理网络是基于图像处理网络的训练方
法训练得到的。
88.具体的，在图像处理过程中，获取待分析的目标图像，基于训练完成的图像处理网络提取目标图像的图像特征，得到目标图像的特征向量，基于特征向量对目标图像进行图像处理。
89.其中，图像处理包括图像分类、图像检测、图像分割或图像识别等。后续图像处理的过程可以基于有标签的监督学习实现。例如在分类任务中，首先使用本公开提供的图像处理网络训练方法训练编码网络，训练后的编码网络能够合理、准确的提取图像数据的图像特征，之后只需使用少量带有标签的图像数据训练分类器，即可实现图像分类。
90.可见，训练完成的图像处理网络能够合理、准确的提取图像的图像特征，基于图像特征进行后续的图像处理，能够得到更为准确的图像处理结果。
91.参见图3，图3是用来实现本公开实施例的图像处理网络训练方法的装置的框图，如图3所示，装置可以包括：
92.编码模块301，用于获取样本图像，将所述样本图像分别输入第一编码网络和第二编码网络，分别得到所述样本图像的查询向量和键向量；
93.第一构建模块302，用于基于同一样本图像的查询向量和键向量构建正样本对；
94.计算模块303，用于针对每一样本图像，计算该样本图像的查询向量与其他样本图像的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量；
95.第二构建模块304，用于基于样本图像的查询向量、与该查询向量的相似度低于预设阈值的其他样本图像的键向量，构建负样本对；
96.训练模块305，用于基于所述正样本对、所述负样本对训练图像处理网络。
97.本公开的一个实施例中，编码模块具体用于：
98.对所述样本图像进行预设多种类型的数据增强；将经过预设多种类型的数据增强后的样本图像输入第一编码网络得到多个查询向量；
99.将经过预设多种类型的数据增强后的样本图像输入第二编码网络得到多个键向量。
100.本公开的一个实施例中，所述训练模块，具体用于：
101.以最小化每一正样本对中查询向量和键向量的相似度、最大化每一负样本对中查询向量和键向量的相似度为目标，调整所述第一编码网络中的参数；
102.基于所述第一编码网络中的参数，采用动量更新方式更新所述第二编码网络中的参数。
103.本公开的一个实施例中，还包括：
104.存储模块，用于基于所述样本图像的键向量更新预先构建的记忆队列，所述记忆队列中存储预设数目的所述样本图像的历史键向量；
105.所述计算模块，具体用于：
106.针对每一样本图像，计算该样本图像的查询向量与更新后的记忆队列中存储的键向量的相似度，确定相似度低于预设阈值的其他样本图像的键向量。
107.本公开的一个实施例中，所述训练模块还用于：
108.基于预设的训练终止条件，将当前第一编码网络确定为训练完成的图像处理网络。
109.可见，在构建负样本对之前，先计算样本图像的查询向量与其他样本图像的键向量的相似度，如果相似度低于预设阈值，才将该查询向量和对应的键向量构成负样本对，即相对于现有实现方案，通过聚类的方式从负样本对中剔除相似度较高的查询向量和键向量，从而所构建的每一负样本对对应的两个样本图像之间的差异较大，解决了相关方案中两个相似的样本图像对应的两个向量构成负样本对的问题，使负样本对的构建更为合理，最终提高图像处理网络的训练效果，在图像处理过程中，准确、合理的提取图像特征，从而提高了图像处理精度。
110.参见图4，图4是用来实现本公开实施例的图像处理方法的装置的框图，如图4所示，装置可以包括：
111.分析模块401，用于基于图像处理网络提取目标图像的图像特征，得到目标图像的特征向量，基于特征向量对目标图像进行图像处理，其中，图像处理网络是基于图像处理网络的训练装置训练得到的。
112.本公开的一个实施例中，分析模块，具体可以用于：
113.基于特征向量对目标图像进行图像分类、图像检测、图像分割或图像识别。
114.可见，训练完成的图像处理网络能够合理、准确的提取图像的图像特征，基于图像特征进行后续的图像处理，能够得到更为准确的图像处理结果。
115.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
116.本公开提供了一种电子设备，包括：
117.至少一个处理器；以及
118.与所述至少一个处理器通信连接的存储器；其中，
119.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图像处理网络的训练方法。
120.本公开提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行图像处理网络的训练方法。
121.本公开提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现图像处理网络的训练方法。
122.图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
123.如图所示，设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
124.设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；
输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
125.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如图像处理网络的训练方法。例如，在一些实施例中，图像处理网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由计算单元501执行时，可以执行上文描述的图像处理网络的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理网络的训练方法。
126.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
127.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
128.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
129.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
130.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
131.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
132.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
133.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。