一种图像的变化检测方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域。


背景技术：

2.目前，图像变化检测技术已得到广泛应用。变化检测指的是从不同时期的遥感数据中定量分析和确定地表变化的特征与过程。其目的是针对同一地点，检测出该地点在不同时段下发生变化的区域。


技术实现要素：

3.本公开提供了一种图像的变化检测方法、装置、设备以及存储介质，以提高图像变化检测的效率。
4.根据本公开的一方面，提供了一种图像的变化检测方法，包括：
5.获取针对同一场景在不同时间拍摄的待检测图像；
6.对所述待检测图像进行特征融合，得到目标特征图像；
7.对所述目标特征图像进行目标检测，确定目标对象所在的第一目标区域；
8.在所述待检测图像的第二目标区域中进行目标检测；所述第二目标区域与所述第一目标区域相对应；
9.响应于所述第二目标区域中不存在所述目标对象，确定所述场景发生变化。
10.根据本公开的另一方面，提供了一种图像的变化检测装置，包括：
11.待检测图像获取模块，用于获取针对同一场景在不同时间拍摄的待检测图像；
12.目标特征图像获取模块，用于对所述待检测图像进行特征融合，得到目标特征图像；
13.目标区域确定模块，用于对所述目标特征图像进行目标检测，确定目标对象所在的第一目标区域；
14.变化检测模块，用于在所述待检测图像的第二目标区域中进行目标检测；所述第二目标区域与所述第一目标区域相对应；响应于所述第二目标区域中不存在所述目标对象，确定所述场景发生变化。
15.根据本公开的另一方面，提供了一种电子设备，包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一所述的图像的变化检测方法。
19.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一所述的图像的变化检测方法。
20.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算
机程序在被处理器执行时实现上述任一所述的图像的变化检测方法。
21.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.附图用于更好地理解本方案，不构成对本公开的限定。其中：
23.图1是根据本公开提供的图像的变化检测方法的第一实施例的示意图；
24.图2是根据本公开提供的图像的变化检测方法的第二实施例的示意图；
25.图3是根据本公开提供的图像的变化检测方法的第三实施例的示意图；
26.图4是根据本公开提供的图像的变化检测方法的一种具体实例的示意图；
27.图5是根据本公开提供的图像的变化检测装置的第一实施例的示意图；
28.图6是用来实现本公开实施例的图像的变化检测方法的电子设备的框图。
具体实施方式
29.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
30.在许多场景下，都需要对在较长的时间尺度下采集到的多个图像(下文称这些图像为长时序图像)进行变化检测。例如，对同一个区域，以月为间隔获取该区域的图像，并对该区域，基于获取到的各个图像进行以年为单位的变化检测，得到该区域地表几年内的变化情况。
31.相关技术中，对于长时序的图像变化检测，通常是针对每两个长时序图像，预测该两个长时序图像之间的变化区域，得到变化区域预测结果，再基于各个变化区域预测结果提取变化区域信息。具体的，分别将每两张长时序图像输入至神经网络，并获取神经网络输出的变化区域预测结果。在基于各变化区域预测结果提取变化区域信息时，需要对所有变化区域预测结果进行一次遍历(下文称连通域提取)，但是这个操作非常耗时。通常，对大小为30000x30000的一景影像(指卫星拍摄一次所拍摄到的画面)进行一次连通域提取，需要半个小时。因此，在长时序图像数目较多的情况下，连通域提取将会耗费大量时间，导致变化检测效率极低。
32.为了提高变化检测效率，本公开提供了一种图像的变化检测方法、装置、设备以及存储介质。下面首先对本公开提供的图像的变化检测方法进行示例性说明。
33.本公开提供的图像的变化检测方法可以应用于任意具备变化检测功能的电子设备。上述电子设备可以是服务器、计算机等等，本公开对此不做具体限定。
34.如图1所示，图1为根据本公开提供的图像的变化检测方法的第一实施例的示意图，可以包括以下步骤：
35.步骤s110、获取针对同一场景在不同时间拍摄的待检测图像；
36.步骤s120、对所述待检测图像进行特征融合，得到目标特征图像；
37.步骤s130、对所述目标特征图像进行目标检测，确定目标对象所在的第一目标区
域；
38.步骤s140、在所述待检测图像的第二目标区域中进行目标检测；所述第二目标区域与所述第一目标区域相对应；
39.步骤s150、响应于所述第二目标区域中不存在所述目标对象，确定所述场景发生变化。
40.本公开实施例提供的图像的变化检测方法，获取针对同一场景在不同时间拍摄的待检测图像；对待检测图像进行特征融合，得到目标特征图像；对目标特征图像进行目标检测，确定目标对象所在的第一目标区域；在待检测图像的第二目标区域中进行目标检测；第二目标区域与第一目标区域相对应，若第二目标区域中不存在目标对象，则确定场景发生变化。
41.由于，针对同一场景拍摄的在时序上连续的待检测图像中地表特征通常相似，一般很少出现时序上相邻的两待检测图像在相同区域中存在不同建筑物的情况。如很少出现一个月前拍摄的待检测图像中某一区域内存在建筑物a，当前针对同一场景拍摄的待检测图像中相同区域内不存在建筑物a，而是存在建筑物b。因此，在进行图像的变化检测时，仅需检测各待检测图像中同一区域中是否都存在目标对象，若至少一个待检测图像中的目标区域中不存在目标对象，则可认为目标对象在一部分待检测图像的位置与另一部分待检测图像不同，即该场景的地表发生变化，而无需对具体的目标对象类型进行区分。
42.再有，对于针对同一场景在不同时间拍摄的各待检测图像来说，若某一区域的地表发生变化，例如，各待检测图像中，有些待检测图像的相同区域中存在目标对象，另一些待检测图像的该区域中不存在目标对象。但对各待检测图像在时序上进行特征融合得到的目标特征图像反映的是各待检测图像整体上的特征。因此，即使只有部分待检测图像中存在目标对象，对于各待检测图像进行特征融合得到的目标特征图像的相同区域中也会存在该目标对象。因此，通过对该目标特征图像进行目标检测即可确定目标对象所在的第一目标区域。而若有待检测图像的第二目标区域中不存在目标对象，则认为目标对象在一部分待检测图像的位置与另一部分待检测图像不同，即该地点的地表发生变化。
43.因此，应用本公开实施例，通过对时间上连续的待检测图像进行特征融合，再基于特征融合后的目标特征图像进行目标检测，即可确定目标对象所在的第一目标区域，对所述各待检测图像中，与第一目标区域对应的第二目标区域进行目标检测，若待检测图像的第二目标区域中不存在所述目标对象，则可确定所述场景发生变化，能够有效检测出待检测图像之间的变化，且由于无需对所有时间点的待检测图像两两确定变化区域预测结果，提高了变化区域的确定效率，节省变化检测时间，提高图像变化检测效率。
44.下面对上述步骤s110-s150进行示例性说明：
45.步骤s110中，上述待检测图像通常是同一图像采集设备针对同一场景，在不同时间拍摄的多张图像。各待检测图像在时序上连续。上述同一场景可以是同一地点，也可以是空间中存在的同一实体对象，如处于结晶过程中的同一结晶体等等，本公开对此不做具体限定。例如，上述待检测图像可以是针对同一地点，每隔1个月获取的图像，也可以是每隔半年、一年等时间获取的图像。上述待检测图像可以是卫星、雷达等拍摄的遥感图像，也可以是摄像机、监控等图像采集设备拍摄到的图像。本公开对此不做具体限定。
46.下面以同一地点为例，对本公开提供的图像的检测方法进行示例性说明。
47.通常，在有限周期内，某一地点的地表发生变化的概率较小。对于时序上连续的待检测图像，时序上相邻的两图像存在差别的概率也较小，因此，无需按照时间顺序，对两两待检测图像进行变化区域结果预测。而是可以将各待检测图像在时序上进行压缩，即对各待检测图像进行特征融合。这样，在满足变化检测需求的同时，可以尽可能地减少变化检测过程中的数据处理量。
48.步骤s120中，作为一种实施方式，可以将各待检测图像输入至特征融合模型中，获取上述特征融合模型输出的目标特征图像。
49.作为另一种实施方式，基于图1，如图2所示，图2为根据本公开提供的图像的变化检测方法的第二实施例的示意图。上述步骤s120，对所述待检测图像进行特征融合，得到目标特征图像，具体可以包括以下步骤：
50.步骤s121、对所述待检测图像进行特征提取，获取所述待检测图像对应的特征图像。
51.本公开实施例中，可以分别将各待检测图像输入至编码器-解码器(encoder-decoder)结构的神经网络中，进行特征提取。上述编码器网络通常是卷积网络，用于获取图像中包含的对象的形状、位置以及语义等信息。上述解码器网络通常可以基于上述对象的形状、位置以及语义等信息，将上述对象的信息对应到相应的像素点。上述待检测图像对应的特征图像中就可以包含各对象的形状、位置以及语义信息。
52.步骤s122、对所述特征图像进行特征融合，得到目标特征图像。
53.对特征图像进行特征融合，通常指的是对特征图像中的各像素点的像素值进行直接拼接或求均值等等。
54.在本公开的一种实施例中，可以对各特征图像的相同位置上的像素点的像素值求均值，作为目标特征图像中相应位置上的像素点的像素值。
55.例如，对于特征图像a、b、c，可以确定图a、图b以及图c中，坐标为(x0,y0)的三个像素点的像素值的均值，作为目标特征图像中，坐标为(x0,y0)的像素点的像素值。当然，也可以确定上述三个像素点的像素值的加权平均值，作为目标特征图像中相应位置的像素点的像素值。
56.如上所述，目标特征图像的各像素点的像素值，是通过对各待检测图像对应的特征图像中相应位置像素的像素值取均值得到的。因此，若任意待检测图像中包括目标对象，那么目标特征图像中就会包含目标对象。
57.因此，步骤s130中，在获取上述目标特征图像后，可以对上述目标特征图像进行目标检测。确定目标特征图像中包含的目标对象的形状、目标对象的语义信息以及目标对象所在的第一目标区域。上述目标对象的语义信息可以指目标图像的具体类型，如可以是写字楼、加油站等等。
58.步骤s130中，可以使用faster r-cnn(region based convolutional neural networks，基于区域的卷积神经网络)、yolo模型等等模型对目标特征图像进行目标检测。
59.上述目标对象可以是一个或多个，相应的，上述目标特征图像中，包含目标对象的第一目标区域也可以是一个或多个。
60.步骤s140中，确定出上述第一目标区域后，即可在待检测图像中查询第二目标区域中是否存在目标对象。
61.上述第二目标区域与第一目标区域对应。作为一种实施方式，上述第二目标区域与第一目标区域大小、位置、形状相同。
62.例如，若上述目标特征图像中第一目标区域的范围是以坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)为端点的四边形。那么就可在各待检测图像中，将以坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)为端点的四边形区域作为第二目标区域，并在第二目标区域中进行目标检测，确定该区域中是否存在目标对象。
63.当然，上述第二目标区域也可以包含第一目标区域的范围，且略大于上述第一目标区域。如，第二目标区域可以是针对第一目标区域边缘上的各像素，向外扩大1或2个像素得到的范围。
64.步骤s140中，可以使用faster r-cnn、yolo等等模型在待检测图像的第二目标区域中进行目标检测。
65.步骤s150中，由于在目标特征图像的第一目标区域中检测出目标对象，因此，可以确定各待检测图像中存在第二目标区域内包含目标对象的待检测图像。因此，若存在第二目标区域中不包含目标对象的待检测图像，则可判断该第二目标区域发生了变化。
66.在本公开的一种实施例中，还可以针对各待检测图像对应的特征图像，检测上述特征图像的第二目标区域中是否存在上述目标对象。具体的，基于图1，如图2所示，上述步骤s140，在所述待检测图像的第二目标区域中进行目标检测，可以细化为：
67.步骤s240、对所述特征图像中的第二目标区域进行目标检测。
68.由于各待检测图像对应的特征图像中，主要保留了图像中各对象的形状、位置以及语义信息，对于背景环境信息保留较少。因此，通过在各特征图像中的第二目标区域中进行目标检测，可以减少环境像素对检测结果的影响，提高检测准确度。
69.在本公开的一种实施例中，所述第一目标区域中各像素的像素值均值大于第一预设阈值。
70.上述第一预设阈值可以是根据实际情况进行预先设置的像素值平均值。
71.作为一种具体实施方式，可以采用预设大小的滑动框，对上述目标特征图像进行移动遍历。并在每次移动后，计算上述滑动框中包括的各个像素的像素值平均值。若上述滑动框中的像素值平均值超过上述第一预设阈值，则可判断滑动框当前包括的区域中存在目标对象。
72.通过这种阈值过滤方式，仅需统计各像素的像素平均值，并与第一预设阈值进行比较，即可确定第一目标区域，无需采用像素级的边缘检测算法确定目标对象所在的位置，计算量较小，可以十分便利地确定目标特征图像中，目标对象所在的位置。
73.作为本公开实施例的一种具体实施方式，基于图1，如图3所示，图3为根据本公开提供的图像的变化检测方法的第三实施例的示意图。上述步骤s140、在所述待检测图像的第二目标区域中进行目标检测，可以包括：
74.步骤s141，确定所述第二目标区域中各像素的像素值均值是否大于第二预设阈值。
75.基于图1，如图3所示，上述方法还可以包括：
76.步骤s142、响应于确定所述第二目标区域中各像素的像素值均值大于第二预设阈值，确定所述第二目标区域中存在所述目标对象；
77.步骤s143、响应于确定所述第二目标区域中各像素的像素值均值小于或等于第二预设阈值，确定所述第二目标区域中不存在所述目标对象。
78.上述第二预设阈值可以根据实际情况预先设置，可以与上述第一预设阈值相同，也可以与上述第一预设阈值不同。
79.作为一种实施方式，上述第二预设阈值可以大于上述第一预设阈值。如上所述，上述目标特征图像中各像素的像素值，是对各待检测图像对应的特征图中相应位置像素的像素值进行平均后得到的。因此，若一部分待检测图像的相同区域中包含目标对象，而另一部分待检测图像的相同区域中不包含该目标对象，那么，目标特征图像中该区域的平均像素值会小于包含该目标对象的待检测图像中该区域的平均像素值。因此，可以设置第一预设阈值小于第二预设阈值，使得即使仅有部分待检测图像中包含目标对象，也可以从上述特征融合后得到的目标特征图像中检测出上述目标对象，从而提高第一目标区域确定的完整性。
80.通过阈值过滤的方式，仅需统计第二目标区域中各像素的像素值均值，并比较其与第二预设阈值的大小，即可确定第二目标区域中是否存在目标对象，无需采用像素级的边缘检测算法，计算较为简便，可以较为快速地确定待检测图像的第二目标区域中是否存在目标对象。
81.上述各待检测图像是在时序上连续的图像，因此，若前面几张待检测图像的目标区域中均存在(不存在)目标对象，但从某一张待检测图像开始，目标区域中不存在(存在)目标对象，那么就可以确定目标区域在该待检测图像与其上一张待检测图像的采集时间内发生了变化。
82.如图4所示，图4为本公开提供的图像的变化检测方法的一种具体实例的示意图，可以包括以下步骤：
83.步骤
①
、将时间上连续的各待检测图像输入至编码器-解码器结构的神经网络中，获取神经网络输出的各待检测图像对应的特征图像。
84.步骤
②
、对各特征图像进行特征融合，得到目标特征图像。
85.步骤
③
、对目标特征图像进行目标检测，确定各目标对象所在的各个第一目标区域。
86.步骤
④
、针对各待检测图像对应的特征图像，获取该特征图像中各第二目标区域中各像素的像素值。并基于各第二目标区域中的像素值均值是否超过预设阈值，确定第二目标区域中是否存在目标对象。
87.上述第二目标区域与第一目标区域相对应。
88.步骤
⑤
、根据各特征图像的第二目标区域中是否存在目标对象的判断结果，确定第二目标区域的变化情况。
89.可见，应用本公开实施例提供的图像的变化检测方法，充分利用待检测图像的时序特征，对各待检测图像进行特征融合，再基于融合后的目标特征图像确定目标对象所在的目标区域，无需针对各待检测图像两两预测变化区域结果，大大减少后续的数据处理量以及处理时间，提高图像的变化检测效率。例如，采用现有技术的方法对时间上连续的n张图像进行两两变化检测，需要进行n-1次连通域提取，才可得到变化区域预测结果。而应用本公开实施例提供的图像的变化检测方法，仅需进行1次连通域提取，即可确定目标对象所
在的目标区域。
90.根据本公开实施例，本公开还提供了一种图像的变化检测装置。如图5所示，该装置可以包括：
91.待检测图像获取模块510，用于获取针对同一场景在不同时间拍摄的待检测图像；
92.目标特征图像获取模块520，用于对所述待检测图像进行特征融合，得到目标特征图像；
93.目标区域确定模块530，用于对所述目标特征图像进行目标检测，确定目标对象所在的第一目标区域；
94.变化检测模块540，用于在所述待检测图像的第二目标区域中进行目标检测；所述第二目标区域与所述第一目标区域相对应；响应于所述第二目标区域中不存在所述目标对象，确定所述场景发生变化。
95.应用本公开实施例，通过对时间上连续的待检测图像进行特征融合，再基于特征融合后的目标特征图像进行目标检测，即可确定目标对象所在的第一目标区域，对所述各待检测图像中，与第一目标区域对应的第二目标区域进行目标检测，若待检测图像的第二目标区域中不存在所述目标对象，则可确定所述场景发生变化，能够有效检测出待检测图像之间的变化，且由于无需对所有时间点的待检测图像两两确定变化区域预测结果，提高了变化区域的确定效率，节省变化检测时间，提高图像变化检测效率。
96.在本公开的一种实施例中，所述对所述待检测图像进行特征融合，得到目标特征图像，包括：
97.对所述待检测图像进行特征提取，获取所述待检测图像对应的特征图像；
98.对所述特征图像进行特征融合，得到所述目标特征图像；
99.所述在所述待检测图像的第二目标区域中进行目标检测，包括：
100.对所述特征图像中的第二目标区域进行目标检测。
101.在本公开的一种实施例中，所述第一目标区域中各像素的像素值均值大于第一预设阈值。
102.在本公开的一种实施例中，所述变化检测模块，具体用于：
103.响应于确定所述第二目标区域中各像素的像素值均值小于或等于第二预设阈值，确定所述第二目标区域中不存在所述目标对象。
104.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
105.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
106.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
107.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中
的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
108.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
109.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像的变化检测方法。例如，在一些实施例中，图像的变化检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的图像的变化检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像的变化检测方法。
110.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
111.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
112.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
113.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
114.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
115.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
116.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
117.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。