导航方法、装置、设备和存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及增强现实技术和视觉导航技术领域，具体涉及一种导航方法、装置、导航设备、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.在室外导航中，通常使用全球定位系统(global positioning system，gps)模块和电子罗盘来进行定位和定向。但是，在室内定位中，由于gps信号弱，无法使用gps模块有效确定位置，并且，由于室内磁场环境复杂，电子罗盘输出的定向信号易被干扰，无法使用电子罗盘有效确定方向。
3.因此，在室内导航中，通常使用视觉里程计，融合相机和惯性传感器的数据，以进行定位和定向。在使用视觉里程计时，如果遇到相机图像模糊、设备快速抖动等情况，容易导致视觉里程计的导航出现中断，而需要恢复导航。
4.现有的恢复导航的方法通常使用相机采集环境中的特征点，以进行导航恢复。但是，在空旷环境或其它缺乏特征点(例如，场景高度重复)的环境中，将难以采集到特征点以恢复导航。
5.在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现要素：

6.本公开提供了一种导航方法、装置、导航设备、电子设备、计算机可读存储介质和计算机程序产品。
7.根据本公开的一方面，提供了一种导航方法，其中，视觉里程计包括惯性传感器，惯性传感器包括陀螺仪，导航方法包括：响应于导航在中断后恢复，基于陀螺仪的角度，计算惯性传感器的初始角度；以及基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航。
8.根据本公开的另一方面，提供了一种导航装置，其中，视觉里程计包括惯性传感器，惯性传感器包括陀螺仪，导航装置包括：角度恢复模块，被配置为：响应于导航在中断后恢复，基于陀螺仪的角度，计算惯性传感器的初始角度；以及导航模块，被配置为：基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航。
9.根据本公开的又一方面，提供了一种导航设备，包括：视觉里程计，包括：惯性传感器，惯性传感器包括陀螺仪；以及导航器，导航器被配置执行如本公开所述的导航方法。
10.根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开所述的导航方法。
11.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，计算机指令用于使计算机执行如本公开所述的导航方法。
12.根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现如本公开所述的导航方法。
13.根据本公开的一个或多个实施例，可以在难以采集特征点的环境下快速恢复导航，从而提升了视觉里程计的导航的鲁棒性。
14.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
15.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
16.图1示出了根据本公开的实施例的室内导航的场景图；
17.图2示出了根据本公开的实施例的导航方法的流程图；
18.图3示出了根据本公开的实施例的导航方法的流程图；
19.图4示出了根据本公开的实施例的在图2和图3的方法中基于惯性传感器的初始角度和视觉里程计在中断前的位置继续进行导航的示例过程的流程图；
20.图5示出了根据本公开的实施例的视觉里程计的状态图；
21.图6示出了根据本公开的实施例的用于视觉里程计的导航装置的结构框图；
22.图7示出了根据本公开的实施例的用于视觉里程计的导航装置的结构框图；
23.图8示出了根据本公开的实施例的导航设备的结构框图；
24.图9示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
27.在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
28.下面将结合附图详细描述本公开的实施例。
29.图1示出了根据本公开的实施例的室内导航的场景图。
30.如图1所示，当进行室内导航时，通过虚实结合的方式，在实景图片中显示虚拟路
径指引，例如，导航路径101、指南针102、预计行进距离103，使得用户能够清楚地了解导航路线。为了进行导航指引，需要确定当前的位置和方向，从而计算前往目前的路径。
31.具体地，为了确定当前的位置和方向，需要执行如下操作：
32.1)确定导航的基准点。例如，确定基准点的位置和方向，其中，基准点的位置是基准点的经纬度位置，而基准点的方向包括基准点的偏航角分量、俯仰角分量和滚转角分量；
33.2)基于导航的基准点，进行持续追踪，以确定相对于基准点的位置和方向的变化值，从而确定当前的位置和方向。
34.由此可见，一旦导航发生中断，则需要重新确定基准点，以再次进行追踪。
35.在现有技术中，通常使用相机采集环境中的特征点(例如，图1中的广告牌104和商店招牌105)，以计算基准点。但是，这种采集特征点的方法并不适用于缺乏特征点的环境(例如，空旷或场景高度重复的环境)。
36.为解决上述问题，本公开的实施例提供了一种导航方法，其中，视觉里程计包括惯性传感器，惯性传感器包括陀螺仪，导航方法包括：响应于导航在中断后恢复，基于陀螺仪的角度，计算惯性传感器的初始角度；以及基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航。
37.在本公开的实施例中，视觉里程计可以表示结合相机和惯性传感器进行位移和姿态的估计从而进行定位、建图或导航等的设备。视觉里程计也可以被称为视觉惯性系统、视觉惯性里程计(visual
‑
inertial odometry，vio)、视觉惯性导航系统(visual
‑
inertial navigation system，vins)、视觉惯性slam(visual
‑
inertial simultaneous localization and mapping，vi
‑
slam)系统等。
38.在本公开的实施例中，惯性传感器可以表示利用传感质量的惯性力进行测量的传感器，而惯性传感器也可以被称作惯性测量单元(inertial measurement unit，imu)。例如，惯性传感器可以采用包含加速度计和陀螺仪的消费级惯性传感器，还可以采用高精度惯性导航系统、捷联惯性导航系统等。
39.在本公开的实施例中，相机可以采用单目相机或多目相机。
40.图2示出了根据本公开的实施例的导航方法200的流程图。
41.在步骤s201处，判断导航是否在中断后恢复。如果判断导航在中断后恢复(步骤s201，“是”)，则进入步骤s203；如果判断导航未恢复，则返回执行步骤s201，以等待导航恢复。
42.根据一些实施例，在使用视觉里程计时，遇到相机图像模糊或设备快速抖动等异常情况时，则可能导致导航发生中断，而在上述异常情况消除后，导航在中断后恢复。如上所述，导航在中断后恢复，需要重新确定导航的基准点。
43.在步骤s203处，基于陀螺仪的角度，计算惯性传感器的初始角度。
44.根据一些实施例，在导航中断后，陀螺仪仍然持续追踪方向变化，而惯性传感器的角度在导航恢复后被清零，因此，可以基于陀螺仪的角度来恢复惯性传感器的初始角度。根据一些实施例，对于陀螺仪和惯性传感器中的每一个的角度，该角度包括偏航角分量、俯仰角分量和滚转角分量。
45.在步骤s205处，基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航。
46.根据一些实施例，基于惯性传感器的初始角度，确定视觉里程计的初始角度，以确定基准点的方向，例如，将视觉里程计的初始角度设置为惯性传感器的初始角度。
47.根据一些实施例，基于视觉里程计在中断前的位置计算视觉里程计的初始位置，以确定基准点的位置。根据一些实施例，视觉里程计在中断前的位置为视觉里程计中断前最后跟踪到的位置。例如，将视觉里程计的初始位置设置为视觉里程计在中断前的位置，或者，基于视觉里程计的初始位置和中断前的移动速度和方向，计算视觉里程计的初始位置。
48.如上所述，在重新确定导航的基准点后，基于该重新确定的基准点，再次进行追踪。
49.在如本公开的实施例所提供的导航方法，无需相机采集环境中的特征点，在难以采集特征点的环境下仍能快速恢复导航，从而提升了导航的鲁棒性。
50.根据一些实施例，如本公开所述的导航方法，还包括在基于陀螺仪的角度，计算惯性传感器的初始角度之前：响应于正在进行导航，计算陀螺仪与惯性传感器之间的角度转换关系，其中，基于陀螺仪的角度，计算惯性传感器的初始角度包括：基于陀螺仪的角度以及陀螺仪与惯性传感器之间的角度转换关系，计算惯性传感器的初始角度。
51.图3示出了根据本公开的实施例的导航方法300的流程图。
52.在步骤s301处，判断是否正在进行导航。如果判断正在进行导航(步骤s301，“是”)，则进入步骤s303；如果判断未在进行导航，则返回执行步骤s301。
53.在步骤s303处，计算陀螺仪与惯性传感器之间的角度转换关系。
54.根据一些实施例，根据正在进行导航时的陀螺仪的角度和惯性传感器的角度，计算陀螺仪与惯性传感器之间的角度转换关系。
55.根据一些实施例，在正在进行导航时，每间隔一段时间，根据该时间内的陀螺仪的角度和惯性传感器的角度，计算陀螺仪与惯性传感器之间的角度转换关系，以确保陀螺仪与惯性传感器之间的角度转换关系的实时性。根据另一些实施例，在视觉里程计每次开始导航时，计算陀螺仪与惯性传感器之间的角度转换关系。
56.根据一些实施例，陀螺仪和惯性传感器中的每一个的角度包括偏航角分量、俯仰角分量和滚转角分量，并且，陀螺仪与惯性传感器之间的角度转换关系包括：陀螺仪的偏航角分量与惯性传感器的偏航角分量之间的转换关系；陀螺仪的俯仰角分量与惯性传感器的俯仰角分量之间的转换关系；以及陀螺仪的滚转角分量与惯性传感器的滚转角分量之间的转换关系。
57.根据一些实施例，对于偏航角分量、俯仰角分量和滚转角分量中的每一个，陀螺仪与惯性传感器之间的角度转换关系为线性变换关系，例如，惯性传感器的该角度分量为陀螺仪的该角度分量的线性函数。
58.根据一些实施例，陀螺仪与惯性传感器之间的角度转换关系包括：将陀螺仪的偏航角分量减去偏航角偏差值，以得到惯性传感器的偏航角分量；将陀螺仪的俯仰角分量减去俯仰角偏差值，以得到惯性传感器的俯仰角分量；以及将陀螺仪的滚转角分量减去滚转角偏差值，以得到惯性传感器的滚转角分量。
59.根据一些实施例，计算陀螺仪与惯性传感器之间的角度转换关系包括：对于偏航角分量、俯仰角分量和滚转角分量中的每一个，将陀螺仪的该角度分量减去惯性传感器的该角度分量，以得到该角度分量所对应的偏差值。
60.在步骤s305处，判断导航是否在中断后恢复。如果判断导航在中断后恢复(步骤s305，“是”)，则进入步骤s307；如果判断导航未恢复，则返回执行步骤s305，以等待导航恢复。根据一些实施例，步骤s305例如可以被实施为与图2中的步骤s201类似。
61.在步骤s307处，基于陀螺仪的角度以及陀螺仪与惯性传感器之间的角度转换关系，计算惯性传感器的初始角度。
62.根据一些实施例，对于偏航角分量、俯仰角分量和滚转角分量中的每一个，基于陀螺仪的该角度分量和该角度分量所对应的角度转换关系，计算惯性传感器的该角度分量。
63.根据一些实施例，对于偏航角分量、俯仰角分量和滚转角分量中的每一个，将陀螺仪的该角度分量减去该角度分量所对应的偏差值，以得到惯性传感器的该角度分量。
64.在步骤s309处，基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航。根据一些实施例，步骤s309例如可以被实施为与图2中的步骤s205类似。
65.根据一些实施例，基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航包括：将视觉里程计的初始角度设置为惯性传感器的初始角度；将视觉里程计的初始位置设置为视觉里程计在中断前的位置；以及基于视觉里程计的初始角度和初始位置，继续进行导航。
66.图4示出了根据本公开的实施例的在图2和图3的方法中基于惯性传感器的初始角度和视觉里程计在中断前的位置继续进行导航(步骤s205或步骤s309)的示例过程的流程图。
67.在步骤s401处，将视觉里程计的初始角度设置为惯性传感器的初始角度。根据一些实施例，惯性传感器的初始角度是如上参考图2或图3所描述的基于陀螺仪的角度而计算的惯性传感器的初始角度。
68.在步骤s403处，将视觉里程计的初始位置设置为视觉里程计在中断前的位置。根据一些实施例，视觉里程计在中断前的位置为视觉里程计中断前最后跟踪到的位置。
69.在步骤s405处，基于视觉里程计的初始角度和初始位置，继续进行导航。
70.根据一些实施例，如本公开所述的导航方法，还包括：响应于导航发生中断，发出指令以提示用户停止移动。例如，在与视觉里程计耦接的显示装置上显示提示用户停止移动的消息，或者通过与视觉里程计耦接的扬声器播放提示用户停止移动的消息。通过阻止用户进一步移动，减少了导航中断前后的位置变化，以降低将视觉里程计的初始位置设置为视觉里程计在中断前的位置所带来的位置误差。
71.图5示出了根据本公开的实施例的视觉里程计的状态图。
72.在处于正常导航状态501时，持续进行位置和方向跟踪，并且，如参考图3的步骤s303所描述的，基于陀螺仪的角度和惯性传感器的角度，计算陀螺仪与惯性传感器之间的角度转换关系。
73.当导航中断时，视觉里程计切换到中断状态502。此时，陀螺仪持续追踪方向变化，并且，可以发出指令以提示用户停止移动。
74.当导航恢复时，视觉里程计切换到中断后恢复状态503。此时，如参考图2的步骤s203或图3的步骤s307所描述的，计算惯性传感器的初始角度，例如，基于中断前所计算的陀螺仪与惯性传感器之间的角度转换关系，计算惯性传感器的初始角度，以计算视觉里程计的初始角度；并且，基于视觉里程计在中断前的位置，计算视觉里程计的初始位置。
75.在确定视觉里程计的初始角度和初始位置之后，视觉里程计切换到正常导航状态501。此时，基于视觉里程计的初始角度和初始位置，继续进行方向和位置追踪，并且，如上所述，基于陀螺仪的角度和惯性传感器的角度，计算陀螺仪与惯性传感器之间的角度转换关系。
76.根据本公开的另一方面，还提供一种导航装置，其中，视觉里程计包括惯性传感器，惯性传感器包括陀螺仪，导航装置包括：角度恢复模块，被配置为：响应于导航在中断后恢复，基于陀螺仪的角度，计算惯性传感器的初始角度；以及导航模块，被配置为：基于惯性传感器的初始角度和视觉里程计在中断前的位置，继续进行导航。
77.图6示出了根据本公开的实施例的导航装置600的结构框图。
78.如图6所示，导航装置600包括角度恢复模块601和导航模块602，其中，角度恢复模块601被配置为：响应于导航在中断后恢复，基于陀螺仪的角度，计算惯性传感器的初始角度；以及导航模块602被配置为：基于惯性传感器的初始角度和视觉里程计在中断前的位置，进行导航。
79.根据一些实施例，导航装置还包括：角度关系计算模块，被配置为：响应于正在进行导航，计算陀螺仪与惯性传感器之间的角度转换关系，其中，角度恢复模块包括：初始角度计算模块，被配置为：基于陀螺仪的角度以及陀螺仪与惯性传感器之间的角度转换关系，计算惯性传感器的初始角度。
80.图7示出了根据本公开的实施例的导航装置700的结构框图。如图7所示，导航装置700包括角度关系计算模块701、角度恢复模块702、导航模块703。
81.根据一些实施例，角度关系计算模块701被配置为：响应于正在进行导航，计算陀螺仪与惯性传感器之间的角度转换关系；角度恢复模块702包括初始角度计算模块7021，其中，初始角度计算模块7021被配置为：基于陀螺仪的角度以及陀螺仪与惯性传感器之间的角度转换关系，计算惯性传感器的初始角度；并且，导航模块703可以被实施为与图6中的导航模块602相同。
82.根据一些实施例，陀螺仪和惯性传感器中的每一个的角度包括偏航角分量、俯仰角分量和滚转角分量，并且，陀螺仪与惯性传感器之间的角度转换关系包括：陀螺仪的偏航角分量与惯性传感器的偏航角分量之间的转换关系；陀螺仪的俯仰角分量与惯性传感器的俯仰角分量之间的转换关系；以及陀螺仪的滚转角分量与惯性传感器的滚转角分量之间的转换关系。
83.根据一些实施例，陀螺仪与惯性传感器之间的角度转换关系包括：将陀螺仪的偏航角分量减去偏航角偏差值，以得到惯性传感器的偏航角分量；将陀螺仪的俯仰角分量减去俯仰角偏差值，以得到惯性传感器的俯仰角分量；以及将陀螺仪的滚转角分量减去滚转角偏差值，以得到惯性传感器的滚转角分量。
84.根据一些实施例，导航模块包括：基准点确定模块，被配置为：将视觉里程计的初始角度设置为惯性传感器的初始角度；以及将视觉里程计的初始位置设置为视觉里程计在中断前的位置；以及导航恢复模块，被配置为：基于视觉里程计的初始角度和初始位置，进行导航。
85.根据一些实施例，导航装置还包括：中断提示模块，被配置为：响应于导航发生中断，发出指令以提示用户停止移动。
86.根据本公开的另一方面，还提供一种导航设备，包括：视觉里程计，包括：惯性传感器，惯性传感器包括陀螺仪；以及导航器，导航器被配置执行上述方法的步骤。
87.图8示出了根据本公开的实施例的导航设备800的结构框图。
88.如图8所示，导航设备800包括视觉里程计810和导航器820，其中，视觉里程计810包括惯性传感器811，惯性传感器811包括陀螺仪8111，而导航器820被配置为执行上述方法的步骤。
89.根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
90.根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行程序以实现上述方法的步骤。
91.根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行实现上述方法的步骤。
92.根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述方法的步骤。
93.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
94.参考图9，现将描述可以作为本公开的服务器或客户端的电子设备900的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
95.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
96.设备900中的多个部件连接至i/o接口905，包括：输入单元906、输出单元907、存储单元908以及通信单元909。输入单元906可以是能向设备900输入信息的任何类型的设备，输入单元906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元908可以包括但不限于磁盘、光盘。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙tm设备、1302.11设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
97.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如方法200或300。例如，在一些实施例中，方法200或300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的方法200或300的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200或300。
98.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
99.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
100.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
101.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
102.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算
系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
103.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
104.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
105.虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。