图像显示方法、交互装置及计算机可读存储介质与流程

1.本公开涉及图像显示技术领域，更具体地，涉及一种图像显示方法、交互装置及计算机可读存储介质。


背景技术：

2.随着增强现实(augmented reality，ar)技术的发展，各大厂商推出了越来越多的ar产品和ar应用。有相当多的厂商支持串流功能，也就是将手机中的内容通过wifi或者usb连接投放到ar眼镜中显示。
3.在串流场景中，对于显示的实时性要求较高，用户在操作时期望有尽可能低的延迟。现有技术中通过手机将图像帧发送给ar设备，由ar设备渲染后显示，延时较高。


技术实现要素：

4.本公开的一个目的是提供一种用于图像显示的新技术方案。
5.根据本公开的第一方面，提供了一种图像显示方法，所述方法包括：
6.接收注视点在头戴显示设备的屏幕上的第一位置；
7.根据所述第一位置和图像帧的尺寸，计算所述注视点在所述图像帧中的第二位置；
8.根据所述第二位置对所述图像帧进行渲染；
9.将渲染后的图像帧发送至所述头戴显示设备的屏幕上，以进行显示。
10.可选地，在所述根据所述第二位置对所述图像帧进行渲染之前，所述方法还包括：
11.获取前n帧图像中注视点的位置，其中，n为正整数；以及
12.根据所述前n帧图像中注视点的位置和所述第二位置，计算第三位置；
13.其中，所述根据所述第二位置对所述图像帧进行渲染，包括：
14.根据所述第三位置对所述图像帧进行渲染。
15.可选地，所述根据所述前n帧图像中注视点的位置和所述第二位置，计算出第三位置，包括：
16.根据所述前n帧图像中注视点的位置和所述第二位置，得到拟合函数，其中，所述拟合函数表示所述注视点在图像帧中的位置随时间变化的关系；
17.获取交互设备和所述头戴显示设备之间的延时；以及
18.根据所述延时和所述拟合函数计算出所述第三位置。
19.可选地，所述根据所述第二位置对所述图像帧进行渲染，包括：
20.根据所述第二位置确定所述图像帧中的第一区域和第二区域；以及
21.根据预设规则判定是否发送所述第二区域的图像；
22.其中，将所述将渲染后的图像帧发送至所述头戴显示设备上，以进行显示，包括：
23.在判定发送所述第二区域的图像的情况下，在对所述第二区域的图像的图像帧进行编码处理后将经编码处理后的图像帧发送至所述头戴显示设备上，以进行显示；以及
24.在确定不发送所述第二区域的图像的情况下，在对所述第一区域的图像的图像帧进行编码处理后将将经编码处理后的图像帧发送至所述头戴显示设备上，以进行显示。
25.可选地，所述根据预设规则判定是否发送所述第二区域的图像，包括：
26.将第二区域中每个像素的颜色与前一帧中对应位置的像素的颜色进行比对，以得到颜色相同的像素的数量；
27.判断所述颜色相同的像素的数量与所述第二区域中所有像素的数量之间的比值是否超过第一阈值；
28.若超过，确定不发送所述第二区域的图像；
29.若不超过，确定发送确定所述第二区域的图像。
30.可选地，在所述根据预设规则判定是否发送所述第二区域的图像之前，还包括：
31.对所述第二区域的图像进行模糊处理。
32.可选地，所述方法还包括：
33.获取注视点在所述头戴显示设备的屏幕上的第一位置；
34.发送所述第一位置至交互设备端；
35.接收交互设备端渲染的图像帧，所述图像帧由所述交互设备端根据所述第一位置渲染；
36.显示渲染后的图像帧。
37.可选地，所述显示渲染后的图像帧，包括：
38.判断所述渲染后的图像帧是否完整；
39.在判断所述渲染后的图像帧不完整的情况下，确定所述图像帧在前一帧图像中对应的第三区域；
40.显示所述图像帧以及所述前一帧图像中的第四区域，其中，所述第四区域是所述前一帧图像中除第三区域外的其它区域；以及
41.在判断所述渲染后的图像帧完整的情况下，显示所述渲染后的图像帧。
42.根据本公开的第二方面，提供了一种交互装置，所述装置包括交互设备和头戴显示设备；
43.所述交互设备，用于接收注视点在所述头戴显示设备的屏幕上的第一位置；根据所第一位置和图像帧的尺寸，计算所述注视点在所述图像帧中的第二位置；根据所述第二位置对所述图像帧进行渲染；将渲染后的图像帧发送至所述头戴显示设备的屏幕上，以进行显示。
44.根据本公开的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如本发明第一方面所述的图像显示方法的步骤。
45.根据本公开的实施例，本发明通过让交互设备对图像进行渲染，将渲染后的图像帧发送至头戴显示设备进行显示，不需要让头戴显示设备对图像进行渲染，降低延时。
附图说明
46.被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
47.图1是本技术实施例中图像显示方法流程图。
48.图2是本技术实施例中第一区域和第二区域划分示意图。
49.图3是本技术实施例中对第二区域进一步划分示意图。
50.图4是本技术实施例中手机端和ar眼镜端交互流程示意图。
51.图5是本技术实施例中交互装置示意图。
具体实施方式
52.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
53.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
54.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
55.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
56.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
57.如图1所示，本发明实施例介绍了一种图像显示方法，所述方法由交互设备执行，所述方法包括s1100-s1400。
58.s1100：接收注视点在头戴显示设备的屏幕上的第一位置。
59.用户在使用头戴显示设备时，可以观看到头戴显示设备的屏幕上显示的内容。头戴显示设备可以是ar眼镜、mr(mediated reality，介导现实)眼镜、vr(virtual reality，虚拟现实)眼镜等设备。
60.注视点是指用户在观看屏幕的过程中，用户的视线落在屏幕上的一点。用户在观看屏幕上显示的内容时，会重点关注注视点周围的区域。比如注视点在屏幕的左侧，那么用户重点关注屏幕左侧显示的内容。
61.在头戴显示设备中设有传感器，可以根据传感器检测到的数据计算出注视点在屏幕上的第一位置。比如，头戴显示设备可以通过eye tracing(眼动跟踪)算法来计算注视点在屏幕上的第一位置。
62.头戴显示设备计算出注视点在屏幕上的第一位置后，头戴显示设备将该第一位置发送至交互设备，交互设备接收注视点在头戴显示设备的屏幕上的第一位置。交互设备可以是手机、电脑、平板电脑等。头戴显示设备和交互设备之间建立通信连接，比如wifi连接、usb连接等。
63.第一位置可以是相对位置。比如屏幕的分辨率为1920*1080，第一位置是屏幕的中心位置，坐标为(960,540)，经过归一化处理后，第一位置的坐标为(0.5,0.5)。
64.s1200：根据所述第一位置和图像帧的尺寸，计算所述注视点在所述图像帧中的第二位置。
65.图像帧是将要在头戴显示设备上显示的图像帧。注视点在屏幕上的位置是第一位
置，对应于在图像帧上的位置是第二位置。比如，第一位置是屏幕的中心位置，那么第二位置则是图像帧的中心位置。
66.由于图像帧的分辨率和屏幕的分辨率可能不同，图像帧在屏幕上显示时需要进行缩放。在此情况下，根据图像帧的尺寸和第一位置计算第二位置。第二位置的计算过程由交互设备执行。
67.比如，第一位置的坐标为(0.5,0.5)，图像帧的尺寸为2048*1536，那么第二位置的坐标为(1024，768)。
68.s1300：根据所述第二位置对所述图像帧进行渲染。
69.图像渲染过程由交互设备进行，交互设备根据第二位置对图像帧进行渲染。第二位置周围的区域是用户重点关注的区域，在进行渲染时可以对第二位置周围的区域进行高清渲染，提高清晰度。而对于不是用户重点关注的区域，可以适当降低清晰度。
70.s1400：将渲染后的图像帧发送至所述头戴显示设备的屏幕上，以进行显示。
71.交互设备将图像帧渲染完毕后，交互设备将渲染后的图像帧发送至头戴显示设备。头戴显示设备在屏幕上显示渲染后的图像帧。
72.比如交互设备是手机，头戴显示设备是ar眼镜。手机和ar眼镜通过wifi连接，手机将图像帧渲染完毕后发送给ar眼镜，ar眼镜显示图像帧。
73.本实施例中通过让交互设备对图像进行渲染，将渲染后的图像帧发送至头戴显示设备进行显示，不需要让头戴显示设备对图像进行渲染，降低延时。
74.在一种实施方式中，在所述步骤s1300之前，所述方法还包括：获取前n帧图像中注视点的位置，其中，n为正整数；以及根据所述前n帧图像中注视点的位置和所述第二位置，计算第三位置。其中，所述步骤s1300包括：根据所述第三位置对所述图像帧进行渲染。
75.前n帧图像是头戴显示设备在显示当前图像帧之前显示的图像帧。头戴显示设备显示完前n帧图像后显示当前图像帧。n可以取值为3，也可以设为其它值。注视点在每帧图像上都有一个位置。
76.在头戴显示设备显示多帧图像的过程中，注视点在图像帧中的位置可能发生变化。根据注视点在前n帧图像中的位置和第二位置来计算出第三位置，第三位置表示在显示图像帧时注视点在该图像帧中的位置。在计算出第三位置后，根据第三位置对图像帧进行渲染。
77.在一个例子中，头戴显示设备连续显示的图像帧包括图像1、图像2、图像3、图像4和图像5。其中，头戴显示设备当前显示的是图像4，前3帧图像分别为图像1、图像2和图像3。图像5在图像4之后显示。用户在观看图像4时注视点在屏幕上的位置是第一位置，根据第一位置和图像5的尺寸计算出第二位置，根据第二位置和注视点在图像1中的位置、注视点在图像2中的位置、注视点在图像3中的位置计算出第三位置，根据第三位置对图像5进行渲染。
78.在一种实施方式中，所述根据所述前n帧图像中注视点的位置和所述第二位置，计算出第三位置，包括：根据所述前n帧图像中注视点的位置和所述第二位置，得到拟合函数，其中，所述拟合函数表示所述注视点在图像帧中的位置随时间变化的关系；获取交互设备和所述头戴显示设备之间的延时；以及根据所述延时和所述拟合函数计算出所述第三位置。
79.头戴显示设备按照顺序依次显示每帧图像，头戴显示设备在显示每帧图像时都对应一个时间。根据头戴显示设备显示每帧图像的时间、以及注视点在每帧图像的位置进行拟合，得到拟合函数。拟合函数表示注视点在图像帧中的位置随时间变化的关系。
80.图像帧从交互设备发送至头戴显示设备需要消耗一定的时间，造成了交互设备和头戴显示设备之间的延时。根据该延时和拟合函数计算出第三位置，第三位置表示在图像帧传输至头戴显示设备后用户观看该图像帧时
81.本实施例通过根据注视点在多个图像帧中的位置进行拟合，得到注视点在图像帧的位置随时间变化的关系，并根据交互设备与头戴显示设备之间的延时来计算第三位置，能够准确预测出当头戴显示设备显示该图像帧时注视点的位置。
82.在一种实施方式中，所述步骤1300包括s1310-s1320。
83.s1310：根据所述第二位置确定所述图像帧中的第一区域和第二区域。
84.第一区域是图像帧中第二位置周围的区域，第一区域是用户重点关注的区域。第二区域是图像帧中除第一区域外的其它区域，用户在第二区域的关注度相对较低。如图2所示，第一区域可以是以第二位置为中心的矩形区域，矩形的尺寸可以进行调整。第二区域是图像帧中除该矩形区域以外的其它区域。
85.比如，图像帧的分辨率为1920*1080，第二位置是该图像帧的中心点，第二位置的坐标为(960，540)。第一区域是以第二位置为中心的矩形区域，该矩形区域的宽为500，该矩形区域的高为200。那么第一区域的四个顶点坐标分别为(710，440)、(1210，440)、(1210，640)、(710，640)。
86.s1320：以及根据预设规则判定是否发送所述第二区域的图像。
87.第一区域是用户重点关注的区域，需要将每帧图像的第一区域都发送至头戴显示设备。用户在第二区域的关注度相对较低，可以选择不发送第二区域的图像。根据预设规则判定是否发送第二区域的图像，如果符合预设规则，那么确定不发送第二区域的图像；如果不符合预设规则，那么确定发送第二区域的图像。
88.其中，步骤s1400包括s1410-s1420。
89.s1410：在判定发送所述第二区域的图像的情况下，在对所述第二区域的图像的图像帧进行编码处理后将经编码处理后的图像帧发送至所述头戴显示设备上，以进行显示。
90.在判定发送第二区域的图像的情况下，对图像帧进行编码，包括对第一区域的图像进行编码以及对第二区域的图像进行编码。对图像帧编码完毕后，将编码后的图像帧发送至头戴显示设备，将编码后的第一区域的图像和编码后的第二区域的图像都发送至头戴显示设备。在头戴显示设备上显示第一区域的图像和第二区域的图像。
91.s1420：以及在判定不发送所述第二区域的图像的情况下，在对所述第一区域的图像的图像帧进行编码处理后将将经编码处理后的图像帧发送至所述头戴显示设备上，以进行显示。
92.在判定不发送第二区域的图像的情况下，对图像帧进行编码时只对第一区域的图像进行编码。将编码后的第一区域的图像发送至头戴显示设备。头戴显示设备显示第一区域的图像，同时显示前一帧中与第二区域对应的图像。
93.本实施例通过将图像帧分为第一区域和第二区域，并根据预设规则判定是否需要发送第二区域的图像，能够减少第二区域图像的发送次数，降低延时。
94.在一种实施方式中，所述步骤s1320包括s1321-s1324。
95.s1321：将第二区域中每个像素的颜色与前一帧中对应位置的像素的颜色进行比对，以得到颜色相同的像素的数量。
96.根据像素在第二区域中的位置，从前一帧图像中确定对应位置的像素。对比第二区域中的像素与前一帧图像中对应位置的像素的颜色，统计出颜色相同的像素的数量。
97.s1322：判断所述颜色相同的像素的数量与所述第二区域中所有像素的数量之间的比值是否超过第一阈值。
98.通过颜色相同的像素的数量与第二区域中所有像素的数量之间的比值，可以表示出第二区域与前一帧之间的差异程度。上述比值越大，说明第二区域与前一帧之间的差异越小。比值越小，说明第二区域与前一帧的差异越大。第一阈值的取值范围在0-1之间，可以根据实际需求调整第一阈值。
99.s1323：若超过，确定不发送所述第二区域的图像。
100.如果颜色相同的像素的数量与第二区域中所有像素的数量之间的比值超过第一阈值，说明第二区域的图像与前一帧的差异较小，那么可以不发送第二区域的图像。
101.s1324：若不超过，确定发送确定所述第二区域的图像。
102.如果颜色相同的像素的数量与第二区域中所有像素的数量之间的比值不超过第一阈值，说明第二区域的图像与前一帧的差异较大，那么需要发送第二区域的图像。
103.本实施例通过根据第二区域与前一帧的差异来判断是否发送第二区域的图像，在差异较小时不发送第二区域的图像，减少第二区域的图像的发送次数，不需要对第二图像进行编码，减少编码耗时以及图像传输耗时。
104.在一种实施方式中，在所述步骤1320之前，还包括：对所述第二区域的图像进行模糊处理。
105.对第二区域的图像进行模糊处理，可以降低第二区域的图像的分辨率。比如将第二区域的图像的分辨率设为原始分辨率的50％。经过模糊处理后第二区域的图像质量下降，能够降低图像的编码时间。
106.对于第二区域还可以进一步划分。如图3所示，将图像帧分为图层1、图层2和图层3。其中，图层1是以注视点为中心的矩形区域，图层1为第一区域。图层2和图层3构成第二区域，图层2是图层1的外部区域，图层3是图层2的外部区域。用户在图层1的注意力最高，用户在图层3的注意力最低，用户在图层2的注意力处于图层1和图层3之间。
107.对于图层2，将图层2的分辨率设为原始分辨率的50％。对比图层2中的像素与前一帧中对应位置的像素的颜色，判断颜色相同的像素的数量与图层2中所有像素的数量之间的比值是否超过第二阈值，第二阈值可以设置为50％。如果超过，说明图层2与前一帧的差异不超过50％，那么不需要将图层2发送至头戴显示设备；如果不超过，说明图层2与前一帧的差异超过50％，那么需要将图层2发送至头戴显示设备。
108.对于图层3，将图层3的分辨率设为原始分辨率的25％。对比图层3中的像素与前一帧中对应位置的像素的颜色，判断颜色相同的像素的数量与图层3中所有像素的数量之间的比值是否超过第三阈值。由于用户在图层3中的注意力低于在图层2中的注意力，那么可以设置第三阈值低于第二阈值，比如第三阈值设为25％。如果超过，说明图层2与前一帧的差异不超过75％，那么不需要将图层3发送至头戴显示设备；如果不超过，说明图层3与前一
帧的差异超过75％，那么需要将图层3发送至头戴显示设备。
109.在本实施例中图像显示方法由头戴显示设备执行，所述方法包括步骤s2100-s2400。
110.s2100：获取注视点在所述头戴显示设备的屏幕上的第一位置。
111.在头戴显示设备上设有多种传感器，用户在使用头戴显示设备时，头戴显示设备根据传感器检测到的数据以及预设算法可以计算出注视点在头戴显示设备上的第一位置。
112.s2200：发送所述第一位置至交互设备端。
113.头戴显示设备与交互设备之间可以进行通信。比如头戴显示设备与交互设备通过wifi无线连接，头戴显示设备与交互设备也可以通过usb数据线进行有线连接。
114.头戴显示设备在计算出第一位置后，将第一位置发送至交互设备。
115.s2300：接收交互设备端渲染的图像帧，所述图像帧由所述交互设备端根据所述第一位置渲染。
116.交互设备接收到头戴显示设备发送的第一位置后，交互设备根据第一位置对图像帧进行渲染。交互设备将渲染后的图像帧发送至头戴显示设备。
117.s2400：显示渲染后的图像帧。
118.在一个例子中，如图4所示，头戴显示设备为ar眼镜，交互设备为手机。用户在使用ar眼镜时，ar眼镜根据传感器的检测数据以及预设算法获取注视点在ar眼镜的屏幕上的第一位置。ar眼镜将第一位置发送至手机，手机根据第一位置对图像帧进行渲染，将图像帧编码后发送至ar眼镜。ar眼镜显示渲染后的图像帧。
119.在一种实施方式中，所述步骤s2400包括s2410-s2440。
120.s2410：判断所述渲染后的图像帧是否完整。
121.交互设备在对图像帧进行渲染时，可以只对图像帧的部分区域进行渲染。在此情况下，交互设备发送至头戴显示设备的图像帧只包括上述部分区域。
122.头戴显示设备在接收到渲染后的图像帧后，头戴显示设备判断渲染后的图像帧是否完整。比如，头戴显示设备可以根据渲染后的图像帧的尺寸进行判断。
123.s2420：在判断所述渲染后的图像帧不完整的情况下，确定所述渲染后的图像帧在前一帧图像中对应的第三区域。
124.第三区域是前一帧图像中与渲染后的图像对应的区域。比如渲染前的图像帧包括第一区域和第二区域，交互设备只对第一区域进行渲染，交互设备发送至头戴显示设备的渲染后的图像帧只包含第一区域。那么第三区域是前一帧图像中与第一区域对应的区域，比如第一区域在渲染前的图像帧的中心位置，那么第三区域也在前一帧图像中的中心位置。
125.s2430：显示所述渲染后的图像帧以及所述前一帧图像中的第四区域，其中，所述第四区域是所述前一帧图像中除第三区域外的其它区域。
126.s2440：以及在判断所述渲染后的图像帧完整的情况下，显示所述渲染后的图像帧。
127.在渲染后的图像帧不完整的情况下，如果只显示渲染后的图像帧，那么会造成头戴显示设备的屏幕上有部分区域未显示图像。在此情况下，头戴显示设备从前一帧图像中选取第四区域进行显示，头戴显示设备同时显示该渲染后的图像帧以及前一帧图像中的第
四区域。
128.在渲染后的图像帧完整的情况下，头戴显示设备直接显示渲染后的图像帧。
129.如图5所示，本发明实施例介绍了一种交互装置，所述装置包括交互设备和头戴显示设备。
130.所述交互设备，用于接收注视点在所述头戴显示设备的屏幕上的第一位置；根据所第一位置和图像帧的尺寸，计算所述注视点在所述图像帧中的第二位置；根据所述第二位置对所述图像帧进行渲染；将渲染后的图像帧发送至所述头戴显示设备的屏幕上，以进行显示。
131.本发明通过让交互设备对图像进行渲染，将渲染后的图像帧发送至头戴显示设备进行显示，不需要让头戴显示设备对图像进行渲染，降低延时。
132.在一种实施方式中，所述交互设备，还用于在所述根据所述第二位置对所述图像帧进行渲染之前，获取前n帧图像中注视点的位置，其中，n为正整数；以及根据所述前n帧图像中注视点的位置和所述第二位置，计算第三位置；根据所述第三位置对所述图像帧进行渲染。
133.在一种实施方式中，所述交互设备，还用于根据所述前n帧图像中注视点的位置和所述第二位置，得到拟合函数，其中，所述拟合函数表示所述注视点在图像帧中的位置随时间变化的关系；获取交互设备和所述头戴显示设备之间的延时；以及根据所述延时和所述拟合函数计算出所述第三位置。
134.在一种实施方式中，所述交互设备，还用于根据所述第二位置确定所述图像帧中的第一区域和第二区域；以及根据预设规则判定是否发送所述第二区域的图像；在判定发送所述第二区域的图像的情况下，在对所述第二区域的图像的图像帧进行编码处理后将经编码处理后的图像帧发送至所述头戴显示设备上，以进行显示；以及在确定不发送所述第二区域的图像的情况下，在对所述第一区域的图像的图像帧进行编码处理后将将经编码处理后的图像帧发送至所述头戴显示设备上，以进行显示。
135.在一种实施方式中，所述交互设备，还用于将第二区域中每个像素的颜色与前一帧中对应位置的像素的颜色进行比对，以得到颜色相同的像素的数量；判断所述颜色相同的像素的数量与所述第二区域中所有像素的数量之间的比值是否超过第一阈值；若超过，确定不发送所述第二区域的图像；若不超过，确定发送确定所述第二区域的图像。
136.在一种实施方式中，所述交互设备，还用于在所述根据预设规则判定是否发送所述第二区域的图像之前，对所述第二区域的图像进行模糊处理。
137.在一种实施方式中，所述头戴显示设备，用于获取注视点在所述头戴显示设备的屏幕上的第一位置；发送所述第一位置至交互设备端；接收交互设备端渲染的图像帧，所述图像帧由所述交互设备端根据所述第一位置渲染；显示渲染后的图像帧。
138.在一种实施方式中，所述头戴显示设备，还用于判断所述渲染后的图像帧是否完整；在判断所述渲染后的图像帧不完整的情况下，确定所述图像帧在前一帧图像中对应的第三区域；显示所述图像帧以及所述前一帧图像中的第四区域，其中，所述第四区域是所述前一帧图像中除第三区域外的其它区域；以及在判断所述渲染后的图像帧完整的情况下，显示所述渲染后的图像帧。
139.本实施例介绍了一种计算机可读存储介质，所述计算机可读存储介质上存储程序
或指令，所述程序或指令被处理器执行时实现如本发明任一实施例所述的图像显示方法的步骤。
140.本公开的内容还可以包括计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令，即，可执行指令。
141.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是，但不限于，电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
142.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
143.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
144.这里参照根据本公开实施例的方法、计算设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
145.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功
能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
146.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
147.附图中的流程图和框图显示了根据本公开的多个实施例的计算设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的计算设备来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
148.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。