美瞳实现方法、装置、电子设备及可读存储介质与流程

1.本公开涉及增强/虚拟现实和图像处理技术领域，尤其涉及直播中的美妆技术领域。


背景技术：

2.随着移动互联网和视频技术的发展，视频直播成为了一个热门的社交活动。通常在视频直播中会进行相应的美妆处理，如大眼处理、瘦脸处理、美瞳处理等。


技术实现要素：

3.本公开提供了一种美瞳实现方法、装置、电子设备及可读存储介质。
4.根据本公开的第一方面，提供了一种美瞳实现方法，包括：
5.从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；
6.将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；
7.对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。
8.根据本公开的第二方面，提供了一种美瞳实现装置，包括：
9.第一确定模块，用于从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；
10.添加模块，用于将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；
11.执行模块，用于对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。
12.根据本公开的第三方面，提供了一种电子设备，该电子设备包括：
13.至少一个处理器；以及
14.与上述至少一个处理器通信连接的存储器；其中，
15.存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述方法。
16.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述方法。
17.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述方法。
18.本公开提供的技术方案带来的有益效果是：
19.本公开实施例提供的方案，与现有技术只能添加静态美瞳相比。本公开通过从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；将确定
的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。即从包含不同美瞳图像的多帧图像中确定待添加美瞳图像，并将待添加美瞳图像添加至目标视频中的目标图像，多次执行上述操作，从而不同的目标图像添加的美瞳图像不同，进而添加美瞳图像后的视频在播放时能够呈现出动态美瞳的效果。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.附图用于更好地理解本方案，不构成对本公开的限定。其中：
22.图1是根据本公开提供的美瞳实现方法流程示意图；
23.图2是根据本公开提供的素眼状态与静态美瞳对比示例图；
24.图3是根据本公开提供的素眼状态与动态美瞳对比示例图；
25.图4是根据本公开提供的眼部掩码图示例图；
26.图5是根据本公开提供的瞳孔贴图示例图；
27.图6是根据本公开提供的瞳孔抛分示例图；
28.图7是根据本公开提供的人脸抛分示例图；
29.图8是根据本公开提供的眼部关键点示例图；
30.图9是根据本公开提供的美瞳实现装置的结构示意图；
31.图10是用来实现本公开实施例的电子设备的框图。
具体实施方式
32.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
33.实施例一
34.图1示出了本公开实施例提供的一种美瞳实现方法，如图1所示，包括：
35.步骤s101，从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；
36.步骤s102，将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；
37.步骤s103，对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。
38.现有技术美瞳的实现方案，为静态美瞳，如图2所示的素眼状态和添加静态美瞳的对比图，其中，图2中左图为素眼状态(即未添加美瞳)，右图为添加静态美瞳后的效果(即静态美瞳)，瞳孔的明亮度有所增强。
39.本公开的方法可以应用于视频直播场景下或者短视频、动画等，可以对视频中的目标对象的眼睛添加动态美瞳，其中，本公开的视频可以包括动画，如gif动画。
40.其中，该多帧图像可以包括多帧美瞳图像，各帧美瞳图像互不相同；其中，该多帧图像可以是播放时具有动画效果的一个序列帧图像，可以是各帧美瞳图像稍微有差异，该互不相同的美瞳图像顺次播放具有gif动画的效果或具有一定的特效，如光电闪烁等。
41.其中，本技术中的目标视频可以是直播时的视频，也可以是离线视频，如拍摄好的短视频。其中，目标视频中的目标对象不局限于人，也可以是其他的动物。
42.具体地，当满足预定的条件时，如检测到添加动态美瞳的触发动作时，从该多帧图像中确定待添加美瞳图像，并将确定出的待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，从而得到添加美瞳图像的视频帧或目标图像。然后对目标视频的后续目标图像重复执行上述动作(即步骤步骤s101、步骤s102的动作)，从而可以对目标视频的相应目标图像都添加美瞳图像，由于该多帧图像中的美瞳图像有至少两帧美瞳图像不同，或者互相都不相同，从而该添加美瞳图像后的目标视频播放时，视频中目标对象的眼睛在不同时刻的美瞳不同，从而呈现一种动态美瞳的效果。
43.其中，该多帧图像可以分为两个序列，分别针对目标对象的左、右眼，其中，该两个序列可以不相同，也可以相同。其中，在具体实现时，可以针对目标对象的左右眼同时添加美瞳，也可以仅针对其中的一个添加美瞳图像。
44.具体地，目标视频的目标图像，可以包括多帧视频帧图像，可以对属于该目标图像的多帧视频帧图像添加同样的美瞳图像；然后对于目标视频的后续的归属于同一目标图像的多帧视频帧图像，可以添加同样的美瞳图像。由于不同的目标图像添加的美瞳图像不同，从而添加美瞳图像后的视频播放时，目标对象的眼睛处具有动态美瞳的效果。
45.为了更好的理解本公开技术方案，示例性地，如图3所示，为素眼状态和添加动态美瞳的对比图，其中，左图为素眼状态，右图为添加动态美瞳(光电闪烁)的效果图；其中，添加动态美瞳(光电闪烁)的效果图仅示出了添加光电闪烁效果的一帧，相关的其他帧并未示出，可以理解的是，配合其他前序帧或后续帧，可以呈现出一定的光电闪烁的动态变化。
46.本公开实施例提供的方案，与现有技术只能添加静态美瞳相比。本公开通过从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。即从包含不同美瞳图像的多帧图像中确定待添加美瞳图像，并将待添加美瞳图像添加至目标视频中的目标图像，多次执行上述操作，从而不同的目标图像添加的美瞳图像不同，进而添加美瞳图像后的视频在播放时能够呈现出动态美瞳的效果。
47.本技术实施例提供了一种可能的实现方式，其中，所述从多帧图像中确定待添加美瞳图像，包括：
48.按照预定的顺序从所述多帧图像中确定美瞳图像作为待添加美瞳图像。
49.具体地，可以按照预定顺序从所述多帧图像(具体地，可以是具有动画效果的一个序列帧图像)中确定美瞳图像作为待添加美瞳图像，其中，该预定的顺序用于使得该多帧图像中的美瞳图像播放时能呈现出动画的效果。
50.示例性地，美瞳序列帧图像包括a、b、c、d、e五帧美瞳图像，其中，该五帧美瞳图像可以构成一个gif动画。在添加动态美瞳过程中，可以按照abcde的顺序进行添加。首先确定出一待添加美瞳图像(如a)，对于目标视频的当前目标图像(如第一秒的所有图像帧)，将a
添加至当前目标图像中的目标对象的眼部。然后，对于目标视频的后续目标图像也执行上述操作，如针对目标图像(第二秒的所有图像帧)，将确定出的b添加至目标图像(第二秒的所有图像帧)；如针对目标图像(第三秒的所有图像帧)，将确定出的c添加至目标图像(第三秒的所有图像帧)；如针对目标图像(第四秒的所有图像帧)，将确定出的d添加至目标图像(第四秒的所有图像帧)；如针对目标图像(第五秒的所有图像帧)，将确定出的e添加至目标图像(第五秒的所有图像帧)。
51.具体地，如果该多帧图像或美瞳序列帧图像中的美瞳图像添加一遍之后，可以再次从头开始进行添加。
52.示例性地，接上述示例，对于目标视频的第6
‑
10秒的图像，可以分别对应添加美瞳图像a、b、c、d、e。
53.对于本技术实施例，解决了如何使得添加美瞳图像的目标视频中目标对象添加的美瞳呈现的动画效果更好的问题。
54.本技术实施例提供了一种可能的实现方式，其中，所述多帧图像或美瞳序列帧图像的确定包括如下步骤：
55.确定眼部掩码图；
56.基于确定的眼部掩码图对预定的多帧美瞳贴图分别进行采样，得到所述多帧图像或美瞳序列帧图像，其中，所述多帧美瞳贴图包括至少两帧互不相同的美瞳贴图。
57.其中，眼部掩码图可以是标准人脸图像提取得到的，也可以是针对目标视频中目标对象的眼部区域进行图像分析提取得到的眼部掩码图。
58.示例性地，确定眼部掩码图(如图4所示)，然后基于确定的眼部掩码图对预定的多帧美瞳贴图(如图5所示)分别进行采样，从而得到可添加的美瞳序列帧图像，其中，多帧美瞳贴图包括多帧美瞳贴图，各帧美瞳贴图互不相同。
59.具体地，还可以通过相应的人脸检测算法和三角抛分方法，对标准人脸进行三角抛分处理，得到相应的瞳孔抛分图(如图6所示)，具体可以参照得到人脸抛分图(参见图7)的技术进行处理，由于得到人脸三角抛分图的技术为现有技术，此处不再赘述。
60.具体地，可以将美瞳贴图添加到得到的瞳孔抛分图上，并进行对齐处理，然后通过眼部掩码图对添加到瞳孔抛分图上的美瞳贴图进行采样，从而得到所述多帧图像或者美瞳序列帧图像。
61.对于本技术实施例，解决了美瞳序列帧图像的确定问题。
62.本技术实施例提供了一种可能的实现方式，其中，所述将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像，包括：
63.确定当前目标图像中目标对象瞳孔所在的区域；
64.基于确定的所述目标对象的瞳孔所在的区域，将所述待添加美瞳图像添加至所述当前目标图像，得到添加美瞳的当前目标图像。
65.具体地，通过相应的图像识别方法(如可以通过训练的图像检测识别模型)，识别确定当前目标图像中目标对象瞳孔所在的区域。
66.具体地，可以通过相应的有监督学习方法，通过包含目标对象的图像以及相应的瞳孔区域位置的标签的样本集合，进行图像检测识别模型的训练。
67.具体地，将待添加美瞳图像添加至所述当前目标图像，得到添加美瞳的当前目标图像。
68.对于本技术实施，解决了待添加美瞳图像如何添加至当前目标图像的问题。
69.本技术实施例提供了一种可能的实现方式，其中，所述将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像，包括：
70.确定当前目标图像中目标对象的眼睛闭合度；
71.基于确定的当前目标对象的眼睛闭合度确定待添加美瞳的缩放比例；
72.将按照所述缩放比例处理后的待添加美瞳图像，添加至所述当前目标图像。
73.其中，在添加美瞳图像时，还需要考虑到人眼闭合的情况。当闭合或者半闭合时，待添加的美瞳图像应相应减小直至消失，以确保添加的美瞳图像不会贴在眼皮上。
74.具体地，可以通过基于人眼纵横比计算的人眼闭合检测算法确定当前目标图像中目标对象的眼睛闭合度。
75.对于本技术实施，根据目标对象的人眼闭合度进行待添加美瞳的添加，从而解决了当眼睛不完全睁开时，在瞳孔部位的周围有较明显贴合痕迹的问题，如锯齿或颜色突变等。
76.本技术实施例提供了一种可能的实现方式，其中，所述确定当前目标图像中目标对象的眼睛闭合度，包括：
77.识别确定所述当前目标图像中目标对象的眼睛的眼睛关键点；
78.基于识别确定的眼睛关键点确定当前目标图像中目标对象的眼睛闭合度。
79.人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。
80.具体地，可以对人脸关键点算法进行相应的调整处理，可以作为本技术的眼睛关键点检测。
81.关于人眼闭合度，示例性地，如图8所示，可以先识别得到相应的眼部的位置关键点。以选中的左眼为例，通过计算点15与19的纵坐标，点13与17点的横坐标来计算眼睛的开合度(或闭合度)。采用公式：1/2*(19.y
‑
15.y)/(17.x
‑
13.x)，将结果与计算的目标对象闭眼和/或眼睁开最大时的值进行比较，以此来判断当前眼睛是睁开还是闭合的状态。根据上述得到的闭合度，对待添加美瞳图像进行按比例缩放，以此来实现半开合时，美瞳只显示在瞳孔上的功能，解决眼睛半闭合状态美瞳会显示在眼皮上的问题。其中，闭合度从大到小为闭眼期，从小到大为睁眼期。
82.对于本技术实施例，解决了人眼闭合度的确定问题。
83.本技术实施例提供了一种可能的实现方式，其中，将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像，之后包括：
84.基于融合技术对添加美瞳的当前目标图像进行融合处理，所述融合技术包括以下至少一项：正片叠底、变暗、变亮、滤色、线性加深、线性减淡、柔光。
85.其中，正片叠底技术，是一种色彩混合方案，可以让两个图层的颜色混为一体，没有浮在表面的感觉。
86.具体地，可以采用正片叠底技术，将待添加美瞳图像与当前目标图像进行混合，使得待添加美瞳图像与当前目标图像的色彩相融合，从而提高美瞳效果。
87.具体地，还可以对添加美瞳的当前目标图像进行相应的其他处理，如变暗、变亮、滤色、线性加深、线性减淡、柔光，进一步提升美瞳效果。
88.实施例二
89.本公开实施例提供了一种美瞳实现装置，如图9所示，包括：
90.第一确定模块901，用于从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；
91.添加模块902，用于将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；
92.执行模块903，用于对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。
93.本公开实施例提供的方案，与现有技术只能添加静态美瞳相比。本公开通过从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。即从包含不同美瞳图像的多帧图像中确定待添加美瞳图像，并将待添加美瞳图像添加至目标视频中的目标图像，多次执行上述操作，从而不同的目标图像添加的美瞳图像不同，进而添加美瞳图像后的视频在播放时能够呈现出动态美瞳的效果。
94.本技术实施例提供了一种可能的实现方式，其中，所述第一确定模块，具体用于按照预定的顺序从所述美瞳序列帧图像中确定美瞳图像作为待添加美瞳图像。
95.本技术实施例提供了一种可能的实现方式，其中，该装置还包括：
96.第二确定模块，用于确定眼部掩码图；
97.采样模块，用于基于确定的眼部掩码图对预定的多帧美瞳贴图分别进行采样，得到所述美瞳序列帧图像，其中，所述多帧美瞳贴图包括至少两帧互不相同的美瞳贴图。
98.本技术实施例提供了一种可能的实现方式，其中，所述添加模块包括：
99.第一确定单元，用于确定当前目标图像中目标对象瞳孔所在的区域；
100.第一添加单元，用于基于确定的所述目标对象的瞳孔所在的区域，将所述待添加美瞳图像添加至所述当前目标图像，得到添加美瞳的当前目标图像。
101.本技术实施例提供了一种可能的实现方式，其中，所述将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像，包括：
102.第二确定单元，用于确定当前目标图像中目标对象的眼睛闭合度；
103.第三确定单元，用于基于确定的当前目标对象的眼睛闭合度确定待添加美瞳的缩放比例；
104.第二添加单元，用于将按照所述缩放比例处理后的待添加美瞳图像，添加至所述当前目标图像。
105.本技术实施例提供了一种可能的实现方式，其中，所述第二确定单元，用于识别确定所述当前目标图像中目标对象的眼睛的眼睛关键点；以及用于基于识别确定的眼睛关键
点确定当前目标图像中目标对象的眼睛闭合度。
106.本技术实施例提供了一种可能的实现方式，其中，该装置还包括：
107.融合模块，用于基于融合技术对添加美瞳的当前目标图像进行融合处理，所述融合技术包括以下至少一项：正片叠底、变暗、变亮、滤色、线性加深、线性减淡、柔光。
108.对于本技术实施例，其实现的有益效果同上述方法实施例，此处不再赘述。
109.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
110.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
111.该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例提供的方法。
112.该电子设备与现有技术只能添加静态美瞳相比。本公开通过从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。即从包含不同美瞳图像的多帧图像中确定待添加美瞳图像，并将待添加美瞳图像添加至目标视频中的目标图像，多次执行上述操作，从而不同的目标图像添加的美瞳图像不同，进而添加美瞳图像后的视频在播放时能够呈现出动态美瞳的效果。
113.该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例提供的方法。
114.该可读存储介质与现有技术只能添加静态美瞳相比。本公开通过从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。即从包含不同美瞳图像的多帧图像中确定待添加美瞳图像，并将待添加美瞳图像添加至目标视频中的目标图像，多次执行上述操作，从而不同的目标图像添加的美瞳图像不同，进而添加美瞳图像后的视频在播放时能够呈现出动态美瞳的效果。
115.该计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开的第一方面中所示的方法。
116.该计算机程序产品与现有技术只能添加静态美瞳相比。本公开通过从多帧图像中确定待添加美瞳图像，所述多帧图像包括至少两帧互不相同的美瞳图像；将确定的所述待添加美瞳图像添加至目标视频的当前目标图像中的目标对象的瞳孔区域，得到添加美瞳的当前目标图像；对所述目标视频的后续目标图像执行上述操作，得到具有动态美瞳效果的目标视频。即从包含不同美瞳图像的多帧图像中确定待添加美瞳图像，并将待添加美瞳图像添加至目标视频中的目标图像，多次执行上述操作，从而不同的目标图像添加的美瞳图像不同，进而添加美瞳图像后的视频在播放时能够呈现出动态美瞳的效果。
117.图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数
字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
118.如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序，来执行各种适当的动作和处理。在ram 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1007也连接至总线1004。
119.设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
120.计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如方法美瞳实现方法。例如，在一些实施例中，方法美瞳实现方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1007。在一些实施例中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时，可以执行上文描述的方法美瞳实现方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法美瞳实现方法。
121.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
122.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
123.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
124.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
125.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
126.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
127.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
128.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。