一种虚拟显示方法、装置及其相关设备和存储介质与流程

1.本技术涉及增强现实技术领域，特别是涉及一种虚拟显示方法、装置及其相关设备和存储介质。


背景技术：

2.随着科学技术的发展，增强现实技术的应用越来越广泛。增强现实技术是一种将真实世界和虚拟世界信息结合的技术。通过设备将虚拟视觉信息在真实世界图像中显示出来。
3.在虚实融合过程中，由于设备的定位过程中会出现累积误差，因此，需要每隔一段时间对设备的位置进行更新，以便校正累积误差。因为累积误差的存在，在设备的位置更新后，原有的虚拟视觉信息会在设备的屏幕上发生跳变，这种虚拟视觉信息跳变会给用户带有不良的视觉体验。


技术实现要素：

4.本技术主要解决的技术问题是提供一种虚拟显示方法、装置及其相关设备和存储介质。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种虚拟显示方法，该方法包括：获取目标对象的当前脸部数据；响应于检测到当前脸部数据符合预设要求，对目标设备的当前定位进行校正，得到校正定位结果；基于校正定位结果，调整目标虚拟物在目标画面中的显示位置。
6.因此，通过获取目标对象的当前脸部数据，当在检测到当前脸部数据符合预设要求时，对目标设备的当前定位进行校正并基于校正定位结果，调整目标虚拟物在目标画面中的显示位置，故能够在目标对象处于预定脸部状态的情况下，调整目标虚拟物在目标画面中的显示位置，从而减少目标对象感知到目标虚拟物在目标画面上发生跳变的现象，进而减少这种跳变现象给目标对象带来的不良体验。
7.其中，当前脸部数据包括目标对象的当前视线数据，预设要求包括目标对象的当前视线未落在目标设备的屏幕上。
8.因此，当检测到目标对象的当前视线未落在目标设备的屏幕上时，对目标设备的当前定位进行校正，以得到校正定位结果，从而使得后续能够在用户未注视目标设备的屏幕时即在目标对象没有感知的情况下，调整目标虚拟物在目标画面中的显示位置，进而减少这种跳变现象给目标对象带来的不良视觉体验。
9.其中，获取目标对象的当前脸部数据，包括：通过目标设备的第一摄像组件获取包含目标对象的待检测画面；对待检测画面中目标对象进行关键点检测，得到至少一个眼部关键点的位置信息，以作为目标对象的当前视线数据。
10.因此，能够将至少一个眼部关键点的位置信息作为目标对象的当前视线数据。
11.其中，当前视线数据包括至少一组眼部关键点对，每组眼部关键点对包括来自左
眼的第一关键点和来自右眼的第二关键点；检测到当前脸部数据符合预设要求，包括：检测到至少一组眼部关键点对的位置关系满足预设位置条件。
12.因此，可通过检测至少一组眼部关键点对的位置关系满足预设位置条件确定当前脸部数据符合预设要求。
13.其中，预设位置条件包括：左眼的关键点距离与右眼的关键点距离之间的差值不在预设距离范围内，和/或，关键点连线与水平线间的角度大于预设角度，其中，左眼的关键点距离为在两组关键点对中第一关键点之间的距离，右眼的关键点距离为在两组关键点对中第二关键点之间的距离，关键点连线为位于同一组眼部关键点对的连线。
14.因此，在左眼的关键点距离与右眼的关键点距离之间的差值不在第一距离范围内和/或关联的第一关键点和第二关键点在竖直方向上的距离不在第二距离范围内时，至少一组关键点对的位置关系满足预设位置条件。
15.其中，响应于检测到当前脸部数据符合预设要求，对目标设备的当前定位进行校正，得到校正定位结果，包括：响应于检测到当前脸部数据符合预设要求；获取当前与上一次脸部数据符合预设要求并对目标设备的当前定位进行校正的时间间隔；响应于时间间隔大于预设时间阈值，对目标设备的当前定位进行校正，得到校正定位结果。
16.因此，为了避免频繁地进行目标设备的当前定位校正，在当前与上一次脸部数据符合预设要求的时间间隔大于预设时间阈值时，对目标设备的当前定位进行校正，以得到校正定位结果。
17.其中，对目标设备的当前定位进行校正，得到校正定位结果，包括：获取目标设备的第二摄像组件采集得到的目标画面，利用目标画面在预设地图中进行定位匹配，得到校正定位结果。
18.因此，通过目标设备采集得到的目标画面在预设地图的定位匹配，能够得到校正定位结果。
19.其中，目标画面是由目标设备的第二摄像组件采集得到的；和/或，基于校正定位结果，调整目标虚拟物在目标画面中的显示位置，包括：基于校正定位结果，确定世界坐标系与目标设备的相机坐标系之间的变换参数；利用目标虚拟物的空间位置、目标设备的投影参数、以及变换参数，得到目标虚拟物在目标画面中的显示位置。
20.因此，通过目标虚拟物的空间位置、目标设备的投影参数、世界坐标系与目标设备的相机坐标系之间的变换参数，能够得到目标虚拟物在目标画面中的显示位置。
21.其中，虚拟显示方法还包括：响应于用户对目标虚拟物的调整操作，对目标虚拟物进行外观调整，并在目标画面中显示外观调整后的目标虚拟物。
22.因此，通过对目标虚拟物的调整，使得目标画面中显示的目标虚拟物更加真实、生动。
23.其中，对目标虚拟物进行外观调整，包括以下任意一种：调整目标虚拟物的大小、颜色、亮度中的至少一种；将用户选择的虚拟物替换目标虚拟物。
24.因此，通过对目标虚拟物的颜色、亮度或大小等的调整，使得目标画面中显示的目标虚拟物更加真实、生动。
25.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种虚拟显示装置，该装置包括：获取模块，用于获取目标对象的当前脸部数据；检测模块，用于响应于检测到
当前脸部数据符合预设要求，对目标设备的当前定位进行校正，得到校正定位结果；调整模块，用于基于校正定位结果，调整目标虚拟物在目标画面中的显示位置。
26.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电子设备包括存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的虚拟显示方法。
27.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的虚拟显示方法。
28.上述方案，通过获取目标对象的当前脸部数据，当在检测到当前脸部数据符合预设要求时，对目标设备的当前定位进行校正并基于校正定位结果，调整目标虚拟物在目标画面中的显示位置，故能够在目标对象处于预定脸部状态的情况下，调整目标虚拟物在目标画面中的显示位置，从而减少目标对象感知到目标虚拟物在目标画面上发生跳变的现象，进而减少这种跳变现象给目标对象带来的不良体验。
附图说明
29.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
30.图1是本技术提供的虚拟显示方法一实施例的流程示意图；
31.图2是图1所示步骤s12一实施例的流程示意图；
32.图3是图1所示步骤s11一实施例的流程示意图；
33.图4是本技术提供的虚拟显示装置一实施例的结构示意图；
34.图5是本技术提供的电子设备一实施例的结构示意图；
35.图6为本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
36.下面结合说明书附图，对本技术实施例的方案进行详细说明。
37.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
38.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
39.请参阅图1，图1是本技术提供的虚拟显示方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
40.步骤s11：获取目标对象的当前脸部数据。
41.本实施例的方法用于基于目标对象的当前脸部数据是否符合预设要求而对目标
设备的当前定位进行校正，从而实现调整目标虚拟物在目标画面中的显示位置，本文所述的目标对象的当前脸部数据包括但不限于目标对象的当前视线数据、当前表情数据或者当前神态数据等，在此不做具体限定。其中，目标设备包括但不限于手机、平板电脑等，在此不做具体限定。
42.举例来说，以当前脸部数据为目标对象的当前视线数据为例，可以基于目标对象的当前视线是否落在目标设备的屏幕上而确定是否对目标设备的当前定位进行校正。又例如，以当前脸部数据为目标对象的神态数据为例，可以基于目标对象当前是否处于思考状态而确定是否对目标设备的当前定位进行校正。又例如，以当前脸部数据为目标对象的当前表情数据为例，可以基于目标对象是否是大笑的表情而确定是否对目标设备的当前定位进行校正。
43.在一实施方式中，可通过目标设备的第一摄像组件(例如，目标设备的前置摄像头)获取包含目标对象的画面，通过对画面中目标对象进行脸部检测，以获取得到目标对象的当前脸部数据。在一具体实施方式中，以脸部关键点的位置信息作为当前脸部数据时，具体对画面中目标对象进行关键点检测，以得到至少一个关键点的位置信息，即作为目标对象的当前脸部数据。举例来说，以当前脸部数据为目标对象的当前视线数据，以眼部关键点的位置信息作为当前视线数据为例，则此时需要对目标对象进行关键点检测，以得到眼部关键点的位置信息。可以理解地，在其他实施方式中，也可将脸部的其他信息作为当前脸部数据，可根据实际使用需要设置，在此不做具体限定。
44.步骤s12：响应于检测到当前脸部数据符合预设要求，对目标设备的当前定位进行校正，得到校正定位结果。
45.本实施例中，目标设备的定位一般采用惯性定位或其他6自由度跟踪算法等处理量不大的定位方式，从而获取目标设备在世界坐标系下的定位结果。但是这些定位方式可能会存在定位误差，所以在持续定位过程中难免会存在一定的累积误差，因此，需要定期对目标设备的定位结果进行校正，以减小定位过程中的累积误差。具体对目标设备的定位结果进行校正的时间可以由用户自行设置，或采用目标设备出厂时的设置。因此，本实施方式中，响应于检测到当前脸部数据符合预设要求时，会对目标设备的当前定位进行校正，从而得到校正定位结果。也就是说，在获取到的目标对象的当前脸部数据符合预设要求时，会对目标设备进行重定位，即对目标设备的位置进行更新，以减小定位过程中的累积误差。
46.在一实施方式中，在当前脸部数据为目标对象的当前视线数据时，预设要求可以为目标对象的当前视线未落在目标设备的屏幕上。也就是说，当检测到目标对象的当前视线未落在目标设备的屏幕上时即目标对象未盯着目标设备的屏幕看时，对目标设备的当前定位进行校正，以得到校正定位结果。因此，使得后续能够在用户未注视目标设备的屏幕时即在目标对象没有感知的情况下，基于校正定位结果调整目标虚拟物在目标画面中的显示位置，从而避免目标对象看到在对目标设备的当前定位校正后而出现的目标虚拟物在目标设备的屏幕上发生跳变的现象，进而减少这种跳变现象带来的不良视觉体验。可以理解地，在其他实施方式中，在当前脸部数据为目标对象的当前视线数据时，预设要求也可以为目标对象的当前视线未落在目标设备的屏幕预设范围内等，可根据实际使用需要具体设置，在此不做具体限定。
47.在一具体实施方式中，以至少一组眼部关键点对，其中，每组眼部关键点对包括来
自左眼的第一关键点和来自右眼的第二关键点作为当前视线数据时，检测当前脸部数据符合预设要求具体为检测至少一组眼部关键点对的位置关系是否满足预设位置条件。也就是说，通过检测至少一组眼部关键点对的位置关系是否满足预设位置条件，从而确定目标对象的当前视线是否落在目标设备的屏幕上，进而确定是否需要对目标设备的当前定位进行校正。其中，不对眼部关键点对的组数进行限定，可根据实际使用需要具体设置。
48.在一实施方式中，当一组眼部关键点对中来自左眼的关键点和来自右眼的关键点处于水平状态时，即表明目标对象的视线是落在目标设备的屏幕上的，那么此时预设位置条件可以是一组眼部关键点对中的关键点连线与水平线间的角度大于预设角度，其中，不对预设角度的大小进行限定，可根据实际使用需要具体设置。举例来说，以预设角度为5
°
为例，由于一组眼部关键点对中的关键点连线与水平线间的角度为6
°
，大于预设角度，所以该关键点对的位置关系满足预设位置条件，表明目标对象的视线是未落在目标设备的屏幕上的。
49.在其他实施方式中，当左眼的关键点距离与右眼的关键点距离等宽时，其中，左眼关键点距离为两组关键点对中第一关键点之间的距离，右眼关键点距离为两组关键点对中第二关键点之间的距离，表明目标对象的视线是落在目标设备的屏幕上的，那么此时预设位置条件可以是左眼的关键点距离与右眼的关键点距离之间的差值不在预设距离范围内。其中，不对预设距离范围的大小进行具体限定，可根据实际使用需要具体设置。举例来说，以预设距离范围为0.3mm-0.7mm，左眼的关键点距离为1.5mm，右眼的关键点距离为2.8mm为例，左眼的关键点距离和右眼的关键点距离之间的差值为1.3mm，不在预设距离范围内，所以该两组眼部关键点对的位置关系满足预设位置条件，表明目标对象的视线是未落在目标设备的屏幕上的。可以理解地，在其他实施方式中，预设位置条件也可以是左眼的关键点距离与右眼的关键点距离之间的差值不在预设距离范围内且关键点连线与水平线间的角度大于预设角度。
50.为了避免频繁地对当前定位进行校正，减少计算量，即为了避免检测到脸部数据符合预设要求就立刻对目标设备的当前定位进行校正的现象出现，在一实施方式中，如图2所示，图2是图1所示步骤s12一实施例的流程示意图，可设置当前与上一次脸部数据符合预设要求并对目标设备的当前定位进行校正的时间间隔满足一定要求时，对目标设备的当前定位进行校正，具体包括如下子步骤：
51.步骤s21：响应于检测到当前脸部数据符合预设要求。
52.为了避免频繁地对当前定位进行校正，减少计算量，所以本实施方式中，响应于检测到当前脸部数据符合预设要求时，会执行步骤s22。
53.步骤s22：获取当前与上一次脸部数据符合预设要求并对目标设备的当前定位进行校正的时间间隔。
54.本实施方式中，在检测到当前脸部数据符合预设要求时，会进一步获取当前与上一次脸部数据符合预设要求且对目标设备的当前定位进行校正的时间间隔，通过判定时间间隔与预设时间阈值之间的关系，以确定是否对目标设备的当前定位进行校正。
55.步骤s23：响应于时间间隔大于预设时间阈值，对目标设备的当前定位进行校正，得到校正定位结果。
56.本实施方式中，响应于当前与上一次脸部数据符合预设要求且对目标设备的当前
定位进行校正的时间间隔大于预设时间阈值时，对目标设备的当前定位进行校正，从而得到校正定位结果，以避免频繁地对目标设备的当前定位进行校正。其中，不对预设时间阈值进行限定，可根据实际使用需要具体设置。
57.在一实施方式中，可获取目标设备的第二摄像组件采集得到的目标画面，从而可利用目标画面在预设地图中进行定位匹配，以得到校正定位结果，即得到目标设备在预设地图中更准确的位姿。其中，预设地图可以是高精度三维地图，例如，稠密的三维地图等。具体地，将目标设备与预设地图进行定位匹配的方式可以是根据目标设备中精确的定位组件获取目标设备在预设地图中的校正定位结果。该精确的定位组件可以是gps。当然，获取目标设备在预设地图中更精确的定位结果的方式还可以是使用视觉惯性定位的方式；提取目标画面的特征点与预设地图中的特征点进行匹配，基于匹配结果得到校正定位结果。在其他实施方式中，可以将目标画面发送给云端，以便云端对目标画面的特征点进行提取，并将提取到的特征点与预设地图中的特征点进行匹配，得到目标设备的校正定位结果，然后再接收由云端发送的校正定位结果。
58.步骤s13：基于校正定位结果，调整目标虚拟物在目标画面中的显示位置。
59.本实施方式中，根据校正定位结果，调整目标虚拟物在目标画面中的显示位置。在虚实融合过程中，由于设备的定位过程中会出现累积误差，因此，需要每隔一段时间对设备的位置进行更新，以便校正累积误差。因为累积误差的存在，在设备的位置更新后，原有的目标虚拟物会在设备的屏幕上发生跳变，这种目标虚拟物跳变会给用户带有不良的体验。所以，本实施方式中，在检测到当前脸部数据符合预设要求时，例如目标对象的视线未注视目标设备的屏幕、目标对象处于思考状态或者目标对象处于大笑状态等时，即在目标对象感知不强的情况下，基于校正定位结果调整目标虚拟物在目标画面中的显示位置，从而减少目标对象感知到在对目标设备的当前定位校正后而出现的目标虚拟物在目标设备的屏幕上发生跳变的现象，进而减少这种跳变现象带来的不良体验。
60.在一实施方式中，可首先根据校正定位结果确定世界坐标系与目标设备的相机坐标系之间的变化参数，然后利用目标虚拟物的空间位置、目标设备的投影参数、以及变换参数，得到经定位校正后目标虚拟物在目标画面中的显示位置。其中，目标虚拟物的原始空间位置是预先设定的，指的是目标虚拟物在虚拟空间中的位置。世界坐标系与目标设备的相机坐标系之间的变化参数具体为目标设备的视域矩阵(view matrix)。
61.具体地，该变化参数是从世界坐标系变化到目标设备的相机坐标系的变化参数，其中，目标设备的校正定位结果可以是目标设备在世界坐标系下的位姿。其中，目标设备的位姿包括目标设备的位置和姿态(又名，朝向)。本实施方式中，将目标设备的拍摄组件在世界坐标系下的位姿等同为目标设备在世界坐标系下的位姿。当然，在其他实施方式中，可将目标设备上预设部件的位姿作为目标设备的位姿，然后，根据目标设备上拍摄组件与目标设备上预设部件之间的相对位姿关系、以及预设部件的位姿，确定拍摄组件的位姿。其中，可以认为拍摄组件的位置为相机坐标系的原点。具体根据目标设备的拍摄组件的位姿，确定世界坐标系与目标设备的相机坐标系之间的变换关系的方式可参见一般公知技术，此处不做过多叙述。
62.投影参数的形式为投影矩阵，投影参数为摄像组件的内部参数，主要根据投影原理构建，用于实现三维空间坐标到二维图像坐标的变换。
facial landmark detector)算法对待检测画面中目标对象进行关键点检测，以得到至少一个眼部关键点的位置信息。可以理解地，在其他实施方式中，也可利用cpr(cascaded pose regression)算法、tcnn(tweaked convolutional neural networks)算法或者dan(deep alignment networks)算法对待检测画面中目标对象进行关键点检测，可根据实际使用需要具体设置，在此不做具体限定。
74.其中，不对得到的眼部关键点的位置信息的数量进行限定，可根据实际使用需要具体设置。举例来说，当后续需要根据来自左眼的第一关键点的位置信息和来自右眼的第二关键点的位置信息确定当前视线数据是否符合预设要求时，如关联的第一关键点和第二关键点在竖直方向上的距离是否不在第二距离范围内时，则此时需要得到至少一组关联的眼部关键点对，即2个眼部关键点的位置信息；又如，左眼的关键点距离与右眼的关键点距离之间的差值是否不在第一距离范围内时，其中，右眼的关键点距离为在两组关键点对中第二关键点之间的距离、左眼的关键点距离为在两组关键点对中第一关键点之间的距离，则此时需要得到至少两组关联的眼部关键点对，即4个眼部关键点的位置信息。
75.请参阅图4，图4是本技术提供的虚拟显示装置一实施例的结构示意图。虚拟显示装置40包括获取模块41、检测模块42和调整模块43。获取模块41用于获取目标对象的当前脸部数据；检测模块42用于响应于检测到当前脸部数据符合预设要求，对目标设备的当前定位进行校正，得到校正定位结果；调整模块43用于基于校正定位结果，调整目标虚拟物在目标画面中的显示位置。
76.其中，上述当前脸部数据包括目标对象的当前视线数据，上述预设要求包括目标对象的当前视线未落在目标设备的屏幕上。
77.其中，获取模块41用于获取目标对象的当前脸部数据，具体包括：通过目标设备的第一摄像组件获取包含目标对象的待检测画面；对待检测画面中目标对象进行关键点检测，得到至少一个眼部关键点的位置信息，以作为目标对象的当前视线数据。
78.其中，上述当前视线数据包括至少一组眼部关键点对，每组眼部关键点对包括来自左眼的第一关键点和来自右眼的第二关键点；检测模块42用于检测到当前脸部数据符合预设要求，具体包括：检测到至少一组眼部关键点对的位置关系满足预设位置条件。
79.其中，上述预设位置条件包括：左眼的关键点距离与右眼的关键点距离之间的差值不在预设距离范围内，和/或，关键点连线与水平线间的角度大于预设角度，其中，左眼的关键点距离为在两组关键点对中第一关键点之间的距离，右眼的关键点距离为在两组关键点对中第二关键点之间的距离，关键点连线为位于同一组眼部关键点对的连线。
80.其中，检测模块42用于响应于检测到当前脸部数据符合预设要求，对目标设备的当前定位进行校正，得到校正定位结果，具体包括：响应于检测到当前脸部数据符合预设要求；获取当前与上一次脸部数据符合预设要求并对目标设备的当前定位进行校正的时间间隔；响应于时间间隔大于预设时间阈值，对目标设备的当前定位进行校正，得到校正定位结果。
81.其中，上述对目标设备的当前定位进行校正，得到校正定位结果，具体包括：获取目标设备的第二摄像组件采集得到的目标画面，利用目标画面在预设地图中进行定位匹配，得到校正定位结果。
82.其中，上述目标画面是由所述目标设备的第二摄像组件采集得到的；和/或，调整
模块43用于基于校正定位结果，调整目标虚拟物在目标画面中的显示位置，具体包括：基于校正定位结果，确定世界坐标系与目标设备的相机坐标系之间的变换参数；利用目标虚拟物的空间位置、目标设备的投影参数、以及变换参数，得到目标虚拟物在目标画面中的显示位置。
83.其中，调整模块43还用于响应于用户对目标虚拟物的调整操作，对目标虚拟物进行外观调整，并在目标画面中显示外观调整后的目标虚拟物。
84.其中，上述对目标虚拟物进行外观调整，包括以下任意一种：调整目标虚拟物的大小、颜色、亮度中的至少一种；将用户选择的虚拟物替换所述目标虚拟物。
85.请参阅图5，图5是本技术提供的电子设备一实施例的结构示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一虚拟显示方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
86.具体而言，处理器52用于控制其自身以及存储器51以实现上述任一虚拟显示方法实施例的步骤。处理器52还可以称为cpu(central processing unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
87.请参阅图6，图6为本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述任一虚拟显示方法实施例的步骤。
88.本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
89.可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
90.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
91.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
92.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
93.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
94.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
95.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
96.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。