增强现实AR场景的展示方法及装置与流程

增强现实ar场景的展示方法及装置
技术领域
1.本公开涉及增强现实技术领域，具体涉及一种增强现实ar场景的展示方法及装置。


背景技术：

2.增强现实(augmented reality，ar)技术通过将虚拟模型叠加到真实世界中，从而将真实的环境和虚拟的对象实时地在同一个画面或者空间呈现。对于ar场景，如何丰富虚拟对象与真实场景的交互，优化展示效果是主要的研究方向之一。


技术实现要素：

3.本公开实施方式提供了一种增强现实ar场景的展示方法、装置、ar设备以及存储介质。
4.第一方面，本公开实施方式提供了一种增强现实ar场景的展示方法，所述方法包括：
5.响应于从当前场景图像中识别到目标标识对象，基于ar设备与所述目标标识对象对应的虚拟对象在世界坐标系中的第一相对位姿数据，确定所述虚拟对象的展示位姿数据；
6.基于所述展示位姿数据，在所述ar设备展示所述虚拟对象；
7.在所述虚拟对象的展示过程中，根据所述虚拟对象与所述目标标识对象在所述世界坐标系中的第二相对位姿数据，确定所述虚拟对象的目标展示数据；
8.根据所述展示位姿数据和所述目标展示数据，在所述ar设备展示所述虚拟对象。
9.在一些实施方式中，所述在所述虚拟对象的展示过程中，根据所述虚拟对象与所述目标标识对象在所述世界坐标系中的第二相对位姿数据，确定所述虚拟对象的目标展示数据，包括：
10.在所述虚拟对象的展示过程中，获取所述虚拟对象在所述世界坐标系中的第一位姿数据，以及所述目标标识对象在所述世界坐标系中的第二位姿数据；
11.根据所述第一位姿数据和所述第二位姿数据，确定所述第二相对位姿数据；
12.根据所述第二相对位姿数据和预先设置的展示效果关系，确定与所述第二相对位姿数据对应的所述目标展示数据；所述展示效果关系表示所述第二相对位姿数据与展示数据之间的对应关系。
13.在一些实施方式中，所述第二相对位姿数据包括所述虚拟对象与所述目标标识对象之间的相对位置和/或相对姿态，所述展示效果关系表示所述相对位置和/或所述相对姿态与所述展示数据之间的对应关系。
14.在一些实施方式中，所述展示数据包括所述虚拟对象的颜色、亮度、透明度、展示角度中的一种或多种数据。
15.在一些实施方式中，所述基于所述ar设备与所述目标标识对象对应的虚拟对象在
世界坐标系中的第一相对位姿数据，确定所述虚拟对象的展示位姿数据，包括：
16.根据所述虚拟对象与所述ar设备的初始相对位姿，通过实时定位与建图slam确定所述第一相对位姿数据；所述世界坐标系为根据预先提取的所述目标标识对象的特征确定的，所述初始相对位姿预先根据虚拟对象在世界坐标系的预设初始位姿和所述ar设备在世界坐标系的初始位姿确定；
17.根据所述第一相对位姿数据，以及所述世界坐标系与所述ar设备的屏幕坐标系的映射关系，确定所述虚拟对象在所述屏幕坐标系中的所述展示位姿数据。
18.在一些实施方式中，所述从当前场景图像中识别到目标标识对象，包括：
19.对所述当前场景图像进行特征点提取，得到所述当前场景图像包括的至少一个特征点对应的特征信息；
20.根据所述至少一个特征点对应的特征信息与预先存储的所述目标标识对象的特征点信息进行对比，识别所述当前场景图像中的所述目标标识对象。
21.第二方面，本公开实施方式提供了一种增强现实ar场景的展示装置，所述装置包括：
22.第一位姿确定模块，被配置为响应于从当前场景图像中识别到目标标识对象，基于ar设备与所述目标标识对象对应的虚拟对象在世界坐标系中的第一相对位姿数据，确定所述虚拟对象的展示位姿数据；
23.第一展示模块，被配置为基于所述展示位姿数据，在所述ar设备展示所述虚拟对象；
24.展示数据确定模块，被配置为在所述虚拟对象的展示过程中，根据所述虚拟对象与所述目标标识对象在所述世界坐标系中的第二相对位姿数据，确定所述虚拟对象的目标展示数据；
25.第二展示模块，被配置为根据所述展示位姿数据和所述目标展示数据，在所述ar设备展示所述虚拟对象。
26.第三方面，本公开实施方式提供了一种ar设备，包括：
27.处理器；和
28.存储器，与所述处理器可通信连接，所述存储器存储有能够被所述处理器读取的计算机指令，所述计算机指令用于使所述处理器执行根据第一方面任一实施方式所述的方法。
29.第四方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行根据第一方面任一实施方式所述的方法。
30.本公开实施方式的展示方法，包括响应于从当前场景图像中识别到目标标识对象，基于ar设备与目标标识对象对应的虚拟对象在世界坐标系中的第一相对位姿数据，确定虚拟对象的展示位姿数据，基于展示位姿数据在ar设备展示虚拟对象，基于第一相对位姿来展示虚拟对象，使得虚拟对象的展示效果更加逼真，提高展示效果。并且在虚拟对象的展示过程中，根据虚拟对象与目标标识对象在世界坐标系中的第二相对位姿数据，确定虚拟对象的目标展示数据，根据展示位姿数据和目标展示数据，在ar设备展示虚拟对象，可以基于目标标识对象marker与虚拟对象的相对位姿变化，实时展示不同的展示效果，从而增加ar场景的互动性，提高虚拟形象的展示效果。
附图说明
31.为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1是根据本公开一些实施方式中ar设备的结构示意图。
33.图2是根据本公开一些实施方式中ar设备的结构示意图。
34.图3是根据本公开一些实施方式中ar设备的结构框图。
35.图4是根据本公开一些实施方式中展示方法的流程图。
36.图5是根据本公开一些实施方式中展示方法的原理图。
37.图6是根据本公开一些实施方式中展示方法的流程图。
38.图7是根据本公开一些实施方式中展示方法的流程图。
39.图8是根据本公开一些实施方式中展示方法的流程图。
40.图9是根据本公开一些实施方式中展示方法的流程图。
41.图10是根据本公开一些实施方式中展示方法的原理图。
42.图11是根据本公开一些实施方式中展示装置的结构框图。
具体实施方式
43.下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
44.基于marker进行ar效果展示是增强现实场景中对虚拟对象的一种展示方式，这种实现方式利用事先制作好标识对象(marker)，例如基于汉明码(hamming code)技术绘制在物品表面的预设图形等，预设图形可以是例如卡通形象、二维码、条形码等。ar设备通过摄像头识别到当前场景中出现该marker时，可在当前场景图像中叠加对应的虚拟对象，实现虚拟对象与现实场景叠加的展示效果。
45.在虚拟对象的展示过程中，基于ar设备与虚拟对象的相对位姿实现虚拟效果的展示，例如当ar设备移动远离时，显示屏所展示的虚拟对象随之变小；又例如当ar设备转动时，显示屏所展示的虚拟对象随之转动。这种展示方式互动性不足，展示效果不佳。
46.本公开实施方式提供了一种增强现实ar场景的展示方法、装置、ar设备以及存储介质，旨在提高ar场景中虚拟对象的展示效果，提高用户体验。
47.本公开实施方式提供了一种增强现实ar场景的展示方法，该方法可以应用于ar设备。可以理解，本公开实施方式所述的ar设备，可以是任何具有ar功能的终端设备，例如ar眼镜、ar头盔等头戴式设备，又例如智能手机、平板电脑等手持式设备，再例如智能手表、智能手环等腕戴式设备等等，本公开对此不作限制。
48.如图1所示，在一个示例中，本公开所述的ar设备以ar眼镜为例进行说明。ar设备100包括主体101，主体101为实现眼镜佩戴及支撑的支架结构。显示屏110设置在主体101
上，用户在佩戴ar设备100之后，显示屏110可以位于用户眼睛的正前方，从而便于用户观察到显示屏110上显示的画面。ar设备100还包括摄像头120，摄像头120用于采集当前场景的真实场景图像。ar设备100还包括设于主体101内部的处理器，处理器用于将摄像头120采集的真实场景图像与虚拟对象进行叠加之后，在显示屏110上展示。
49.如图2所示，在一个示例中，本公开所述的ar设备以智能手机为例进行说明。ar设备100包括壳体102，壳体102为实现手机主体支撑的外壳结构。显示屏110设置在壳体102正面，摄像头120设置在壳体102的正面和/或背面，例如图2中(b)所示，摄像头120设于壳体的背面。摄像头120用于采集当前场景的真实场景图像，从而智能手机的处理器将摄像头120采集的真实场景图像与虚拟对象进行叠加之后，在显示屏110上展示。
50.当然可以理解，ar设备的具体设备类型不局限于上述示例的ar眼镜和智能手机，本公开对此不再赘述。图3中示出了本公开ar设备的结构框图，下面结合图3对本公开实施方式的ar设备进一步说明。
51.如图3所示，在一些实施方式中，ar设备100包括处理器130、存储器140、摄像头120、显示屏110以及imu(inertial measurement unit，惯性测量单元)传感器160。
52.处理器130、存储器140、摄像头120、显示屏110以及imu传感器160通过总线150建立任意两者之间的可通信连接。
53.处理器130可以为任何类型，具备一个或者多个处理核心的处理器。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。
54.存储器140可包括非易失性计算机可读存储介质，例如至少一个磁盘存储器件、闪存器件、相对于处理器130远程设置的分布式存储设备或者其他非易失性固态存储器件。存储器可以具有程序存储区，用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，供处理器130调用以使处理器130执行下文一个或者多个方法步骤。存储器140还可以包括易失性随机存储介质、或者硬盘等存储部分，作为数据存储区，用以存储处理器130下发输出的运算处理结果及数据。
55.摄像头120用于采集当前场景图像，从而处理器130可以根据采集到的当前场景图像进行虚拟对象的融合处理，实现ar展示效果。在本公开实施方式中，摄像头120可以是任何适于实施的摄像头类型，例如黑白摄像头、rgb摄像头等，摄像头120的数量既可以是单目摄像头，也可以是双目摄像头，本公开对此不作限制。
56.显示屏110用于接收处理器130下发的显示信息，从而根据显示信息在显示屏110上呈现出对应的显示图像，以使用户可以通过显示屏110观察到ar展示效果。在本公开实施方式中，显示屏110可以是任何适于实施的显示屏类型，例如lcd(liquid crystal display，液晶显示)显示屏、oled(organic light-emitting diode，有机发光半导体)显示屏等，本公开对此不作限制。
57.imu传感器160为惯性测量传感器，主要用来检测和测量ar设备自身的加速度与旋转运动，其基本原理是利用惯性定律实现，可以基于传感器信号实时对ar设备自身位姿进行解算。在一些实施方式中，imu传感器160可以包括例如三轴或六轴陀螺仪、加速度传感器等。
58.在上述ar设备结构基础上，下面对本公开实施方式的增强现实ar场景的展示方法
进行说明。
59.如图4所示，在一些实施方式中，本公开示例的增强现实ar场景的展示方法包括：
60.s410、响应于从当前场景图像中识别到目标标识对象，基于ar设备与目标标识对象对应的虚拟对象在世界坐标系中的第一相对位姿数据，确定虚拟对象的展示位姿数据。
61.具体而言，当前场景图像是指利用ar设备的摄像头实时采集到的场景图像，或者是通过摄像设备采集的场景图像并传输至ar设备中。例如图1所示的ar眼镜中，通过摄像头120采集取景范围内的成像数据，通过数据处理将采集到的场景图像显示在显示屏110上，用户在显示屏110上观察到的图像即为当前场景图像。可以理解，随着ar设备的位姿发生改变，采集到的当前场景图像随之改变，也即当前场景图像为实时图像。
62.目标标识对象指用于触发ar效果展示的标识物，也即上文所述的marker，目标标识对象(marker)的具体呈现方式可以是例如二维码、预设图形等，本公开对此不作限制。
63.例如一个示例中，如图5所示，目标标识对象210为绘制于明信片200表面的卡通图形，该卡通图形可以基于例如汉明码(hamming code)技术进行绘制，从而ar设备在采集到该卡通图形时，可以对卡通图形进行识别解析。对于汉明码绘制和解析的过程，本领域技术人员参照相关技术即可理解并充分实施，本公开对此不作限制。
64.例如另一个示例中，目标标识对象为绘制于物体表面的预设图形，ar设备在采集到包括该预设图形的场景图像时，可以通过图像检测技术对场景图像进行特征点提取和识别，从而可以从场景图像中识别到该预设图像。对于图像检测和预设图像的识别过程，本领域技术人员参照相关技术即可理解并充分实施，本公开对此不作限制。
65.可以理解，目标标识对象具有对应的虚拟对象，例如一个示例中，可以预先建立包括至少一个虚拟对象的模型数据库，模型数据库中的虚拟对象具有与之对应的目标标识对象，从而在ar设备由当前场景图像中识别到目标标识对象时，可以基于对应关系通过查找模型数据库，确定与该目标标识对象对应的虚拟对象。
66.虚拟对象表示在ar设备的显示屏上渲染呈现的虚拟形象，通过将虚拟对象与显示屏上显示的真实场景图像进行融合展示，可以呈现出虚拟对象与真实场景产生互动的展示效果。
67.本公开实施方式中，ar设备通过图像检测技术对采集到的当前场景图像进行检测识别，在从当前场景图像中识别到目标标识对象的情况下，即可确定与目标标识对象对应的虚拟对象。
68.ar设备在从当前场景图像中识别到目标标识对象(marker)的情况下，可以基于同步定位与建图(simultaneous localization and mapping，slam)技术在ar设备上展示对应的虚拟对象。slam技术能够实现ar设备的空间定位和针对当前场景的地图构建，从而在设备显示的当前场景图像上渲染虚拟对象与现实场景叠加的展示效果，使虚拟对象的展示效果更加逼真。
69.具体来说，在基于slam进行ar效果展示时，需要将ar设备的位姿与虚拟对象的位姿映射到同一坐标系中，从而确定两者的相对位姿，然后基于相对位姿变化映射到屏幕坐标系中，实时渲染ar效果。
70.在一些实施方式中，可以基于目标识别对象预先构建世界坐标系，然后根据虚拟对象在世界坐标系中的实时位姿数据，以及ar设备在世界坐标系中的实时位姿数据，确定
虚拟对象与ar设备之间的相对位姿数据，也即本公开所述的第一相对位姿数据，然后基于屏幕坐标系与世界坐标系的映射关系，根据第一相对位姿数据确定虚拟对象在屏幕坐标系中的展示位姿数据。本公开下文实施方式中具体进行说明，在此暂不详述。
71.s420、基于展示位姿数据，在ar设备展示虚拟对象。
72.具体而言，展示位姿数据表示在ar设备的屏幕坐标系中渲染展示虚拟对象的相关数据，从而s410在得到展示位姿数据之后，即可根据该展示位姿数据将虚拟对象在对应的屏幕位置进行展示呈现，以使得用户可以在屏幕的对应位置观察到该虚拟对象。
73.s430、在虚拟对象的展示过程中，根据虚拟对象与目标标识对象在世界坐标系中的第二相对位姿数据，确定虚拟对象的目标展示数据。
74.具体而言，本公开实施方式中，在基于slam展示虚拟对象的过程中，同时利用图像检测技术，检测当前场景图像中的目标标识对象的位姿数据，从而确定当前场景图像中，目标标识对象与虚拟对象在世界坐标系中的相对位姿，也即本公开所述的第二相对位姿数据。
75.在一些实施方式中，可以针对虚拟对象与目标标识对象之间不同的第二相对位姿数据，预先设置对应的展示数据，不同的展示数据对应不同的展示效果。从而在虚拟对象的展示过程中，实时检测虚拟对象与目标标识对象之间的相对位姿变化，也即第二相对位姿数据的变化，实时根据第二相对位姿数据确定对应的目标展示数据，ar设备根据目标展示数据在显示屏上呈现对应的展示效果。
76.例如，第二相对位姿数据可以包括虚拟对象与目标标识对象在世界坐标系中的相对距离，并且，不同的相对距离对应有不同的展示数据。在一个示例中，可以随着相对距离增大，不同展示数据所对应的展示效果为：虚拟对象呈现透明度逐渐升高的展示效果。从而可以实时检测虚拟对象与目标标识对象的相对距离，根据当前的相对距离确定对应的透明度数据，也即目标展示数据。
77.当然，可以理解，第二相对位姿数据并不局限于虚拟对象与目标标识对象的相对距离，还可以是其他任何适于实施的相对位姿，例如相对角度、相对姿态等，本公开对此不作限制。而且，展示数据也不局限于虚拟对象的透明度数据，还可以是其他任何适于实施的展示数据，例如虚化效果、大小、亮度数据等，本公开对此不作限制。
78.s440、根据展示位姿数据和目标展示数据，在ar设备展示虚拟对象。
79.具体而言，目标展示数据指根据第二相对位姿数据确定的针对虚拟对象渲染展示的效果，展示位姿数据表示虚拟对象在屏幕坐标系中的展示位姿。从而在确定目标展示数据之后，即可基于目标展示数据和展示位姿数据渲染展示虚拟对象。
80.在一个示例中，目标展示数据可以是“以50％的透明度展示虚拟对象”，从而ar设备即可重新渲染虚拟对象，使得虚拟对象在ar设备的屏幕上以50％的亮度进行展示。
81.在另一个示例中，目标展示数据可以是“以50％的大小展示虚拟对象”，从而ar设备即可重新渲染虚拟对象，使得虚拟对象在ar设备的屏幕上缩放至50％的尺寸进行展示。
82.当然可以理解，目标展示数据并不局限于上述示例，本公开对此不再枚举。
83.通过上述可知，本公开实施方式中，在ar效果展示过程中，可以根据目标标识对象marker与虚拟对象的相对位姿变化，实时展示不同的展示效果，从而增加ar场景的互动性，提高虚拟形象的展示效果。并且，基于虚拟对象与ar设备的第一相对位姿数据来展示虚拟
对象，使得虚拟对象的展示效果更加逼真，提高展示效果。本公开实施方式中，在ar效果展示时，ar设备需要从采集到的当前场景图像中识别出目标标识对象(marker)。如图6所示，在一些实施方式中，从当前场景图像中识别目标标识对象(marker)的过程包括：
84.s610、对当前场景图像进行特征点提取，得到当前场景图像包括的至少一个特征点对应的特征信息。
85.s620、根据至少一个特征点对应的特征信息与预先存储的目标标识对象的特征点信息进行对比，识别当前场景图像中的目标标识对象。
86.具体而言，ar设备100可以通过摄像头120采集到当前场景图像，可以理解，当前场景图像可以是摄像头采集到的单帧图像，也可以是摄像头采集到的视频流中的多帧图像，本公开对此不作限制。
87.在对当前场景图像进行处理的过程中，可以通过图像检测算法，定位出当前场景图像中包括待测对象的检测区域，然后在检测区域中提取得到各个待测对象的一个或多个特征点。
88.当前场景图像以图5为例，可以通过图像检测算法，首先确定明信片200区域为待测区域，然后对明信片200上包括的“小龙人”和“祥云”等待测对象进行特征点提取，得到每个待测对象的特征信息。
89.在得到各个待测对象的特征信息之后，可以将待测对象的特征信息与预先存储的目标标识对象的特征点信息进行对比，若两者相似度大于预设阈值，则表示待测对象即为目标标识对象；反之，若相似度不大于预设阈值，表示当前场景图像中不包括目标标识对象。
90.仍以图5为例，假设预先存储的目标标识对象的特征点信息对应为“小龙人”卡通形象，从而将当前场景图像中提取到的小龙人的特征信息与预先存储特征点信息进行对比，两者相似度大于预设阈值，从而确定当前场景图像中识别到目标标识对象。
91.示例性地，本公开实施方式所述的特征点的信息可以包括特征点对应的纹理特征值、rgb特征值、灰度值等能够标识该特征点特征的信息，本公开对此不作限制。
92.在从当前场景图像中识别到目标标识对象时，即可进一步获取目标标识对象所对应的虚拟对象，以及该虚拟对象展示所需的展示位姿数据等。下面结合图7实施方式进行说明。
93.如图7所示，在一些实施方式中，本公开示例的展示方法，确定虚拟对象的展示位姿数据的过程包括：
94.s710、根据虚拟对象与ar设备的初始相对位姿，通过实时定位与建图slam确定第一相对位姿数据。
95.s720、根据第一相对位姿数据，以及世界坐标系与ar设备的屏幕坐标系的映射关系，确定虚拟对象在屏幕坐标系中的展示位姿数据。
96.具体而言，在基于slam进行虚拟对象展示时，需要将虚拟对象与ar设备对应到同一坐标系中，从而在两者位姿发生相对运动时，ar设备可以利用imu传感器160实时解算确定两者的实时相对位姿，该坐标系即本公开所述的世界坐标系。
97.在一些实施方式中，可以基于图像检测技术预先对目标标识对象进行特征提取，得到目标标识对象的至少一个预设关键点，基于至少一个预设关键点建立世界坐标系。本
公开下文中对此进行说明，在此暂不详述。
98.在对虚拟对象进行展示时，首先确定每个虚拟对象在世界坐标系中的初始位姿，也即第一初始位姿，第一初始位姿可以包括各个虚拟对象的初始位置和姿态。同时，可以在ar设备拍摄第一帧场景图像时，获取ar设备在世界坐标系中的初始位姿，也即第二初始位姿，第二初始位姿同样可以包括ar设备的位置和姿态。在一些实施方式中，可以将ar设备100在拍摄第一帧场景图像时，imu传感器160的位姿确定ar设备在世界坐标系中的初始位姿。
99.在同一世界坐标系下，确定各个虚拟对象的第一初始位姿和ar设备的第二初始位姿之后，即可根据ar设备与每个虚拟对象的初始位姿得到虚拟对象与ar设备的初始相对位姿。例如，根据每个虚拟对象与ar设备的位置差确定两者的相对位置，根据每个虚拟对象与ar设备的初始姿态差确定两者的相对姿态。
100.在基于slam进行虚拟对象的ar效果展示时，随着ar设备的移动或转动，imu传感器160可以检测到ar设备100的位姿(位置和姿态)发生变化。
101.例如，陀螺仪可以根据ar设备在三轴方向上与初始姿态的角度偏差，确定ar设备位姿变化后的姿态，加速度传感器可以检测到ar设备位姿变化过程中的移动加速度，通过惯性导航解算方法得到移动后的位置，从而确定ar设备移动后的位姿数据。
102.在确定ar设备移动后的位姿数据后，据此对前述的初始相对位姿进行更新，即可得到ar设备位姿变化后的相对位姿数据，也即第一相对位姿数据。
103.值得说明的是，对于利用slam算法确定虚拟对象与ar设备相对位姿数据的过程，本领域技术人员根据相关技术可以理解并充分实施，本公开对此不再赘述。
104.在虚拟对象的ar效果展示时，期望于将虚拟对象在ar设备100的显示屏110上显示，因此需要预先建立虚拟对象所在的世界坐标系与ar设备的屏幕坐标系之间的映射关系。例如一些实施方式中，可以将世界坐标系通过旋转和平移处理对应到ar设备的相机坐标系，然后从相机坐标系映射到ar设备的屏幕坐标系中。
105.对于世界坐标系与屏幕坐标系的对齐处理过程，本领域技术人员参照相关技术毫无疑问可以理解并充分实施，本公开对此不再赘述。
106.ar设备在实时确定自身与每个虚拟对象的第一相对位姿数据之后，即可将第一相对位姿数据根据上述映射关系，映射至ar设备的屏幕坐标系中，确定每个虚拟对象在屏幕坐标系中的展示位姿数据。然后ar设备根据展示位姿数据在ar设备的显示屏上渲染展示，使得用户可以观看到实时的虚拟对象的位姿变化。
107.例如一个示例中，在用户佩戴例如图1所示的ar眼镜，逐渐移动远离初始位置时，基于图7所示的实施方式，即可在显示屏110上观看到虚拟对象逐渐缩小；当用户逐渐靠近初始位置时，即可在显示屏110上观看到虚拟对象逐渐变大。本公开实施方式展示效果符合人眼真实观看时的“远小近大”，因此虚拟对象的展示更加逼真。
108.例如又一个示例中，在用户佩戴例如图1所示的ar眼镜，围绕虚拟对象转圈时，基于图7所示的实施方式，即可在显示屏110上观看到虚拟对象同步转动，例如由虚拟对象的正面逐渐转动至背面，虚拟对象的展示更加逼真。
109.本领域技术人员对于上述实施方式的展示效果应当可以理解，并不局限于上述示例，本公开对此不再枚举。
110.通过上述可知，本公开实施方式中，在ar效果展示过程中，基于slam方式展示虚拟对象，使得虚拟对象的展示效果更加逼真，提高用户体验。
111.如图8所示，在一些实施方式中，本公开示例的展示方法，确定虚拟对象与ar设备的初始相对位姿的过程，包括：
112.s810、对当前场景图像进行图像检测，得到目标标识对象的预设关键点。
113.s820、基于目标标识对象的预设关键点，建立世界坐标系。
114.s830、根据虚拟对象在世界坐标系中的预设初始位姿，和ar设备在世界坐标系中的初始位姿，确定虚拟对象与ar设备的初始相对位姿。
115.具体而言，当前场景图像以图5为例，目标标识对象210为绘制于明信片200表面的卡通形象，当ar设备通过前述图6实施方式，对当前场景图像检测识别到包括的目标标识对象时，可以基于目标标识对象的预设关键点，建立世界坐标系。
116.例如一个示例中，如图5所示，预设关键点可以是目标标识对象的中心点，将目标标识对象的中心点作为坐标系原点o，以平行于明信片200短边且穿过原点o的方向作为x轴，以平行于明信片200长边且穿过原点o的方向作为y轴，以垂直于x轴和y轴且穿过原点o的方向作为z轴，从而建立世界坐标系o-xyz。
117.可以理解，图5中建立世界坐标系的过程仅作为本公开实施方式的一个示例，在其他实施方式中，还可以依据其他预设关键点建立世界坐标系，例如可以明信片200左下角的顶点作为坐标原点o建立坐标系，本公开对此不作限制。
118.在基于slam进行虚拟对象展示时，可以预先设置虚拟对象在世界坐标系中的初始位置，也即预设初始位姿，预设初始位姿可以包括虚拟对象的初始位置和姿态。例如图5示例中，可以预先设置虚拟对象预设初始位姿包括：在世界坐标系的原点o处面朝-y方向站立，也即，预设初始位姿包括虚拟对象的位置(原点o)和姿态(面朝-y方向站立)。
119.同时，在建立世界坐标系之后，可以在ar设备拍摄第一帧场景图像时，获取ar设备在世界坐标系中的初始位姿，初始位姿同样可以包括ar设备的位置和姿态。在一些实施方式中，可以将ar设备100在拍摄第一帧场景图像时，imu传感器160的位姿确定ar设备在世界坐标系中的初始位姿。
120.在同一世界坐标系下，确定虚拟对象的预设初始位姿和ar设备的初始位姿之后，即可根据两者得到虚拟对象与ar设备的初始相对位姿。例如，根据虚拟对象与ar设备的位置差确定两者的相对位置数据，根据虚拟对象与ar设备的初始姿态差确定两者的相对姿态数据，相对位置数据和相对姿态数据即组成虚拟对象与ar设备的初始相对位姿。
121.本公开实施方式中，在虚拟对象的展示过程中，不仅实时检测ar设备与虚拟对象的相对位姿变化，同时检测目标标识对象(marker)与虚拟对象的相对位姿变化，从而产生不同的展示效果，下面结合图9进行说明。
122.如图9所示，在一些实施方式中，本公开示例的展示方法，确定虚拟对象的目标展示数据的过程包括：
123.s910、在虚拟对象的展示过程中，获取虚拟对象在世界坐标系中的第一位姿数据，以及目标标识对象在世界坐标系中的第二位姿数据。
124.s220、根据第一位姿数据和第二位姿数据，确定第二相对位姿数据。
125.s930、根据第二相对位姿数据和预先设置的展示效果关系，确定与第二相对位姿
数据对应的目标展示数据。
126.在一个示例中，当前场景图像可如图5所示，ar设备在识别到当前场景图像(图5)中的目标标识对象210时，可以通过前述实施方式实现虚拟对象的展示，ar设备显示屏的展示效果如图10所示。
127.在虚拟对象的展示过程中，可以基于图像检测技术，同时检测目标标识对象的位姿，可以理解，在虚拟对象的展示过程中，目标标识对象的位姿可能会发生变化，例如用户移动明信片200，使得ar设备检测到的当前场景图像中目标标识对象的位姿发生变化。
128.本公开实施方式中，可以获取虚拟对象在世界坐标系中的第一位姿数据，例如将前述的虚拟对象在世界坐标系中的预设初始位姿作为第一位姿数据。同时，ar设备可以检测获取目标标识对象在世界坐标系中的第二位姿数据，例如可以基于图像检测技术确定明信片200的检测框，根据明信片200位姿变化前后的检测框差异确定当前场景图像中目标标识对象的第二位姿数据。
129.在得到第一位姿数据和第二位姿数据之后，即可据此确定虚拟对象与目标标识对象之间的相对位姿，也即本公开所述的第二相对位姿数据。
130.在一些实施方式中，可以预先基于第二相对位姿数据建立第二相对位姿数据与展示数据之间的对应关系，也即展示效果关系。
131.例如一个示例中，第二相对位姿数据包括虚拟对象与目标标识对象在世界坐标系中的相对距离，对应的展示数据包括虚拟对象的透明度，从而预先建立的展示效果关系可以如下表一所示：
132.表一
133.相对距离透明度l0～l10％l1～l225％l2～l350％
134.在表一所示的展示效果关系中，在虚拟对象与目标标识对象的相对距离为l0～l1时，虚拟对象的展示数据为“透明度0％”；而在虚拟对象与目标标识对象的相对距离为l1～l2时，虚拟对象的展示数据为“透明度25％”；而在虚拟对象与目标标识对象的相对距离为l2～l3时，虚拟对象的展示数据为“透明度50％”。也即，虚拟对象与目标标识对象的相对距离越远，虚拟对象的展示数据所呈现的展示效果越透明。
135.例如又一个示例中，第二相对位姿数据包括虚拟对象与目标标识对象在世界坐标系中的相对姿态(例如相对角度)，对应的展示数据包括虚拟对象的亮度，从而预先建立的展示效果关系可以如下表二所示：
136.表二
137.相对角度亮度α0～α1100％α1～α275％α2～α350％
138.在表二所示的展示效果关系中，在虚拟对象与目标标识对象的相对角度为α0～α1时，虚拟对象的展示数据为“亮度100％”；而在虚拟对象与目标标识对象的相对角度为α1～
α2时，虚拟对象的展示数据为“亮度75％”；而在虚拟对象与目标标识对象的相对角度为α2～α3时，虚拟对象的展示数据为“亮度50％”。也即，虚拟对象与目标标识对象的相对角度越大，虚拟对象的展示数据所呈现的亮度越低。
139.例如再一个示例中，第二相对位姿数据同时包括虚拟对象与目标标识对象在世界坐标系中的相对距离和相对姿态，对应的展示数据同时包括虚拟对象的透明度和亮度，从而预先建立的展示效果关系可如下表三所示：
140.表三
[0141][0142]
也即，在表三所示的展示效果关系中，虚拟对象的透明度和亮度展示数据，同时随第二相对位姿数据发生变化。
[0143]
可以理解，上述仅示出了本公开实施方式中的一些示例，在其他实施方式中，预先建立的展示效果关系还可以包括其他的方式，例如展示数据还可以包括颜色、亮度、透明度、曝光度以及展示角度中的一种或者多种数据，本公开对此不作限制。
[0144]
在预先建立上述展示效果关系之后，在上述图9实施方式中，即可根据虚拟对象与目标标识对象的第二相对位姿数据，通过查找上述展示效果关系，找到当前第二相对位姿数据所对应的目标展示数据。
[0145]
例如一个示例中，展示效果关系如上表三所示，检测到的第二相对位姿数据包括：相对距离位于l1～l2，相对角度位于α2～α3。从而，根据表三可以确定目标展示数据为：透明度25％且亮度50％.
[0146]
在确定目标展示数据之后，即可基于目标展示数据和前述确定的展示位姿数据实时渲染虚拟对象，以使用户可以在ar设备的显示屏上观看到虚拟对象呈现出目标展示数据所对应的展示效果。
[0147]
通过上述可知，本公开实施方式中，在ar效果展示过程中，可以根据目标标识对象marker与虚拟对象的相对位姿变化，实时展示不同的展示效果，从而增加ar场景的互动性，提高虚拟形象的展示效果。并且，在ar效果展示过程中，基于slam方式展示虚拟对象，使得虚拟对象的展示效果更加逼真，提高用户体验。
[0148]
本公开实施方式提供了一种增强现实ar场景的展示装置，该装置可应用于ar设
备。在一些实施方式中，ar设备可以是例如图1所示的ar眼镜。在另一些实施方式中，ar设备可以是例如图2所示的智能手机。本公开对此不作限制。
[0149]
如图11所示，在一些实施方式中，本公开示例的增强现实ar场景的展示装置，包括：
[0150]
第一位姿确定模块10，被配置为响应于从当前场景图像中识别到目标标识对象，基于ar设备与目标标识对象对应的虚拟对象在世界坐标系中的第一相对位姿数据，确定虚拟对象的展示位姿数据；
[0151]
第一展示模块20，被配置为基于展示位姿数据，在ar设备展示虚拟对象；
[0152]
展示数据确定模块30，被配置为在虚拟对象的展示过程中，根据虚拟对象与目标标识对象在世界坐标系中的第二相对位姿数据，确定虚拟对象的目标展示数据；
[0153]
第二展示模块40，被配置为根据展示位姿数据和目标展示数据，在ar设备展示虚拟对象。
[0154]
通过上述可知，本公开实施方式中，在ar效果展示过程中，可以根据目标标识对象marker与虚拟对象的相对位姿变化，实时展示不同的展示效果，从而增加ar场景的互动性，提高虚拟形象的展示效果。并且，基于虚拟对象与ar设备的第一相对位姿数据来展示虚拟对象，使得虚拟对象的展示效果更加逼真，提高展示效果。在一些实施方式中，展示数据确定模块30，被配置为：
[0155]
在虚拟对象的展示过程中，获取虚拟对象在世界坐标系中的第一位姿数据，以及目标标识对象在世界坐标系中的第二位姿数据；
[0156]
根据第一位姿数据和第二位姿数据，确定第二相对位姿数据；
[0157]
根据第二相对位姿数据和预先设置的展示效果关系，确定与第二相对位姿数据对应的目标展示数据；展示效果关系表示第二相对位姿数据与展示数据之间的对应关系。
[0158]
在一些实施方式中，第二相对位姿数据包括虚拟对象与目标标识对象之间的相对位置和/或相对姿态，展示效果关系表示相对位置和/或相对姿态与展示数据之间的对应关系。
[0159]
在一些实施方式中，展示数据包括虚拟对象的颜色、亮度、透明度、展示角度中的一种或多种数据。
[0160]
在一些实施方式中，第一位姿确定模块10，被配置为：
[0161]
根据虚拟对象与ar设备的初始相对位姿，通过实时定位与建图slam确定第一相对位姿数据；世界坐标系为根据预先提取的目标标识对象的特征确定的，初始相对位姿预先根据虚拟对象在世界坐标系的预设初始位姿和ar设备在世界坐标系的初始位姿确定；
[0162]
根据第一相对位姿数据，以及世界坐标系与ar设备的屏幕坐标系的映射关系，确定虚拟对象在屏幕坐标系中的展示位姿数据。
[0163]
在一些实施方式中，第一位姿确定模块10，被配置为：
[0164]
对当前场景图像进行特征点提取，得到当前场景图像包括的至少一个特征点对应的特征信息；
[0165]
根据至少一个特征点对应的特征信息与预先存储的目标标识对象的特征点信息进行对比，识别当前场景图像中的目标标识对象。
[0166]
通过上述可知，本公开实施方式中，在ar效果展示过程中，可以根据目标标识对象
marker与虚拟对象的相对位姿变化，实时展示不同的展示效果，从而增加ar场景的互动性，提高虚拟形象的展示效果。并且，在ar效果展示过程中，基于slam方式展示虚拟对象，使得虚拟对象的展示效果更加逼真，提高用户体验。
[0167]
本公开实施方式提供了一种ar设备，包括：
[0168]
处理器；和
[0169]
存储器，与处理器可通信连接，存储器存储有能够被处理器读取的计算机指令，计算机指令用于使处理器执行根据第一方面任一实施方式的方法。
[0170]
本公开实施方式提供了一种存储介质，存储有计算机指令，计算机指令用于使计算机执行根据第一方面任一实施方式的方法。
[0171]
具体而言，对于本公开示例的ar设备和存储介质相关实现方式，本领域技术人员参照前述实施方式可以理解并充分实施，本公开对此不再赘述。
[0172]
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
[0173]
显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。