AR特效的显示方法、装置、计算机设备及存储介质与流程

本公开涉及增强现实(augmentedreality，ar)技术领域，具体而言，涉及一种ar特效的显示方法、装置、计算机设备及存储介质。

背景技术：

增强现实(augmentedreality，ar)技术是一种将虚拟信息与真实世界巧妙融合的技术，具体的，ar技术可以实时地计算ar设备的位姿信息，并基于ar设备的位姿信息确定ar特效，然后将对应的ar特效叠加在ar设备拍摄画面的前端，从而进行展示。

当前，如何提升ar特效在ar设备中展示效果，是业界的重要课题。

技术实现要素：

本公开实施例至少提供一种ar特效的显示方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种ar特效的显示方法，所述显示方法包括：获取ar设备采集目标场景得到的视频帧图像；基于所述视频帧图像，确定目标ar特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效。

本公开实施例通过获取ar设备采集目标场景得到的视频帧图像，并基于视频帧图像，确定目标ar特效，以及基于视频帧图像，确定目标场景的环境信息；后通过ar设备基于环境信息，对视频帧图像进行与环境信息对应的处理，并将处理后的视频帧图像和目标ar特效融合显示，从而可以基于视频帧图像的原始效果对图像进行调整，以提升ar特效融合图像的显示效果。

一种可选的实施方式中，所述视频帧图像为视频流中的至少一帧图像；对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效，包括：对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的所述至少部分图像和所述目标ar特效。

这样，可以通过对视频流中的至少部分图像进行与环境信息对应的处理，从而可以提升视频与ar特效融合的显示效果。

一种可选的实施方式中，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。

这样，通过时间信息、亮度信息、场景信息、天气信息中至少一种，确定ar特效是否能够有效的确定与图像融合展示时具有较好的效果。

一种可选的实施方式中，针对所述环境信息包括时间信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；和/或，针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；和/或，针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；和/或，针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述ar设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。

这样，通过上述不同的过程，能够获得视频帧图像的环境信息。

一种可选的实施方式中，所述基于所述视频帧图像，确定目标ar特效，包括：基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息；基于所述第一位姿信息、以及至少一个ar特效在所述目标场景的第二位姿信息，从所述至少一个ar特效中确定所述目标ar特效。

这样，能够从目标场景中的多个ar特效中，确定出要显示在ar设备中的目标ar特效。

一种可选的实施方式中，所述基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息，包括：对所述视频帧图像进行关键点识别，得到所述视频帧图像中的第一关键点；基于所述第一关键点，从所述目标场景的三维模型的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，并基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

这样，可以准确确定出ar设备在场景坐标系下的第一位姿信息。

一种可选的实施方式中，所述基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息，包括：基于所述第一关键点在图像坐标系下的二维坐标值、以及所述目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，还包括：确定所述目标ar特效对应的目标环境信息；所述基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，包括：基于所述环境信息、以及所述目标环境信息，对所述视频帧图像进行处理。

这样，能够针对不同的ar特效所需求的环境信息，对视频帧图像进行调整，在将视频帧图像和ar特效进行融合显示时效果更好。

一种可选的实施方式中，对所述视频帧图像进行与所述环境信息对应的处理，包括：对所述视频帧图像执行下述至少一种处理：明度调整处理、饱和度调整处理、色相调整处理、以及清晰度调整处理。

第二方面，本公开实施例还提供一种ar特效的显示装置，所述显示装置包括：获取模块，用于获取ar设备采集目标场景得到的视频帧图像；第一确定模块，用于基于所述视频帧图像，确定目标ar特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；处理模块，用于基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效。

一种可选的实施方式中，所述视频帧图像为视频流中的至少一帧图像；所述处理模块在对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效时，用于：对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的所述至少部分图像和所述目标ar特效。

一种可选的实施方式中，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。

一种可选的实施方式中，针对所述环境信息包括时间信息的情况，所述第一确定模块具体用于：读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；和/或，针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；和/或，针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；和/或，针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述ar设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。

一种可选的实施方式中，所述第一确定模块包括：第一确定单元，用于基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息；第二确定单元，用于基于所述第一位姿信息、以及至少一个ar特效在所述目标场景的第二位姿信息，从所述至少一个ar特效中确定所述目标ar特效。

一种可选的实施方式中，所述第一确定单元具体用于：对所述视频帧图像进行关键点识别，得到所述视频帧图像中的第一关键点；基于所述第一关键点，从所述目标场景的三维模型的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，并基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，所述第一确定单元还用于：基于所述第一关键点在图像坐标系下的二维坐标值、以及所述目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，还包括：第二确定模块，用于确定所述目标ar特效对应的目标环境信息；所述处理模块具体用于：基于所述环境信息、以及所述目标环境信息，对所述视频帧图像进行处理。

一种可选的实施方式中，所述处理模块还用于：对所述视频帧图像执行下述至少一种处理：明度调整处理、饱和度调整处理、色相调整处理、以及清晰度调整处理。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种ar特效的显示方法的流程图；

图2示出了本公开实施例所提供的一种ar特效的显示装置的示意图；

图3示出了本公开实施例所提供的ar特效的显示装置中，第一确定模块的具体示意图；

图4示出了本公开实施例所提供的另一种ar特效的显示装置的示意图；

图5示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，由于ar设备自身存在不足，其拍摄出图像可能存在清晰度较低，或是亮度不足等问题，使得当ar特效在ar设备中展示的时候，造成显示效果差的问题。另外，某些ar特效在显示的时候，需要特定的环境，而通过ar设备获取的图像在很多情况下是无法满足ar特效的显示环境的，同样造成了ar特效显示效果差的问题。

基于上述研究，本公开实施例提供了一种ar特效的显示方法，通过对图像的进行处理，使得图像在处理后的环境能够更适用于ar特效的展示，提升ar特效的显示效果。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种ar特效的显示方法进行详细介绍，本公开实施例所提供的ar特效的显示方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：ar设备或服务器或其它处理设备，ar设备可以为用户设备(userequipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personaldigitalassistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该ar特效的显示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的ar特效的显示方法加以说明。

参见图1所示，为本公开实施例提供的ar特效的显示方法的流程图，所述方法包括步骤s101～s103，其中：

s101：获取ar设备采集目标场景得到的视频帧图像；

s102：基于所述视频帧图像，确定目标ar特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；

s103：基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效。

本公开实施例通过获取ar设备采集目标场景得到的视频帧图像，并基于视频帧图像，确定目标ar特效，以及基于视频帧图像，确定目标场景的环境信息，并基于环境信息，对视频帧图像进行与所述环境信息对应的处理，并通过ar设备展示处理后的视频帧图像和目标ar特效，通过对视频帧图像进行处理，使得视频帧图像在处理后更适用于ar特效的展示，提升ar特效的显示效果。

下面分别对上述s101～s103加以详细说明。

一、在上述s101中，所述视频帧图像例如为从ar设备采集的视频流中，截取的至少一帧图像。

其中，所述视频流可以为一个或多个，例如，针对不同的拍摄角度，可以生成与不同角度对应的多个视频流；或者，针对不同的视野范围，也可以生成与不同视野对应的多个视频流。

示例性的，所述视频帧图像可以为从多个视频流中截取的多个视频帧图像，也可以是针对不同时间、或是目标需求而截取的视频帧图像。例如：针对目标视频流，可以每隔1秒、1分钟截取一帧图像作为视频帧图像。又或者，在检测到拍摄视频发生变化时，例如：检测到拍摄环境发生变化，如亮度、模糊度发生较大变化；或是检测到拍摄对象发生改变，例如：检测到视频流中的拍摄对象对应的性别、身高、衣着等发生明显变化时，截取一帧图像作为视频帧图像。

在本公开实施例中，ar设备在获取视频流时，可以利用在ar设备上设置的摄像头来进行采集，也可以利用另外设置的设摄像头来进行采集。在利用另外设置的摄像头采集视频流的时候，摄像头与ar设备通信连接，可将其采集的视频流发送至ar设备。

针对本公开实施例提供的ar特效的显示方法在ar设备中执行的情况，ar设备获取视频流后，对视频流进行采样，得到视频帧图像；针对本公开实施例提供的ar特效的显示方法在服务器执行的情况，ar设备在获取视频流，并对视频流进行采样得到视频帧图像后，将采样得到的视频帧图像发送至服务器。服务器接收ar设备发送的视频帧图像，并执行后续的处理。

二、在上述s102中，基于视频帧图像确定的目标场景的环境信息，例如包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。示例性的：

(1)针对所述环境信息包括时间信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：读取系统时间，基于所述系统时间，确定所述目标场景的时间信息。

具体的，若在整个显示过程中，涉及到时间信息时，可以读取系统时间，并降读取的系统时间作为目标场景的时间信息。示例性的，在读取系统时间之后，在确定了目标场景的时间信息后，针对目标ar特效在显示时所需要的环境与目标场景的时间信息不匹配的时候，例如目标ar特效为烟花的时候，需要显示的环境一般为夜晚，或者光线较为昏暗的情况下；若目标场景的时间信息指示目标场景正处于中午，此时在正常光照条件下获得的视频帧图像的亮度通常是较高的，不适于显示烟花，那么就要相应降低视频帧图像的亮度，以使得烟花能够更明显的显示在ar设备的图形用户界面中。

此处，例如可以基于获取的时间信息，确定对应的亮度信息。例如，若当前时间为上午10:00，则可以确定当前对应的亮度为较高的数值，当前时间为晚上10:00，则可以确定当前对应的亮度为较低的数值。

(2)针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息。

具体的，可以获取所述视频帧图像上每个像素点的亮度；将所述每个像素点的亮度的平均值确定为所述目标场景的亮度信息；或者，将所述视频帧图像划分为多个图像区域，并获取每个图像区域的亮度信息；将所述每个图像区域的亮度信息的加权平均值确定为所述目标场景的亮度信息。上述两种获取所述视频帧图像的亮度信息的方法中，前一种方法更为注重图像的整体亮度，相应的，后一种方法更为注重图像重点区域的亮度，可依据实际情况进行选取。

(3)针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息。

其中，所述场景检测模型为利用多个不同场景的样本训练得到的。训练样本可以包括各个时间段、各种天气情况下、不同亮度对应的不同场景的训练样本。

示例性的，在场景检测模型训练完成之后，可以将获取的视频帧图像输入所述场景检测模型中进行场景检测处理，便可以得到与该视频帧图像对应的目标场景的场景信息，并显示对应场景的ar特效。

此处，场景信息的具体内容可以根据实际的需要进行设定，在此不再赘述。

(4)针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述ar设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。

在一种可能的实施例中，所述场景检测模型为利用多个不同天气的样本训练得到的。训练样本可以包括各个时间段对应的不同天气的训练样本。

示例性的，在天气检测模型训练完成之后，可以将获取的视频帧图像输入所述天气检测模型中进行天气检测处理，便可以得到与该视频帧图像对应的目标场景的天气信息。

在另一种可能的实施例中，可以基于设备所处的地理位置，例如经纬度或是自然地理区域，以及当前时间点，获取对应的天气信息。

示例性的，所述ar设备中可以设置一小型处理器，该处理器可以发送并获取信号，例如，ar设备发送获取天气信息的指令以及所处的地理信息，之后，便可以接收云端服务器或是终端服务器返回的天气信息。在确定天气信息之后，若环境信息与当前要显示ar特效无法匹配，例如在要显示的ar特效为雨滴，若检测到的天气信息为晴朗的情况下，将ar特效和视频帧图像融合显示会存在效果不真实的情况，此时可以对视频帧图像进行处理，例如降低视频帧图像的亮度、对视频帧图像进行一定程度的模糊处理等、以使得在将处理后的视频帧图像和ar特效融合显示时，显示效果更真实。

目标ar特效，是指要显示在ar设备中的ar特效；一般地，可以针对目标场景的不同位置分别设置ar特效；当ar设备获取的视频帧图像包括对应设置ar特效的位置后，才会将对应位置的ar特效作为目标ar特效。

在本公开实施例中，例如可以采用下述方式确定目标ar特效：

基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息。基于所述第一位姿信息、以及至少一个ar特效在所述目标场景的第二位姿信息，从所述至少一个ar特效中确定所述目标ar特效。

在具体实施中，第一位姿信息包括部署在ar设备上的图像获取设备的光心在所述场景坐标系中的第一三维坐标值、以及所述图像获取设备的光轴朝向信息；该光轴朝向信息例如可以包括：图像获取设备的光轴在基于目标场景建立的场景坐标系中的偏转角以及俯仰角；或者该光轴朝向信息例如为在场景坐标系中的向量。

在一种可能的实施方式中，基于ar设备获取的视频帧图像，确定ar设备在所述目标场景对应的场景坐标系下的第一位姿信息时，可对所述视频帧图像进行关键点识别，得到所述视频帧图像中的第一关键点；基于所述第一关键点，从基于目标场景建立的三维模型中的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，并基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

在具体实施中，第一关键点例如包括下述至少一种：表征物体轮廓的轮廓信息的关键点、表征物体表面色块信息的关键点、表征物体表面纹理变化的关键点。

在对视频帧图像进行关键点识别，得到视频帧图像中的第一关键点后，会与预先构建的目标场景的三维模型中的第二关键点进行匹配，从第二关键点中，确定能够与第一关键点匹配的目标第二关键点。此时，目标第二关键点所表征的物体，与第一关键点所表征的物体为同一物体。进而，第二目标关键点在三维模型中的三维坐标值，即为第一关键点在三维模型中的三维坐标值。

此处，目标场景的三维模型，例如可以采用下述方法中任一种方法获得：同步定位与建图(simultaneouslocalizationandmapping，slam)建模、运动恢复结构(structure-from-motion，sfm)建模。

示例性的，构建目标场景的三维模型时，以预设坐标点为原点建立三维坐标系；其中，预设坐标点可以为目标场景中的建筑物坐标点或者摄像头采集目标场景时摄像头设备所在坐标点。

摄像头采集视频图像，通过跟踪摄像头视频帧中足够数量的关键点，构建目标场景的三维模型；其中，构建的目标场景的三维模型中的关键点同样包括了上述物体的关键点信息，也即第二关键点。

将第一关键点与所述目标场景的三维模型中足够数量的第二关键点进行匹配，确定目标第二关键点，并读取所述目标第二关键点在所述目标场景的三维模型中的三维坐标值(x1,y1,z1)。然后，基于目标第二关键点的三维坐标值，确定ar设备在场景坐标系下的第一位姿信息。

具体地，在基于目标第二关键点的三维坐标值，确定ar设备在场景坐标系下的第一位姿信息时，例如利用相机成像原理，根据目标第二关键点在三维模型中的三维坐标值，恢复ar设备在三维模型中的第一位姿信息。

此处，在利用相机成像原理恢复ar设备在三维模型中的第一位姿信息时，例如可以确定所述第一关键点在所述视频帧图像中对应的目标像素点；基于所述目标像素点在图像坐标系下的二维坐标值、以及所述目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

具体地，可以利用ar设备构建一相机坐标系；其中，相机坐标系的原点为ar设备中图像获取设备的光心所在的点；z轴为图像获取设备的光轴所在的直线；垂直于光轴，且光心所在的平面为x轴和y轴所在的平面；能够利用深度检测算法确定视频帧图像中各个像素点分别对应的深度值；在视频帧图像中确定了目标像素点后，即能够得到目标像素点在相机坐标系下的深度值h；即能够得到目标像素点对应的第一关键点在相机坐标系下的三维坐标值；然后，利用第一关键点在相机坐标系下的三维坐标值、以及第一关键点在场景坐标系下的三维坐标值，恢复相机坐标系的原点在场景坐标系下的坐标值，也即ar设备在场景坐标系下的第一位姿信息中的位置信息，并利用相机坐标系的z轴，确定该z轴在场景坐标系中相对于场景坐标系的各个坐标轴的角度，得到ar设备在场景坐标系下的第一位姿信息中的姿态信息。

例如，目标像素点在相机坐标系下的三维坐标值表示为(x2,y2,h)。

基于所述获取的目标第二关键点在所述场景坐标系下的三维坐标值(x1,y1,z1)和所述确定的目标像素点在相机坐标系下的三维坐标值(x2,y2,h)，依据映射关系(x1,y1,z1)→(x2,y2,h)确定所述ar设备在所述场景坐标系下的第一位姿信息。

在另外一种可能的实施方式中，基于ar设备获取的视频帧图像，确定ar设备在所述目标场景对应的场景坐标系下的第一位姿信息时，可以先对视频帧图像进行场景关键点识别，确定至少一个场景关键点在视频帧图像中对应的目标像素点，以及，对视频帧图像进行深度值预测，确定视频帧图像中各个像素点分别对应的深度值，然后基于目标像素点对应的深度值，确定ar设备的第一位姿信息。

在确定了ar设备在场景坐标系下的第一位姿信息后，例如可以采用下述方式基于场景坐标系下的第一位姿信息、以及ar特效在目标场景的第二位姿信息，确定目标ar特效。

示例性的，目标场景内会包括多个对象；针对目标场景内的至少部分对象，可以预先设置与目标场景内对象对应的ar特效；对象例如包括下述至少一种：景点、博物馆展品、功能性建筑等。

在具体实施中，目标对象是指依据所述ar设备所获取的视频帧图像中，所包含的至少部分对象。目标对象例如可以采用下述方式获得：对视频帧图像进行关键点识别，得到第一关键点，基于所述第一关键点，从所述目标场景的三维模型的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，将所述第二关键点归属的对象，确定为目标对象。

然后，基于目标对象，以及目标对象与ar特效之间的关联关系，确定与目标对象关联的ar特效。

一种可能的实现方式中，可以目标对象关联的所有ar特效都作为目标ar特效。

在另一种可能的实现方式中，可以基于一定的筛选标准，从目标对象关联的所有ar特效种，确定目标ar特效。

例如，在为对象设置ar特效的时候，可以为ar特效确定一在目标场景内的第二位姿信息。

其中，ar特效在目标场景内的第二位姿信息，例如为该ar特效在所述场景坐标系下的第二位姿信息，该第二位姿信息例如包括：ar特效在场景坐标系下，ar特效的三维坐标值、以及在场景坐标系下的姿态。

然在确定了目标对象后，基于所述第一位姿信息、以及所述目标对象对应的ar特效在所述场景坐标系下的第二位姿信息，确定目标ar特效。

在本公开另一实施例中，在确定目标ar特效后，还可以确定目标ar特效相对于ar设备的第三位姿信息。

该第三位姿信息，用于确定ar设备展示目标ar特效的展示位置和展示姿态。这样，ar设备能够基于该第三位姿信息，展示目标ar特效，能够使得ar特效具有更丰富的展示形式。

针对上述s104，在通过ar设备，关联展示视频帧图像的目标对象和对应的目标ar特效时，针对本公开实施例提供的ar特效的显示方法在服务器端执行的情况下，将所述目标ar特效发送至所述ar设备，以使所述ar设备关联展示所述目标对象和对应的目标ar特效。针对本公开实施例提供的ar特效的显示方法在ar设备执行的情况下，ar设备在确定了目标ar特效后，直接关联展示该目标ar特效以及目标对象。

以在ar设备中执行ar特效的显示为例，ar设备能够从获取的视频帧图像中识别出目标对象，在视频帧图像中的位置；基于该位置，将对应的目标ar特效和目标对象关联展示。

在本公开的另一实施例中，还包括确定所述目标ar特效对应的目标环境信息。

示例性的，在为目标场景添加ar特效时，例如可以为ar特效预先配置目标环境信息；例如若ar特效为烟花，为其设置的目标环境信息例如为：亮度低于预设的亮度阈值；又例如ar特效为雪花，为其设置的目标环境信息例如为：亮度低于预设的亮度阈值，模糊度大于预设的模糊度阈值。

为ar特效添加的目标环境信息，例如可以以标签的形式添加至各个ar特效，并将标签和ar特效关联保存。当任一ar特效被确定为目标ar特效后，可以读取与目标ar特效关联保存的标签，以得到目标ar特效的目标环境信息。

在得到目标环境信息后，将从视频帧图像中确定的环境信息、和目标环境信息进行匹配；在两者不一致的情况下，通过对视频帧图像进行调整，使得调整后的视频帧图像的环境信息能够与目标环境信息保持一致或者接近，从而能够使得调整后的视频帧图像能够更适用于目标ar特效的显示，提升显示效果。

三，在上述s103中，对所述视频帧图像进行与所述环境信息对应的处理，例如可以仅针对视频帧图像进行处理，得到ar特效与视频帧图像融合效果更好的图像；也可以对视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的所述至少部分图像和所述目标ar特效。

此处，例如可以采用下述方式确定要进行处理的至少部分图像：

将视频流中，时间戳晚于当前视频帧图像，且时间戳早于下一帧视频帧图像的部分图像，作为要进行处理的至少部分图像。

对所述视频流中的至少部分图像进行与所述环境信息对应的处理，包括：对所述视频流中的所述至少部分图像执行下述至少一种处理：明度调整处理、饱和度调整处理、色相调整处理、以及清晰度调整处理。

示例性的，以明度调整处理为例，若确定的目标ar特效为烟花、闪电、雪花等ar特效，需要的环境信息通常是亮度较低的。若视频帧图像的亮度较高，为了使得ar特效能够显示的更为明显可以降低图像的亮度。

以色相调整处理为例，若确定的目标ar特效为火焰、夕阳等偏红色系的特效，而对应的图像偏冷色系的图像，为了使得ar特效能够显示与环境更好的融合，就需要对图像进行色相处理，视频流中的图像色相向着偏向暖色的方向发生变化，从而能够使得ar特效的显示根据有真实性。

针对于饱和度调整处理以及清晰度调整处理，都是为了能够提高最终的显示效果，在此不作赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与ar特效的显示方法对应的ar特效的显示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述ar特效的显示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图2、图3、图4所示，图2为本公开实施例提供的一种ar特效的显示的示意图，图3为本公开实施例提供的ar特效的显示装置中，第一确定模块的具体示意图，图4为本公开实施例提供的另一种ar特效的显示的示意图。所述显示装置包括：获取模块210、第一确定模块220、处理模块230；

其中，获取模块210，用于获取ar设备采集目标场景得到的视频帧图像；

第一确定模块220，用于基于所述视频帧图像，确定目标ar特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；

处理模块230，用于基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效。

本公开实施例提供了通过基于视频帧图像的原始效果对图像进行优化改进，达到提升ar特效融合图像的显示效果，提高图像的拍摄效率的目的。

一种可选的实施方式中，所述视频帧图像为视频流中的至少一帧图像；所述处理模块230在对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效时，用于：对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的所述至少部分图像和所述目标ar特效。

一种可选的实施方式中，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。

一种可选的实施方式中，针对所述环境信息包括时间信息的情况，所述第一确定模块220具体用于：

读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；

和/或，

针对所述环境信息包括亮度信息的情况，所述第一确定模块具体用于：

基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；

和/或，

针对所述环境信息包括场景信息的情况，所述第一确定模块220具体用于：

利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；

和/或，

针对所述环境信息包括天气信息的情况，所述第一确定模块具体用于：

利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述ar设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。

一种可选的实施方式中，如图3所示，所述第一确定模块220包括：

第一确定单元221，用于基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息；

第二确定单元222，用于基于所述第一位姿信息、以及至少一个ar特效在所述目标场景的第二位姿信息，从所述至少一个ar特效中确定所述目标ar特效。

一种可选的实施方式中，所述第一确定单元221具体用于：

对所述视频帧图像进行关键点识别，得到所述视频帧图像中的第一关键点；

基于所述第一关键点，从所述目标场景的三维模型的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，并基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，所述第一确定单元221还用于：

基于所述第一关键点在图像坐标系下的二维坐标值、以及所述目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，如图4所示，显示装置还包括：

第二确定模块240，用于确定所述目标ar特效对应的目标环境信息；

所述处理模块230具体用于：

基于所述环境信息、以及所述目标环境信息，对所述视频帧图像进行处理。

一种可选的实施方式中，所述处理模块230还用于：

对所述视频帧图像执行下述至少一种处理：

明度调整处理、饱和度调整处理、色相调整处理、以及清晰度调整处理。

关于显示装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图5所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当计算机设备运行时，所述机器可读指令被所述处理器执行以实现下述步骤：

获取ar设备采集目标场景得到的视频帧图像；

基于所述视频帧图像，确定目标ar特效，以及基于所述视频帧图像，确定所述目标场景的环境信息；

基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效。

一种可选的实施方式中，处理器11执行的指令中，所述视频帧图像为视频流中的至少一帧图像；对所述视频帧图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的视频帧图像和所述目标ar特效，包括：对所述视频流中的至少部分图像进行与所述环境信息对应的处理，并通过所述ar设备展示处理后的所述至少部分图像和所述目标ar特效。

一种可选的实施方式中，处理器11执行的指令中，所述环境信息包括下述至少一种：时间信息、亮度信息、场景信息、以及天气信息。

一种可选的实施方式中，处理器11执行的指令中，针对所述环境信息包括时间信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：

读取系统时间，基于所述系统时间，确定所述目标场景的时间信息；

和/或，

针对所述环境信息包括亮度信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：

基于所述视频帧图像中各个像素点的像素值，确定所述目标场景的亮度信息；

和/或，

针对所述环境信息包括场景信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：

利用预先训练的场景检测模型，对所述视频帧图像进行场景检测处理，得到所述目标场景的场景信息；

和/或，

针对所述环境信息包括天气信息的情况，所述基于所述视频帧图像，确定所述目标场景的环境信息，包括：

利用预先训练的天气检测模型，对所述视频帧图像进行天气检测处理，得到所述目标场景的天气信息；或者，获取所述ar设备的地理位置信息；基于所述地理位置信息，获取所述目标场景的天气信息。

一种可选的实施方式中，处理器11执行的指令中，所述基于所述视频帧图像，确定目标ar特效，包括：

基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息；

基于所述第一位姿信息、以及至少一个ar特效在所述目标场景的第二位姿信息，从所述至少一个ar特效中确定所述目标ar特效。

一种可选的实施方式中，处理器11执行的指令中，所述基于所述视频帧图像，确定所述ar设备在所述目标场景的第一位姿信息，包括：

对所述视频帧图像进行关键点识别，得到所述视频帧图像中的第一关键点；

基于所述第一关键点，从所述目标场景的三维模型的第二关键点中，确定与所述第一关键点匹配的目标第二关键点，并基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，处理器11执行的指令中，所述基于目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息，包括：

基于所述第一关键点在图像坐标系下的二维坐标值、以及所述目标第二关键点在所述场景坐标系下的三维坐标值，确定所述ar设备在所述场景坐标系下的第一位姿信息。

一种可选的实施方式中，处理器11执行的指令中，还包括：确定所述目标ar特效对应的目标环境信息；所述基于所述环境信息，对所述视频帧图像进行与所述环境信息对应的处理，包括：基于所述环境信息、以及所述目标环境信息，对所述视频帧图像进行处理。

一种可选的实施方式中，对所述视频帧图像进行与所述环境信息对应的处理，包括：对所述视频帧图像执行下述至少一种处理：明度调整处理、饱和度调整处理、色相调整处理、以及清晰度调整处理。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的ar特效的显示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的ar特效的显示方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的ar特效的显示方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，sdk)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。