AR内容的投屏方法、系统、电子设备和存储介质与流程

本申请涉及增强现实领域，特别是涉及一种ar内容的投屏方法、系统、电子设备和存储介质。

背景技术：

1、随着ar(argument reality、增强现实)技术的不断发展，用户普遍希望能够录制和分享自身的ar内容，如何将ar内容录制以及投屏至其他终端，是本领域的迫切需求。

2、在相关技术中，应用较多的是基于vr(virtual reality，虚拟现实)的投屏技术，由于vr内容不涉及现实内容，因此也不存在虚实叠加导致时空错乱的问题，相较于ar投屏技术实现起来更为容易。

3、相关技术中的ar投屏内容，通过在ar终端设备一侧安装微摄像头，通过该微摄像头同时拍摄显示界面中的虚像和实像，并采用有线或无线的方式连接到外部显示设备并发送该拍摄图像，从而实现投屏播放。

4、但是，上述方案需要增加特定的设备(微摄像机)，该方法不仅需要额外的硬件成本，同时，由于微摄像机透过镜片拍摄虚像时虚像成像效果较差，并且微摄像机的安装角度很难保证虚实内容的空间一致性，导致投屏侧用户的体验不佳。

技术实现思路

1、本申请实施例提供了一种ar内容的投屏方法方法、系统、计算机设备和存储介质，以至少解决相关技术中ar内容投屏方法时空锚定效果较差的问题。

2、第一方面，本申请实施例提供了一种ar内容的投屏方法，所述方法包括：

3、第一终端，通过相机模组数据流生成实景图，并通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面，

4、其中，若所述第一终端通过跟踪相机获取位姿数据，在生成增强现实画面的过程中，基于预设流程将所述实景图和所述虚拟内容进行时空同步；

5、所述第一终端，通过webrtc通讯技术与第二终端建立无线串流通道，通过所述无线串流通道直接发送增强现实画面至所述第二终端，并指示所述第二终端同步展示所述增强现实画面。

6、在其中一些实施例中，所述第一终端通过rgb相机同时获取位姿数据以及拍摄实景图的情况下，直接通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面。

7、在其中一些实施例中，基于预设流程将所述实景图和所述虚拟内容进行时空同步，包括：

8、在通过渲染引擎将所述实景图与虚拟内容叠加的过程中，对所述实景图和所述虚拟内容进行时间同步，

9、以及，根据所述跟踪相机采集的位姿数据，将所述实景图和所述虚拟内容进行空间同步。

10、在其中一些实施例中，对所述实景图和所述虚拟内容进行时间同步，包括：

11、通过硬件装置执行同步曝光，对所述实景图和所述虚拟内容进行时间同步，或者，

12、获取所述实景图和所述虚拟内容的时间标记信息，基于所述时间标记信息，通过数据流软同步，实现所述实景图和所述虚拟内容的时间同步。

13、在其中一些实施例中，根据所述跟踪相机采集的位姿数据，将所述实景图和所述虚拟内容进行空间同步包括：

14、获取所述跟踪相机和所述rgb相机之间的外参；

15、根据所述外参，将所述跟踪相机的位姿数据转换到所述rgb相机，所述跟踪相机与所述rgb完成位姿绑定；

16、所述渲染引擎中的虚拟相机，绑定所述跟踪相机采集的位姿数据，所述虚拟相机与所述rgb相机完成位姿绑定；

17、在所述虚拟相机与所述rgb相机完成位姿绑定之后，通过渲染引擎将所述实景图与所述虚拟内容叠加，所述实景图和所述虚拟内容完成空间同步。

18、在其中一些实施例中，基于webrtc协议与第二终端建立无线串流通道，包括：

19、所述第一终端发送sdp请求至信号服务器，所述信号服务器在检查所述sdp请求合格之后，将其发送至所述第二终端；

20、所述第二终端响应所述sdp请求生成sdp回答，并通过所述信号服务器将其转发至所述第一终端；

21、接收所述sdp回答之后，所述第一终端发送ice候选数据至所述信号服务器，所述信号服务器在检查所述ice候选数据合格之后，将其发送至所述第二终端；

22、所述第二终端响应所述ice候选数据，生成第二ice候选数据，并通过所述信号服务器将其转发至所述第一终端；

23、所述第一终端接收所述第二ice候选，在检查合格之后与所述第二终端建立所述无线串流通道。

24、在其中一些实施例中，在所述第一终端与所述第二终端建立无线串流通道之后，所述第一终端通过所述无线串流通道，直接将所述增强现实画面的视频流和/或音频流发送至所述第二终端。

25、第二方面，本申请实施例提供了一种ar内容的投屏系统，所述系统包括：第一终端和第二终端，其中，

26、所述第一终端用于，通过相机模组数据流生成实景图，并通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面，其中，若所述第一终端通过跟踪相机获取位姿数据，在生成增强现实画面的过程中，基于预设流程将所述实景图和所述虚拟内容进行时空同步；

27、所述第二终端用于，基于webrtc协议与所述第一终端建立无线串流通道，并通过所述无线串流通道，接收所述第一终端发送的增强现实画面，并与所述第一终端同步展示所述增强现实画面。

28、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

29、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

30、相比于相关技术，本申请实施例提供的ar内容的投屏方法，在第一终端，通过相机模组数据流生成实景图，并通过渲染引擎将实景图与虚拟内容叠加，生成增强现实画面，其中，若第一终端通过跟踪相机获取位姿数据，在生成增强现实画面的过程中，基于预设流程将实景图和虚拟内容进行时空同步；进一步的，第一终端通过webrtc技术与第二终端建立无线串流通道，通过无线串流通道发送增强现实画面至第二终端，并指示第二终端进行同步展示。通过本申请，解决了相关技术中ar投屏方法时空间不同步的问题，在无需额外硬件装置的情况下，实现了ar内容的投屏播放，并且能够保障ar投屏画面质量。

技术特征：

1.一种ar内容的投屏方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一终端通过rgb相机同时获取位姿数据以及拍摄实景图的情况下，直接通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面。

3.根据权利要求1所述的方法，其特征在于，基于预设流程将所述实景图和所述虚拟内容进行时空同步，包括：

4.根据权利要求3所述的方法，其特征在于，对所述实景图和所述虚拟内容进行时间同步，包括：

5.根据权利要求2所述的方法，其特征在于，根据所述跟踪相机采集的位姿数据，将所述实景图和所述虚拟内容进行空间同步包括：

6.根据权利要求1所述的方法，其特征在于，基于webrtc协议与第二终端建立无线串流通道，包括：

7.根据权利要求6所述的方法，其特征在于，在所述第一终端与所述第二终端建立无线串流通道之后，所述第一终端通过所述无线串流通道，直接将所述增强现实画面的视频流和/或音频流发送至所述第二终端。

8.一种ar内容的投屏系统，其特征在于，所述系统包括：第一终端和第二终端，其中，

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请涉及一种AR内容的投屏方法，其中，该方法包括：第一终端通过相机模组数据流生成实景图，并通过渲染引擎将实景图与虚拟内容叠加，生成增强现实画面，其中，若第一终端通过跟踪相机获取位姿数据，在生成增强现实画面的过程中，基于预设流程将实景图和虚拟内容进行时空同步；第一终端，通过WebRTC通讯技术与第二终端建立无线串流通道，通过无线串流通道直接发送增强现实画面至第二终端，并指示第二终端同步展示增强现实画面通过本申请，解决了相关技术中AR投屏方法时空间不同步的问题，在无需额外硬件装置的情况下，实现了AR内容的投屏播放，并且能够保障AR投屏画面质量。

技术研发人员：步青,张高明,苗壮,丛林
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：
技术公布日：2024/1/12