一种虚拟导播系统及虚拟导播方法与流程

本发明涉及虚拟现实、元宇宙，尤其是涉及一种虚拟导播系统及虚拟导播方法。

背景技术：

1、随着图形技术与网络技术的迅速发展，虚拟演出的种类和频次在迅速增加，新型的虚拟演出会采用云渲染的方式让观众无需下载任何客户端就可以直接以化身的形式进入3d场景与其他观众甚至表演者进行互动在虚拟演出中成为元宇宙(metaverse)演出。

2、类似传统演出，这类活动通常也需要提供导播视角，允许观众能够以“纯享”的方式欣赏整个演出。元宇宙(metaverse)演出活动的纯享模式的视角通常会由导播来控制，和传统线下演出类似，导播通常是一个团队而非个人，对于元宇宙演出这个全新的品类而言如何让导播团队能够在活动过程中高质量的完成导播任务在不远的将来会成为必然的需求，但目前尚属无人涉足的领域。

3、现有的虚拟演出的导播在流程上依然类似传统的视频转播，因为演出的内容大多会被预先录制为视频，再用传统方式播放，而元宇宙演出中带有大量3d和实时交互的成分，想要达到令人满意的导播效果有大量的设计和开发工作，目前在行业内尚属无人涉足的领域，随着元宇宙演出形式的逐渐成熟，导播团队的介入将会成为必然的需求。

技术实现思路

1、本发明提供了一种虚拟导播系统及虚拟导播方法，以解决现有技术中元宇宙演出中导播需要大量设计和开发工作的技术问题。

2、本发明的一个方面在于提供一种虚拟导播系统，所述虚拟导播系统包括：多个导播客户端、导播服务器、导播台、逻辑服务器和多个用户客户端；

3、所述导播客户端与所述导播服务器通信连接，所述导播服务器与导播台通信连接，所述导播客户端与所述逻辑服务器通信连接，所述逻辑服务器与所述用户客户端通信连接；

4、所述导播客户端，至少包括多个虚拟相机，多个相机业务单元和多个webrtc推流模块，一个所述虚拟相机对应一个相机业务单元，一个相机业务单元对应一个webrtc推流模块；

5、多个所述相机业务单元，用于读取多个所述虚拟相机的机位参数，并向多个所述webrtc推流模块注册虚拟相机；

6、多个所述webrtc推流模块，将注册的多个虚拟相机的注册信息发送至所述导播服务器；

7、所述导播台，用于向多个所述webrtc推流模块获取注册的多个虚拟相机的相机列表，并通过所述导播服务器与多个所述webrtc推流模块进行信令交换，使所述导播台与多个所述webrtc推流模块建立p2p连接。

8、在一个优选的实施例中，多个所述虚拟相机的机位预先设定。

9、在一个优选的实施例中，所述导播台，通过所述导播服务器向所述导播客户端请求多个虚拟相机的虚拟相机画面；

10、多个所述相机业务单元，对多个虚拟相机进行虚拟相机画面渲染，并将渲染后的多个虚拟相机的虚拟相机画面，发送至对应的所述webrtc推流模块；

11、多个所述webrtc推流模块，通过所述导播台与多个所述webrtc推流模块建立的p2p连接，将多个虚拟相机的虚拟相机画面发送至所述导播台；

12、所述导播台，通过所述导播服务器向所述导播客户端发送虚拟相机切换指令；

13、多个所述相机业务单元，根据所述导播台发送的虚拟相机切换指令切换虚拟相机画面，并将虚拟相机切换指令转发至所述逻辑服务器；

14、所述逻辑服务器，向用户客户端广播虚拟相机切换指令，所述用户客户端根据虚拟相机切换指令，在本地渲染对应虚拟相机的相机画面。

15、在一个优选的实施例中，所述相机业务单元包括采集模块和处理模块；

16、所述采集模块，用于采集虚拟相机的虚拟画面；所述处理模块，用于对虚拟相机的虚拟画面进行处理。

17、在一个优选的实施例中，所述采集模块包括音频采集模块和视频采集模块；虚拟相机的虚拟画面包括集虚拟相机的音频和虚拟相机的视频；

18、所述音频采集模块，用于采集虚拟相机的音频，所述视频采集模块，用于采集虚拟相机的视频；

19、所述处理模块，包括音频渲染模块、音频编码模块、视频渲染模块和视频编码模块；

20、所述音频渲染模块，用于对音频进行渲染，所述音频编码模块，用于对渲染后的音频进行编码；

21、所述视频渲染模块，用于对视频进行渲染，所述视频编码模块，用于对渲染后的视频进行编码。

22、在一个优选的实施例中，所述导播台包括主导播台和多个副导播台；

23、所述主导播台和多个副导播台，通过所述导播服务器向所述导播客户端的多个所述相机业务单元发送虚拟相机切换指令的权限不同。

24、本发明的另一个方面在于提供一种虚拟导播方法，所述虚拟导播方法包括如下方法步骤：

25、s1、导播台与多个导播客户端建立p2p连接；

26、其中，所述导播客户端，至少包括多个虚拟相机，多个相机业务单元和多个webrtc推流模块，一个所述虚拟相机对应一个相机业务单元，一个相机业务单元对应一个webrtc推流模块；

27、多个所述相机业务单元，读取多个所述虚拟相机的机位参数，并向多个所述webrtc推流模块注册虚拟相机；

28、多个所述webrtc推流模块，将注册的多个虚拟相机的注册信息发送至所述导播服务器；

29、所述导播台，向多个所述webrtc推流模块获取注册的多个虚拟相机的相机列表，并通过所述导播服务器与多个所述webrtc推流模块进行信令交换，使所述导播台与多个所述webrtc推流模块建立p2p连接；

30、s2、所述导播客户端向所述导播台推送多个虚拟相机的虚拟相机画面；

31、s3、所述导播台向用户客户端发送虚拟相机切换指令；

32、s4、所述用户客户端根据虚拟相机切换指令，在本地渲染对应虚拟相机的相机画面。

33、在一个优选的实施例中，在步骤s2中，所述导播台，通过所述导播服务器向所述导播客户端请求多个虚拟相机的虚拟相机画面；

34、多个所述相机业务单元，对多个虚拟相机进行虚拟相机画面渲染，并将渲染后的多个虚拟相机的虚拟相机画面，发送至对应的所述webrtc推流模块；

35、多个所述webrtc推流模块，通过所述导播台与多个所述webrtc推流模块建立的p2p连接，将多个虚拟相机的虚拟相机画面发送至所述导播台。

36、在一个优选的实施例中，在步骤s3中，所述导播台，通过所述导播服务器向所述导播客户端发送虚拟相机切换指令；

37、多个所述相机业务单元，根据所述导播台发送的虚拟相机切换指令切换虚拟相机画面，并将虚拟相机切换指令转发至所述逻辑服务器；

38、所述逻辑服务器，向用户客户端广播虚拟相机切换指令。

39、在一个优选的实施例中，多个所述虚拟相机的机位预先设定。

40、与现有技术相比，本发明具有以下有益效果：

41、本发明提供的一种虚拟导播系统及虚拟导播方法，针对元宇宙演出的特点提出了一套完整的解决方案，通过多个导播客户端并行工作，分别负责虚拟相机进行虚拟相机画面渲染和虚拟相机的虚拟相机画面推送，在减少设计和开发工作的基础上，最大程度的扩展导播的虚拟相机画数量。

42、本发明提供的一种虚拟导播系统及虚拟导播方法，在确保实时性满足需求的前提下，充分利用了硬件资源，可以在一台导播客户端同时处理多个虚拟相机画面，在减少设计和开发工作的基础上，最大程度的扩展导播的虚拟相机画面数量。

43、本发明提供的一种虚拟导播系统及虚拟导播方法，通过导播客户端同时渲染多个虚拟相机的虚拟相机画面，并将虚拟相机画面通过p2p的方式推送给导播台。导播台预览所有虚拟相机画面，并选择实时切换合适的虚拟相机画面作为当前直播的虚拟相机画面，通过逻辑服务器广播给所有观看直播的用户客户端，用户客户端根据当前直播的虚拟相机画面在本地渲染出最终呈现的相机画面。

44、本发明提供的一种虚拟导播系统及虚拟导播方法，实现了在虚拟演出中实时切换导播画面并且同步到用户客户端的功能，导播台与导播客户端建立p2p连接，导播客户端通过webrtc协议将多个虚拟相机的虚拟相机画面发送至导播台，导播人员不需要下载导播台客户端，导播台通过浏览器连接到导播服务器，只需要浏览器就可以操作，并且支持导播团队分工协同工作。