视频画面推送方法、装置、计算机设备及存储介质与流程

文档序号:17926286发布日期:2019-06-15 00:26阅读:439来源:国知局
视频画面推送方法、装置、计算机设备及存储介质与流程

本申请涉及互联网应用技术领域,特别涉及一种视频画面推送方法、装置、计算机设备及存储介质。



背景技术:

随着互联网应用技术的不断发展,现场视频直播的应用也越来越广泛,比如,越来越多的基于复杂和/或大型场地的比赛被通过视频直播呈现给观众。

基于复杂和/或大型场地的直播中,直播人员预先在场地中设置固定或者可移动的摄像机机位,在直播过程中,当导播人员需要将直播视角切换到某个目标视角时,可以人工选择合适的摄像机画面,若选择的摄像机画面的视角不理想,还可以对摄像机进行移动,以获得理想的直播视角。

然而,相关技术中切换直播视角时选择切换的摄像机画面,以及移动摄像机位置的过程通常需要消耗较多的时间,从而影响直播过程中的视角切换的效率。



技术实现要素:

本申请实施例提供了一种视频画面推送方法、装置、计算机设备及存储介质,可以提高直播过程中进行直播画面的视角切换的效率,该技术方案如下:

一方面,提供了一种视频画面推送方法,所述方法包括:

向终端推送第一视频的视频画面,所述第一视频是根据实体摄像机对实景场地进行拍摄获得的画面生成的视频;

接收到切换至目标视角的操作时,获取第一相机信息,所述第一相机信息是虚拟摄像机处于所述目标视角时的相机信息,所述相机信息包括拍摄位置以及拍摄方向;

获取第二相机信息,所述第二相机信息是所述实体摄像机采集所述第一视频对应的画面时的相机信息;

根据所述第一相机信息以及所述第二相机信息生成第一切换动画;

向所述终端推送所述第一切换动画;

在推送所述第一切换动画之后,向所述终端推送第二视频的视频画面,所述第二视频是所述虚拟摄像机从所述第一相机信息开始对所述实景场地的三维场地模型进行拍摄获得的视频。

另一方面,提供了一种视频画面推送装置,所述装置包括:

第一推送模块,用于向终端推送第一视频的视频画面,所述第一视频是根据实体摄像机对实景场地进行拍摄获得的画面生成的视频;

第一获取模块,用于接收到切换至目标视角的操作时,获取第一相机信息,所述第一相机信息是虚拟摄像机处于所述目标视角时的相机信息,所述相机信息包括拍摄位置以及拍摄方向;

第二获取模块,用于获取第二相机信息,所述第二相机信息是所述实体摄像机采集所述第一视频时的相机信息;

第一动画生成模块,用于根据所述第一相机信息以及所述第二相机信息生成第一切换动画;

第二推送模块,用于向所述终端推送所述第一切换动画;

第三推送模块,用于在推送所述第一切换动画之后,向所述终端推送第二视频的视频画面,所述第二视频是所述虚拟摄像机从所述第一相机信息开始对所述实景场地的三维场地模型进行拍摄获得的视频。

可选的,所述第一动画生成模块,具体用于获取n个中间相机信息,所述n个中间相机信息是从所述第二相机信息变化到所述第一相机信息的过程中的n个时刻分别对应的相机信息;获取所述虚拟摄像机分别根据所述n个中间相机信息拍摄所述三维场地模型获得的n幅画面;根据所述n幅画面生成所述第一切换动画,n为正整数。

可选的,在根据所述n幅画面生成所述第一切换动画时,所述第一动画生成模块,具体用于,按照所述n个时刻从先到后的顺序,对所述n幅画面进行排序;根据对所述n幅画面的排序结果,将所述n幅画面组合成所述第一切换动画。

可选的,在根据对所述n幅画面的排序结果,将所述n幅画面组合生成所述第一切换动画时,所述第一动画生成模块,具体用于根据对所述n幅画面的排序结果,将所述n幅画面依次添加到目标视频画面之后,组合生成所述第一切换动画;所述目标视频画面是接收到切换至目标视角的操作时向所述终端推送的视频画面。

可选的,所述装置还包括:

位置获取模块,用于在所述第一动画生成模块获取所述虚拟摄像机分别根据所述n个中间相机信息拍摄所述三维场地模型获得的n幅画面之前,获取目标视频画面被采集的时刻,所述实景场地中的各个活动对象的位置信息;所述目标视频画面是接收到切换至目标视角的操作时向所述终端推送的视频画面;

模型添加模块,用于根据所述各个活动对象的位置信息,在所述三维场地模型中添加所述各个活动对象的对象模型,获得添加对象模型之后的所述三维场地模型;

在获取所述虚拟摄像机分别根据所述n个中间相机信息拍摄所述三维场地模型获得的n幅画面时,所述第一动画生成模块,具体用于分别根据所述n个中间相机信息,对添加对象模型之后的所述三维场地模型进行图像采集,获得所述n幅画面。

可选的,所述装置还包括:

第三获取模块,用于在接收到调整目标视角的操作时,获取新的第一相机信息,所述新的第一相机信息是所述虚拟摄像机处于调整后的所述目标视角时的相机信息;

第四推送模块,用于向所述终端推送新的模型画面,所述新的模型画面是所述虚拟摄像机根据所述新的第一相机信息对所述三维场地模型进行拍摄获得的画面。

可选的,所述装置还包括:

第四获取模块,用于在所述第三推送模块向所述终端推送第二视频的视频画面之前,从所述第一相机信息开始,对添加对象模型之后的所述三维场地模型进行拍摄,获得所述第二视频的视频画面。

可选的,所述装置还包括:

第五获取模块,用于在接收到恢复视频播放的操作时,获取第三相机信息,所述第三相机信息是在接收到恢复视频播放的操作时,所述虚拟摄像机的相机信息;

第二动画生成模块,用于根据所述第三相机信息以及所述第二相机信息生成第二切换动画;

第五推送模块,用于向所述终端推送所述第二切换动画;

第六推送模块,用于在推送所述第二切换动画之后,继续向所述终端推送所述第一视频的视频画面。

可选的,所述装置还包括:

拼接画面获取模块,用于在所述第一推送模块向终端推送第一视频的视频画面之前,获取拼接模型画面,所述拼接模型画面是根据所述虚拟摄像机按照指定相机信息对所述实景场地的三维场地模型进行拍摄获得画面;

拼接模块,用于将所述实体摄像机对所述实景场地进行拍摄获得的画面,与所述拼接模型画面进行画面拼接,获得所述第一视频的视频画面。

可选的,所述装置还包括:

参数模型获取模块,用于在所述第一推送模块向终端推送第一视频的视频画面之前,获取场地参数模型,所述场地参数模型用于指示所述实景场地的场地参数;

模型添加模块,用于在所述三维场地模型上添加所述场地参数模型;

参数画面获取模块,用于获取参数模型画面,所述参数模型画面是所述虚拟摄像机按照所述第二相机信息对所述场地参数模型进行拍摄获得的画面;

叠加模块,用于在所述实体摄像机对所述实景场地进行拍摄获得的画面上层叠加所述参数模型画面,获得所述第一视频的视频画面。

可选的,所述装置还包括:

第六获取模块,用于在所述第一推送模块向终端推送第一视频的视频画面之前,获取第一模型,所述第一模型是通过激光扫描方式生成的,所述实景场地的三维模型;

第七获取模块,用于获取第二模型以及所述第二模型在所述实景场地中的位置,所述第二模型是通过照片合成方式生成的,场地对象的三维模型;所述场地对象是所述实景场地中的固定对象;

模型合并模块,用于根据所述第二模型在所述实景场地中的位置,将所述第一模型和所述第二模型合并,获得所述三维场地模型。

可选的,所述装置还包括:

第七推送模块,用于向所述终端推送所述三维场地模型。

另一方面,提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的视频画面推送方法。

又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的视频画面推送方法。

本申请提供的技术方案可以包括以下有益效果:

导播设备在向终端推送实体摄像机对实景场地拍摄获得的第一视频的过程中,在接收到切换至目标视角的操作时,获取虚拟摄像机处于目标视角时的第一相机信息,根据第一相机信息,以及实体摄像机采集视频时的第二相机信息生成一段切换动画,并在向终端推送切换动画之后,推送虚拟摄像机按照第一相机信息拍摄实景场地的三维场地模型获得的模型画面。通过本申请所示的方案,在直播过程中,导播可以通过切换操作将导播画面切换到目标视角上展示实景场地的三维场地模型,也就是说,在推送实体摄像机拍摄的画面生成的视频时,可以将推送的视频画面平滑的调整至通过虚拟摄像机拍摄三维场地模型的视频,由于调整虚拟摄像机的视角相对于选择和调整实体摄像机的视角来说更加方便快捷,导播人员能够在极短的时间内完成视角切换,从而提高在直播过程中进行直播画面的视角切换的效率。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种视频推送系统的结构示意图;

图2是根据一示例性实施例示出的一种视频画面推送方法的流程图;

图3是图2所示实施例涉及的一种导播设备的架构示意图;

图4是根据一示例性实施例示出的一种视频画面推送方法的流程图;

图5是根据一示例性实施例提供的直播方案流程示意图;

图6是图5所示实施例涉及的岩壁模型的示意图;

图7是图5所示实施例涉及的岩点模型的示意图;

图8是图5所示实施例涉及的导播设备的架构示意图;

图9是图5所示实施例涉及的一种模型图像控制界面的示意图;

图10是图5所示实施例涉及的切换动画示意图;

图11是根据一示例性实施例示出的视频画面推送装置的结构方框图;

图12是根据一示例性实施例示出的一种计算机设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在对本申请所示的各个实施例进行说明之前,首先对本申请涉及到的几个概念进行介绍:

1)实景场地

在本申请实施例中,实景场地是指实体摄像机拍摄的目标场地,比如,以比赛直播为例,不同类型的比赛直播有不同的场地,比如,攀岩比赛的实景场地是攀岩比赛所使用的岩壁,赛车比赛的实景场地是赛车比赛所使用的赛道等等。

其中,一个实景场地可以对应多个实体摄像机。多个实体摄像机各自拍摄的视频画面通过分区或者分时间拼接组成服务器推送给终端的视频。

2)三维场地模型

在本申请实施例中,三维场地模型是实景场地的三维虚拟模型,该三维虚拟模型可以视为实景场地按照一定比例进行缩放的结果。实景场地的三维场地模型可以预先生成并存储。

3)虚拟摄像机

在本申请实施例中,虚拟摄像机也可以称为摄像机模型,是用于在包含上述三维场地模型的虚拟场景中进行画面采集的虚拟模型。

虚拟摄像机具有与实体摄像机类似的相机信息,比如,位置、姿态、光圈大小、焦距等等。虚拟摄像机在虚拟场景中采集到的画面可以通过虚拟摄像机在虚拟场景中的相机信息来确定。

图1是根据一示例性实施例示出的一种视频推送系统的结构示意图。该系统包括:服务器120、导播设备130以及若干个终端140。

服务器120是一台服务器,或者由若干台服务器,或者是一个虚拟化平台,或者是一个云计算服务中心。

终端140可以是具有视频播放功能的终端设备,比如,终端可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

终端140与服务器120之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。

在本申请实施例中,服务器120将直播视频画面发送给终端140,由终端140进行视频播放。其中,该视频画面可以包括但不限于直播视频流的视频画面、视频文件的视频画面以及视频动画的画面等等。

可选的,当服务器推送的视频是直播视频流时,上述视频推送系统还可以包含导播设备160。

导播设备160可以包含单台计算机设备,或者,也可以包含多台计算机设备。

导播设备160对应有图像采集组件(即实体摄像机)和音频采集组件。其中,该图像采集组件和音频采集组件可以是导播设备160的一部分,比如,该图像采集组件和音频采集组件可以是直导播设备160内置的摄像头和内置的麦克风;或者,该图像采集组件和音频采集组件也可以作为导播设备160的外设设备与该导播设备160相连接,比如,该图像采集组件和音频采集组件可以分别是连接该导播设备160的摄像机和话筒;或者,该图像采集组件和音频采集组件也可以部分内置于导播设备160,部分作为导播设备160的外设设备,比如,该图像采集组件可以是导播设备160内置的摄像头,该音频采集组件可以是连接该导播设备160的耳机中的麦克风。本申请实施例对于图像采集组件和音频采集组件的实现形式不做限定。

在本申请实施例中,导播设备160可以将在本地录制的直播视频流上传至服务器120,并由服务器120对直播视频流进行转码等相关处理后推送给终端140。

可选的,该系统还可以包括管理设备(图1未示出),该管理设备与服务器120之间通过通信网络相连。可选的,通信网络是有线网络或无线网络。

可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(localareanetwork,lan)、城域网(metropolitanareanetwork,man)、广域网(wideareanetwork,wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(hypertextmark-uplanguage,html)、可扩展标记语言(extensiblemarkuplanguage,xml)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(securesocketlayer,ssl)、传输层安全(transportlayersecurity,tls)、虚拟专用网络(virtualprivatenetwork,vpn)、网际协议安全(internetprotocolsecurity,ipsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

图2是根据一示例性实施例示出的一种视频画面推送方法的流程图,该视频画面推送方法可以用于如图1所示的视频推送系统中。如图2所示,该视频画面推送方法可以包括如下步骤:

步骤21,导播设备向终端推送第一视频的视频画面,终端接收导播设备推送的第一视频的视频画面;该第一视频是根据实体摄像机对实景场地进行拍摄获得的画面生成的视频。

步骤22,终端播放该第一视频的视频画面。

步骤23,导播设备接收到切换至目标视角的操作时,获取第一相机信息,该第一相机信息是虚拟摄像机处于该目标视角时的相机信息,该相机信息包括拍摄位置以及拍摄方向。

可选的,上述相机信息还可以包括光圈大小以及焦距等信息。

其中,上述目标视角可以是通过自由视角调整操作确定的视角。也就是说,在本申请实施例中,目标视角并不限制于固定视角,而是可以由导播人员自由调整的视角。

步骤24,导播设备获取第二相机信息,该第二相机信息是该实体摄像机采集该第一视频对应的画面时的相机信息。

步骤25,导播设备根据该第一相机信息以及该第二相机信息生成第一切换动画。

其中,该第一切换动画可以是虚拟相机的相机信息从第二相机信息切换到第一相机信息的过程中采集到的各个画面构成的动画。

步骤26,导播设备向该终端推送该第一切换动画;终端接收导播设备推送的该第一切换动画。

可选的,在另一种可能的实现方式中,上述第一切换动画的生成过程也可以由终端来执行,即终端预先存储有三维场地模型,当终端接收到切换至目标视角的操作时,根据接收到的操作确定目标视角,并根据确定的目标视角获取第一相机信息,继而根据第一相机信息和第二相机信息生成第一切换动画,其中,第二相机信息可以由服务器发送给终端。

其中,上述三维场地模型可以是预先根据实景场地构建的等比例虚拟模型。

步骤27,终端播放该第一切换动画。

步骤28,在推送该第一切换动画之后,导播设备向该终端推送第二视频的视频画面,终端接收该第二视频的视频画面;该第二视频的视频画面是该虚拟摄像机从该第一相机信息开始对该实景场地的三维场地模型进行拍摄获得的视频。

可选的,在另一种可能的实现方式中,上述第二视频的视频画面也可以由终端自行生成和展示,即终端预先存储有三维场地模型,终端接收到切换至目标视角的操作时,在根据接收到的操作确定目标视角,并根据确定的目标视角获取第一相机信息后,通过虚拟摄像机从该第一相机信息开始对该实景场地的三维场地模型进行拍摄,获得上述第二视频的视频画面。

步骤29,终端播放该第二视频的视频画面。

在本申请实施例中,导播设备通过服务器向终端推送画面或者动画。

本申请实施例所示的系统中,导播设备160可以基于实体摄像机拍摄的现场视频画面,以及预先生成的实景场地的三维场地模型,在直播现场视频画面的过程中自由的插入实景场地的三维虚拟画面。

请参考图3,其示出了本申请实施例涉及的一种导播设备的架构示意图。如图3所示,导播设备30包括若干个实体摄像机31、渲染引擎32以及导播界面33,导播设备30的存储器中存储有实景场地的三维场地模型。

其中,实体摄像机31用于采集实景场地的场景画面,导播界面33用于控制虚拟摄像机观察三维场地模型的视角,渲染引擎32根据实体摄像机31采集到的画面,以及导播界面33控制的虚拟摄像机的视角中的至少一项,渲染生成视频画面和切换动画。

基于图3所示的导播设备架构,导播人员通过导播界面33控制渲染引擎32,根据实体摄像机31拍摄的画面渲染生成第一视频的视频画面,并向服务器推送第一视频的视频画面,当导播人员想要将直播画面从现场画面切换到模型画面时,通过导播界面33进行自由视角切换操作,比如,导播人员基于显示有实景场地的三维场地模型的导播界面33,通过触控屏或者鼠标自由调整观察三维场地模型的视角,并将调整后的视角获取为目标视角,并获取目标视角下的相机信息(即第一相机信息)。渲染引擎32根据第一相机信息以及实体摄像机的相机信息(即上述第二相机信息),渲染一段从第一相机信息切换至第二相机信息的过程中观察该三维场地模型的效果动画(即上述第一切换动画),并将生成的效果动画接在第一视频的视频画面之后推送给终端;在效果动画推送结束后,渲染引擎32将虚拟摄像机从目标视角处(对应第一相机信息)开始拍摄三维场地模型的视频画面作为第二视频画面,接在上述效果动画之后推送给终端。

综上所述,在本申请实施例中,导播设备在向终端推送实体摄像机对实景场地拍摄获得的第一视频的过程中,在接收到切换至目标视角的操作时,获取虚拟摄像机处于目标视角时的第一相机信息,根据第一相机信息,以及实体摄像机采集视频时的第二相机信息生成一段切换动画,并在向终端推送切换动画之后,推送虚拟摄像机按照第一相机信息拍摄实景场地的三维场地模型获得的模型画面。通过本申请所示的方案,在直播过程中,导播可以通过切换操作将导播画面切换到目标视角上展示实景场地的三维场地模型,也就是说,在推送实体摄像机拍摄的画面生成的视频时,可以将推送的视频画面平滑的调整至通过虚拟摄像机拍摄三维场地模型的视频,从而能够自由的调整导播想要推送的场地的视角,由于调整虚拟摄像机的视角相对于选择和调整实体摄像机的视角来说更加方便快捷,导播人员能够在极短的时间内完成视角切换,从而提高在直播过程中进行直播画面的视角切换的效率。

此外,在本申请实施例中,在推送模型画面之前,首先生成一段切换动画并推送给终端播放,从而呈现出近似实际的相机移动效果,保证切换过程中的画面连续性,从而提高从实体摄像机视角向虚拟摄像机视角切换时的画面显示效果。

图4是根据一示例性实施例示出的一种视频画面推送方法的流程图,该视频画面推送方法可以用于如图1所示的视频推送系统中。如图4所示,该视频画面推送方法可以包括如下步骤:

步骤401,导播设备向终端推送第一视频的视频画面,终端接收导播设备推送的第一视频的视频画面;该第一视频是根据实体摄像机对实景场地进行拍摄获得的画面生成的视频。

其中,导播设备向终端推送视频画面时,可以通过服务器进行推送。即导播设备将要推送的视频画面上传给服务器,由服务器推送给接入的各个终端。

比如,以某个攀岩比赛的视频直播场景为例,导播设备通过实体摄像机对实际的攀岩赛道(即实景场地)进行拍摄,根据拍摄到的画面获得直播视频流(即第一视频),并将直播视频流上传给服务器,服务器将直播视频流中的视频画面推送给终端(可以是导播终端,也可以是用户终端)。

在本申请实施例中,上述第一视频的视频画面可以是实体摄像机拍摄到的原始视频画面;或者,上述第一视频的视频画面也可以是在实体摄像机拍摄到的原始视频画面的基础上进一步处理获得的画面。

可选的,上述第一视频的视频画面可以是实体摄像机拍摄获得的原始画面与虚拟模型的画面进行拼接获得的画面。

比如,在生成第一视频的视频画面时,导播设备可以获取拼接模型画面,该拼接模型画面是根据该虚拟摄像机按照指定相机信息对该实景场地的三维场地模型进行拍摄获得画面;导播设备将该实体摄像机对该实景场地进行拍摄获得的画面,与该拼接模型画面进行画面拼接,获得该第一视频的视频画面。

在本申请实施例中,上述实体摄像机对实景场地进行拍摄获得的画面与拼接模型画面进行拼接后获得的画面,也可以成为计算机动画(computergraphics,cg)画面。

例如,在一种可能的实现方式中,导播设备的渲染引擎获取到实体摄像机拍摄的画面,同时获取虚拟摄像机按照指定相机信息拍摄三维场地模型的拼接模型画面,并将拼接模型画面拼接在实体摄像机拍摄的画面一侧(比如右侧),将拼接后的画面作为第一视频的视频画面推送给终端。其中,上述拼接的位置和边缘形状都可以由导播人员或者开发人员进行设置。

在一种可能的实现方式中,上述拼接模型画面除了包含虚拟摄像机按照指定相机信息拍摄三维场地模型获得的画面之外,还可以包含其它信息。比如,以攀岩比赛为例,上述拼接模型画面中还包含进度指示条,该进度指示条可以指示攀岩比赛的选手完成比赛的进度。

其中,上述指定相机信息可以是与实体摄像机的当前相机信息相对应的预设相机信息,当实体摄像机的当前相机信息发生变化时,上述指定相机信息也随之发生变化,实体摄像机的当前相机信息与指定相机信息之间的对应关系可以由开发人员或者管理人员预先设置。或者,上述指定相机信息也可以是由导播人员人工设置或调整的相机信息。

可选的,上述第一视频的视频画面也可以是在实体摄像机拍摄的原始画面的上层叠加画面中涉及到的场地参数的画面。

比如,在生成第一视频的视频画面时,导播设备还可以获取场地参数模型,该场地参数模型用于指示该实景场地的场地参数;在该三维场地模型上添加该场地参数模型;获取参数模型画面,该参数模型画面是该虚拟摄像机按照该第二相机信息对该场地参数模型进行拍摄获得的画面;在该实体摄像机对该实景场地进行拍摄获得的画面上层叠加该参数模型画面,获得该第一视频的视频画面。其中,第二相机信息是实体摄像机采集第一视频对应的画面时的相机信息。

在本申请实施例中,上述在该实体摄像机对该实景场地进行拍摄获得的画面上层叠加该参数模型画面后获得的画面,也可以称为增强现实(augmentedreality,ar)画面。

在本申请实施例中,导播设备可以在三维场地模型上添加用于指示场地参数的模型,其中,上述场地参数模型可以是预先设置好的模型,比如,以攀岩场地为例,场地参数模型可以是预先制作的某一面墙壁的覆盖层模型,该覆盖层模型上包含该墙壁与水平面的角度。或者,上述场地参数模型也可以是即时生成的模型,比如,还是以攀岩场地为例,场地参数模型可以是在检测到导播人员选择两个攀岩点之后,导播设备即时生成的,连接两个攀岩点之间的线条模型,该线条模型上还包含用于指示两个攀岩点之间的长度的数字。

导播设备将场地参数模型添加到三维场地模型上之后,可以按照当前实体摄像机的相机信息,在虚拟空间中设置虚拟摄像机,此时,虚拟摄像机拍摄的三维场地模型的画面,与实体摄像机拍摄实景场地的画面是同步的,导播设备通过虚拟摄像机采集场地参数模型的画面,比如,在某个虚拟空间中,导播设备将场地参数模型添加到三维场地模型上之后,将三维场地模型移除,只保留场地参数模型,然后通过按照实体摄像机的相机信息设置的虚拟摄像机拍摄该场地参数模型,获得参数模型画面。或者,导播设备也可以按照三维场地模型的坐标确定场地参数模型的坐标,并在虚拟场景中直接设置该场地参数模型,然后通过按照实体摄像机的相机信息设置的虚拟摄像机拍摄该场地参数模型,获得参数模型画面。在获得参数模型画面之后,渲染引擎将参数模型画面叠加在实体摄像机在相同相机信息下拍摄的实景场地的画面上层,获得第一视频的视频画面。

其中,在实体摄像机对该实景场地进行拍摄获得的画面上层叠加该参数模型画面时,可以设置参数模型画面为半透明状态。

步骤402,终端播放该第一视频的视频画面。

终端接收到导播设备推送的,直播视频流中的视频画面后,在播放界面中播放接收到的视频画面。

步骤403,导播设备接收到切换至目标视角的操作时,获取第一相机信息,该第一相机信息是虚拟摄像机处于该目标视角时的相机信息,该相机信息包括拍摄位置以及拍摄方向。

本申请实施例中的各个相机信息是基于同一空间坐标系的相机信息,也就是说,本申请实施例中的各个相机信息中的拍摄位置,是同一个空间坐标系中的拍摄位置,相应的,本申请实施例中的各个相机信息中的拍摄方向,也是同一个空间坐标系中的拍摄方向。

在本申请实施例中,导播人员想要切换观察该实景场地的视角时,可以在导播设备中执行切换至目标视角的操作,导播设备根据接收到的操作确定目标视角,继而获取上述第一相机信息。

在本申请实施例中,相机信息除了可以包括拍摄位置以及拍摄方向之外,还可以包括其它与图像采集相关的属性信息,比如光圈大小、焦距以及采集帧率等等。

或者,上述相机信息中也可以只包含拍摄位置以及拍摄方向,除了拍摄位置以及拍摄方向之外的属性信息也可以是固定不变的默认值。

其中,上述拍摄位置和拍摄方向可以由终端根据通过切换至目标视角的操作来确定。

在本申请实施例中,控制虚拟摄像机的目标视角的操作可以包括但不限于以下两种:

1)通过触摸屏的方式控制虚拟摄像机,在空间中建立球面坐标系,使得虚拟摄像机始终对准某一个球心进行拍摄。通过控制虚拟摄像机的旋转(在空间中以某一点为球心在球面上运动),平移(球心和虚拟摄像仪一起按照某个空间向量)和缩放(距离球心的距离),同时有一个独立的控制区域对摄像机本身的pan,tilt,zoom进行操控,实现自由视角。

2)通过外设控制虚拟摄像机的前进,后退,左右移动,上下移动,pan,tilt和zoom,相比于方式1)中的虚拟摄像机的位置移动束缚于球心位置的情况,外设控制下的虚拟摄像机借鉴三维虚拟游戏中的自由视角,使得虚拟摄像机的位置脱离了球心位置的束缚,直接在虚拟空间中进行自由移动,使得操作者更容易将虚拟摄像机放置到合适的位置;同时,鉴于以球心为参照物进行移动亦能满足操作者的一些需求,如围绕某一岩点进行多角度观察,该方式允许操作者切换两种操作模式。

步骤404,导播设备获取第二相机信息。

其中,当实体摄像机的相机信息固定时,该第二相机信息可以是在设置实体摄像机时确定并存储的相机信息。

或者,当实体摄像机的相机信息不固定时,该第二相机信息可以通过对实体摄像机进行视角追踪获得。比如,实体摄像机中设置有起始的定位位置和拍摄方向,并且,在拍摄实景场地的过程中,在控制实体摄像机的位置、拍摄方向以及焦距以及光圈大小的过程中,导播设备可以结合初始的定位位置和拍摄方向,以及对实体摄像机进行控制的控制指令,获取实体摄像机各个时刻对应的相机信息。

步骤405,导播设备根据该第一相机信息以及该第二相机信息生成第一切换动画。

其中,该第一切换动画可以是虚拟相机的相机信息从第二相机信息切换到第一相机信息的过程中采集到的各个画面构成的动画。

可选的,在根据该第一相机信息以及该第二相机信息生成第一切换动画时,导播设备可以获取n个中间相机信息,该n个中间相机信息是从该第二相机信息变化到该第一相机信息的过程中的n个时刻分别对应的相机信息,n为正整数;获取该虚拟摄像机分别根据该n个中间相机信息拍摄该三维场地模型获得的n幅画面;根据该n幅画面生成该第一切换动画。

在本申请实施例中,导播设备可以模拟第一相机信息渐进变化至第二相机信息的过程,并按照预设的采样频率,第一相机信息变化至第二相机信息的过程进行n次采样,每次采样获得对应采样时刻的中间相机信息。

可选的,在根据该n幅画面生成该第一切换动画时,导播设备按照该n个时刻从先到后的顺序,对该n幅画面进行排序;根据对该n幅画面的排序结果,将该n幅画面组合成该第一切换动画。

由于上述n个时刻是从第一相机信息渐进变化至第二相机信息的过程中的各个时刻,因此,按照n个时刻的先后顺序对n幅画面进行排序后,n幅画面的顺序能够对应虚拟摄像机从第一相机信息开始至第二相机信息的过程中依次采集的画面,从而从视觉上营造出从实体摄像机的视角变化至目标视角的过程说看到的连续画面。

可选的,在根据对该n幅画面的排序结果,将该n幅画面组合生成该第一切换动画时,导播设备可以根据对该n幅画面的排序结果,将该n幅画面依次添加到目标视频画面之后,组合生成该第一切换动画;该目标视频画面是接收到切换至目标视角的操作时向该终端推送的视频画面。

在本申请实施例中,为了尽可能的减小从实体摄像机的视角切换到虚拟摄像机的视角时的突兀感,可以在上述n幅画面之前添加切换前的最后一幅实景画面。

可选的,在获取该虚拟摄像机分别根据该n个中间相机信息拍摄该三维场地模型获得的n幅画面之前,导播设备还可以获取目标视频画面被采集的时刻,该实景场地中的各个活动对象的位置信息;该目标视频画面是接收到该切换指令时向该终端推送的视频画面;根据该各个活动对象的位置信息,在该三维场地模型中添加该各个活动对象的对象模型,获得添加对象模型之后的该三维场地模型。

相应的,在获取该虚拟摄像机分别根据该n个中间相机信息拍摄该三维场地模型获得的n幅画面时,导播设备可以分别根据该n个中间相机信息,对添加对象模型之后的该三维场地模型进行图像采集,获得该n幅画面。

在视频直播过程中,实景场地中通常会出现各种活动对象(比如活动的人员或者物体),这些活动对象通常随着直播的进程发生变化,而预先生成的三维场地模型并不能直接体现出这些活动对象。在从实体摄像机的视角调整到虚拟摄像机的视角时,为了保留当前实景场地中的活动对象,在本申请实施例中,在直播过程中,导播设备还可以根据实景场地中实际存在的活动对象,在三维虚拟模型中添加相应的对象模型。这样在调整视角之后,第一切换动画中也可以包含对象模型的图像,从而使得第一切换动画所展示的切换过程更加逼真。

步骤406,导播设备向该终端推送该第一切换动画;终端接收导播设备推送的该第一切换动画。

导播设备生成上述第一切换动画之后,即可以将第一切换动画推送给终端。

步骤407,终端播放该第一切换动画。

终端接收到第一切换动画之后即可以播放该第一切换动画。

步骤408,在推送该第一切换动画之后,导播设备向该终端推送第二视频的视频画面,终端接收该第二视频的视频画面;该第二视频是该虚拟摄像机从该第一相机信息开始对该实景场地的三维场地模型进行拍摄获得的视频。

在推送第一切换动画之后,导播设备即可以向终端推送虚拟模型的视频画面,使得推送给用户的直播画面由实景场地的画面切换到三维场地模型的画面。

可选的,在向该终端推送第二视频的视频画面之前,导播设备还可以根据该第一相机信息,对添加对象模型之后的该三维场地模型进行拍摄,获得该第二视频的视频画面。

在本申请实施例中,在从实体摄像机的视角调整到虚拟摄像机的视角之后,导播设备还可以控制虚拟摄像机对添加有对象模型的三维虚拟模型进行拍摄,以获得第二视频的视频画面,这样在采集到的三维模型画面也可以指示实景场地中实际存在的活动对象,从而提高第二视频的视频画面的显示效果。

步骤409,终端播放该第二视频的视频画面。

终端播放第一切换动画之后,即可以播放第二视频的视频画面。

可选的,导播设备在向终端推送上述第二视频的视频画面之后,还可以进一步检测调整目标视角的操作,当接收到调整目标视角的操作时,获取新的第一相机信息,该新的第一相机信息是该虚拟摄像机处于调整后的该目标视角时的相机信息;并向该终端推送第二视频的新的模型画面,该第二视频的新的模型画面是该虚拟摄像机根据该新的第一相机信息对该三维场地模型进行拍摄获得的画面。

其中,上述调整目标视角的操作,可以是自由视角调整操作,即导播人员可以按照预先设置的视角调整范围,将目标视角调整为任意可到达的视角。

步骤410,导播设备在接收到恢复视频播放的操作时,获取第三相机信息,该第三相机信息是在接收到恢复视频播放的操作时,该虚拟摄像机的相机信息。

当导播想要恢复推送实景场地的画面时,可以在导播设备中执行恢复至第一视频的操作。

其中,由于用户在查看三维场地模型的过程中,可能会改变三维场地模型的观察视角,因此,该第三相机信息可以与上述第一相机信息不同。

步骤411,导播设备根据该第三相机信息以及该第二相机信息生成第二切换动画。

其中,导播设备根据第三相机信息以及该第二相机信息生成第二切换动画的过程,与上述导播设备根据第一相机信息以及该第二相机信息生成第一切换动画的过程类似,此处不再赘述。

步骤412,导播设备向该终端推送该第二切换动画;终端接收该导播设备推送的第二切换动画。

步骤413,终端播放该第二切换动画。

步骤414,导播设备在推送该第二切换动画之后,继续向该终端推送该第一视频的视频画面;终端接收导播设备继续推送的该第一视频的视频画面。

步骤415,终端继续播放该第一视频的视频画面。

可选的,在向终端推送第一视频的视频画面之前,导播设备还可以获取第一模型,该第一模型是通过激光扫描方式生成的,该实景场地的三维模型;获取第二模型以及该第二模型在该实景场地中的位置,该第二模型是通过照片合成方式生成的,场地对象的三维模型;该场地对象是该实景场地中的固定对象;根据该第二模型在该实景场地中的位置,将该第一模型和该第二模型合并,获得该三维场地模型。

可选的,导播设备生成上述三维场地模型之后,还可以向终端推送该三维场地模型。

在本申请实施例中,终端的显示界面可以分为至少两个显示区域,其中一个显示区域用于显示导播设备推送的画面或者动画,另一个显示区域可以显示该三维场地模型的画面,且用户可以通过触控方式自由改变另一个显示区域中观察该三维场地模型的视角。

其中,三维场地模型的建立方式可以分为激光扫描方式和照片合成方式,其中,激光扫描方式快捷,准确,但是成品的材质表现不佳,而照片合成方式较耗时,在精准度上需要人工二次精调,但是渲染出来的材质表现很好。因此,本申请实施例所示的方案可以将激光扫描方式和照片合成方式结合使用。

比如,以实景场地为攀岩赛道为例,岩体分为岩壁和岩点两部分;本方案使用激光扫描技术获取岩壁(未装配岩点)的基础模型,和岩壁(装配岩点)和其上岩点的位置关系;使用照片合成技术来获取岩壁的材质和岩点的模型;最后将制作好的岩点根据其与岩壁的位置关系放置到岩壁上,拼合成整个岩体的模型。

综上所述,在本申请实施例中,导播设备在向终端推送实体摄像机对实景场地拍摄获得的第一视频的过程中,在接收到切换至目标视角的操作时,获取虚拟摄像机处于目标视角时的第一相机信息,根据第一相机信息,以及实体摄像机采集视频时的第二相机信息生成一段切换动画,并在向终端推送切换动画之后,推送虚拟摄像机按照第一相机信息拍摄实景场地的三维场地模型获得的模型画面。通过本申请所示的方案,在直播过程中,导播可以通过切换操作将导播画面切换到目标视角上展示实景场地的三维场地模型,也就是说,在推送实体摄像机拍摄的画面生成的视频时,可以将推送的视频画面平滑的调整至通过虚拟摄像机拍摄三维场地模型的视频,从而能够自由的调整导播想要推送的场地的视角,由于调整虚拟摄像机的视角相对于选择和调整实体摄像机的视角来说更加方便快捷,导播人员能够在极短的时间内完成视角切换,从而提高在直播过程中进行直播画面的视角切换的效率。

此外,在本申请实施例中,在推送模型画面之前,首先生成一段切换动画并推送给终端播放,从而呈现出近似实际的相机移动效果,保证切换过程中的画面连续性,从而提高从实体摄像机视角向虚拟摄像机视角切换时的画面显示效果。

以本申请上述方案应用于攀岩比赛直播为例,攀岩本身是一项富有观赏性的比赛项目,但是由于其岩壁通常由一些与水平面呈较大倾角的岩面组成,且岩壁过长过高,部分岩点的细节处无法用摄像机很好的拍摄到,导致其在电视荧幕上给用户带来的观看体验不全面。

目前的攀岩比赛直播过程中,岩壁外形和相关数据,如高度,倾角的展示通常由后期制作的小片来承接,在比赛的最开头播放,呈现的全是固定的画面,无法根据比赛的进程临时更改。而在比赛过程中,观众只能通过摄像机所能及的视角对赛道进行观察,而摄像机由于物理限制,其能拍摄到的视角有限,且观众只能被动的接受导播推送过来的视角,错过了当时的视角画面或者导播没有切换到自己想了解的视角便无法获取相关信息。

本申请上述方案可以通过以下三点来解决上述的两个问题:

1)构建3d岩体模型加上虚拟摄像机控制技术,使得导播能够以自由视角观察岩壁的每一处细节,不再受真实摄像机的物理限制;

2)通过将模型导入用户移动终端的播放器中,使得用户能够在移动端以自由视角随心所欲别的观察岩壁。

3)一些ar的动画,如展示岩点间的距离,展示岩壁的角度,展示前几名选手的成绩,展示赛道路线,展示赛道难点等也能够丰富节目画面;同时真实摄像机通过飞跃动画切换到到虚拟摄像机的自由视角,使得电视画面更有逻辑性和连续性。

其中,ar动画的播放可以通过专门的播控软件来控制,也可以通过触摸屏来进行控制。

实体摄像机到虚拟摄像机的飞跃过程(在本申请中,上述从实体摄像机的视角调整至虚拟摄像机的视角的过程可以称为camchopper)中的动画(即切换动画)可以通过获取虚拟摄像机的参数(即相机信息)和实体摄像机的参数,由渲染引擎生成一段从实体摄像机的视角飞跃到虚拟摄像机的动画,确保画面的连贯性和逻辑性,更好的让用户理解画面内容。

此外,本申请还可以在用户终端的播放器中,植入模型控制组件,使得用户可以用类似于上文中触摸屏控制虚拟摄像机的方式以自由视角来查看岩体模型。同时,还可以在播放界面中增加一些功能按钮,通过功能按钮触发将比赛数据推送给用户终端,使得用户以交互的方式获取自己喜好的资讯展示,而非完全依赖导播推送的包装数据,从而提升用户的使用体验。

以攀岩比赛直播为例,图5是根据一示例性实施例提供的直播方案流程示意图。如图5所示,整个直播方案包含如下步骤:

1)了解需求。

直播相关人员接到一直播任务后,首先了解直播任务的需求,比如需要设置多少实体摄像机的机位,是否需要使用三维虚拟模型。

2)考察现场。

在确定需要使用三维虚拟模型之后,直播相关人员将对实景场地进行考察,根据实景场地确定需要的资源,比如,需要多少人员参与模型创建以及设备搭建等。

在考察现场之后,直播相关人员可以同步进行后续步骤3)至步骤5)。

3)根据定线员的工作进度确定模型素材的采集时间;根据确定的采集时间进行岩壁扫描;根据定线员设定的比赛路径拍摄岩点画面;根据岩壁扫描结果和岩点画面进行模型贴图制作。

在攀岩比赛中,定线员在比赛之前需要制定比赛路线,以及根据比赛路线安装岩点等。根据定线员的工作进度,确定激光扫描岩壁的时间,以及拍摄岩点图片的时间。通常情况下,激光扫描岩壁的时间可以在定线员确定比赛路径之前,拍摄岩点图片的时间可以在定线员确定比赛路径之后。直播相关人员通过现场扫描和图片拍摄完成素材采集以及贴图制作。

4)虚拟背景的设计、虚拟背景的确认以及功能模版的制作。

直播相关人员还需要设计虚拟背景以及各种功能模版,比如视角切换功能的模板、虚拟增强功能的模板以及图像拼接功能的模板等等。

5)确定拍摄方案、硬件设备筹备、现场设备搭建以及现场跟踪调试。

直播相关人员在制作模型贴图、背景以及功能模板的同时,还进行实体设备的筹备的搭建,比如,制定实体设备的搭建方案,筹备摄像机等设备,现场搭建导播设备,以及现场设置、调试实体摄像机,跟踪每个实体摄像机的位置和视角等。

6)根据上述步骤3)、4)和5)的结果构建虚拟场景,并在虚拟场景中合成虚拟模型。

在本方案中,直播相关人员根据模型贴图、虚拟背景以及对实体摄像机的跟踪结果,构建包含三维场地模型的虚拟场景,保证虚拟场景与实景场地的同步。

7)虚拟场景构建成功后,确认虚拟场景的整体效果,若比赛路径有变,还可以对虚拟场景进行调整。

8)在攀岩比赛过程中,根据虚拟场景进行直播。

其中,上述直播过程可以参考上述图2或图4所示实施例介绍的步骤,此处不再赘述。

在上述整个实施流程中,模型生成占据了大部分的实施时间,其时间耗费约等于整个方案的时间耗费。

以某个攀岩比赛为例,请参考图6和图7,其中,图6示出了本申请实施例涉及的岩壁模型的示意图,图7示出了本申请实施例涉及的岩点模型的示意图。上述模型的数据规模和生成时间可以参考下述表1和表2:

表1

表2

上述表1示出了需要扫描/采集的岩壁和岩点的数据规模,上述表2示出了每个岩壁或岩点模型生成所需的时间。

其中,表2中的总用时是以线性累加时间计算的,上述所有的模型生成过程也可并行执行,理想状况下,实际总用时为所有任务中的最大值,即3188分钟。

请参考图8,其示出了本申请实施例涉及的导播设备的架构示意图。如图8所示,现场搭建的导播设备80包括若干个实体摄像机81(可选的,还可以包括麦克风/麦克风组件等设备)、渲染引擎82以及导播界面83,导播设备80的存储器中存储有攀岩赛道的三维场地模型。其中,导播界面83可以包括多个界面,比如,实景图像控制界面83a、模型图像控制界面83b、cg图像控制界面83c以及ar图像控制界面83d等等。

其中,实景图像控制界面83a用于控制实体摄像机81,比如,控制各个实体摄像机的位置、角度、光圈大小以及焦距等等。操作实景图像控制界面83a的导播人员可以通过该实景图像控制界面83a控制各个实体摄像机。渲染引擎82可以根据实景图像控制界面83a中的控制操作,输出各个实体摄像机拍摄到的实景图像。

模型图像控制界面83b用于确定切换后的目标视角,以及控制虚拟视角进行自由变化,以提供按照自由视角对三维场地模型进行观察的画面。操作模型图像控制界面83b的导播人员可以通过该模型图像控制界面83b自由调整观察三维场地模型的视角(包括确定从实体摄像机视角切换至到虚拟摄像机视角时的目标视角,以及对切换后的目标视角的自由调整)。渲染引擎82可以根据模型图像控制界面83b中的控制操作,输出从实体摄像机的视角飞跃到虚拟摄像机的视角时的第一切换动画、从虚拟摄像机的视角飞跃到实体摄像机的视角的第二切换动画、以及通过虚拟摄像机拍摄三维场地模型获得的虚拟画面(对应第二视频的视频画面)。

请参考图9,其示出了本申请实施例涉及的一种模型图像控制界面的示意图。如图9所示,模型图像控制界面90包括控制区域91和显示区域92,其中,控制区域91用于对虚拟摄像机的相机信息进行调整,显示区域92用于显示根据调整后的相机信息拍摄三维场地模型获得的模型画面。

cg图像控制界面83c用于控制实体摄像机拍摄到的实景画面与三维场地模型的模型画面之间的拼接,比如,确定或调整拼接模型画面对应的指定相机信息,以及设置当前参赛者的比赛进度,以使得当前参赛者的比赛进度能够在拼接模型画面上直观的展示等等。渲染引擎82可以根据拼接图像控制界面83c中的控制操作,输出实景图像与三维场地模型图像拼接的cg画面。

ar图像控制界面83d用于控制在实体摄像机拍摄到的实景画面上叠加的参数模型画面,比如,控制在实际画面上叠加某一片岩壁的角度模型画面,以使得实体摄像机拍摄的实景画面能够直观的展示攀岩赛道的各项数据。渲染引擎82可以根据ar图像控制界面83d中的控制操作,输出叠加有赛道参数的图案的ar画面。

基于图8所示的导播设备架构,上述渲染引擎82根据上述实景图像控制界面83a、模型图像控制界面83b、cg图像控制界面83c以及ar图像控制界面83d中的控制操作,同时输出每个控制界面对应的输出画面,也就是说,上述四种控制界面中,每一个控制界面对应一路视频画面的输出,导演可以选择将其中一路视频画面推送给用户。

比如,导演首先选择推送渲染引擎802根据实景图像控制界面83a、cg图像控制界面83c或者ar图像控制界面83d中的任一界面的控制操作所输出的视频画面(即第一视频的视频画面)。在需要切换至虚拟摄像机的视角时,导演选择推送渲染引擎802根据模型图像控制界面83b中的控制操作所输出的视频画面,同时,导播人员通过模型图像控制界面83b执行切换至目标视角的操作,以使得渲染引擎82根据该操作生成从实体摄像机的视角切换至虚拟摄像机的视角对应的第一切换动画,请参考图10,其示出了本申请实施例涉及的切换动画示意图,该切换动画示出了从实体摄像机拍摄的画面切换到虚拟摄像机拍摄的画面的过程。在第一切换动画之后,渲染引擎82渲染生成虚拟摄像机对三维场景模型拍摄获得的画面(即第二视频的视频画面),在此过程中,导播人员可以通过模型图像控制界面83b自由调整虚拟摄像机对三维场景模型拍摄的相机信息。后续需要切换回虚拟摄像机的视角时,导演再次选择推送渲染引擎802根据实景图像控制界面83a、cg图像控制界面83c或者ar图像控制界面83d中的任一界面的控制操作所输出的视频画面,此时,渲染引擎82生成从虚拟摄像机的视角切换回实体摄像机的视角对应的第二切换动画,导播设备在推送该第二切换动画之后,继续推送渲染引擎802根据实景图像控制界面83a、cg图像控制界面83c或者ar图像控制界面83d中,被导演选择的界面对应的视频画面。

图11是根据一示例性实施例示出的一种视频画面推送装置的结构方框图。该视频画面推送装置可以用于如图1所示系统中,以执行图2或图4所示实施例提供的方法中由导播设备执行的全部或者部分步骤。该视频画面推送装置可以包括:

第一推送模块1101,用于向终端推送第一视频的视频画面,所述第一视频是根据实体摄像机对实景场地进行拍摄获得的画面生成的视频;

第一获取模块1102,用于接收到切换至目标视角的操作时,获取第一相机信息,所述第一相机信息是虚拟摄像机处于所述目标视角时的相机信息,所述相机信息包括拍摄位置以及拍摄方向;

第二获取模块1103,用于获取第二相机信息,所述第二相机信息是所述实体摄像机采集所述第一视频对应的画面时的相机信息;

第一动画生成模块1104,用于根据所述第一相机信息以及所述第二相机信息生成第一切换动画;

第二推送模块1105,用于向所述终端推送所述第一切换动画;

第三推送模块1106,用于在推送所述第一切换动画之后,向所述终端推送第二视频的视频画面,所述第二视频是所述虚拟摄像机从所述第一相机信息开始对所述实景场地的三维场地模型进行拍摄获得的视频。

可选的,所述第一动画生成模块404,具体用于获取n个中间相机信息,所述n个中间相机信息是从所述第二相机信息变化到所述第一相机信息的过程中的n个时刻分别对应的相机信息;获取所述虚拟摄像机分别根据所述n个中间相机信息拍摄所述三维场地模型获得的n幅画面;根据所述n幅画面生成所述第一切换动画,n为正整数。

可选的,在根据所述n幅画面生成所述第一切换动画时,所述第一动画生成模块1104,具体用于,按照所述n个时刻从先到后的顺序,对所述n幅画面进行排序;根据对所述n幅画面的排序结果,将所述n幅画面组合成所述第一切换动画。

可选的,在根据对所述n幅画面的排序结果,将所述n幅画面组合生成所述第一切换动画时,所述第一动画生成模块1104,具体用于根据对所述n幅画面的排序结果,将所述n幅画面依次添加到目标视频画面之后,组合生成所述第一切换动画;所述目标视频画面是接收到切换至目标视角的操作时向所述终端推送的视频画面。

可选的,所述装置还包括:

位置获取模块,用于在所述第一动画生成模块获取所述虚拟摄像机分别根据所述n个中间相机信息拍摄所述三维场地模型获得的n幅画面之前,获取目标视频画面被采集的时刻,所述实景场地中的各个活动对象的位置信息;所述目标视频画面是接收到切换至目标视角的操作时向所述终端推送的视频画面;

模型添加模块,用于根据所述各个活动对象的位置信息,在所述三维场地模型中添加所述各个活动对象的对象模型,获得添加对象模型之后的所述三维场地模型;

在获取所述虚拟摄像机分别根据所述n个中间相机信息拍摄所述三维场地模型获得的n幅画面时,所述第一动画生成模块,具体用于分别根据所述n个中间相机信息,对添加对象模型之后的所述三维场地模型进行图像采集,获得所述n幅画面。

可选的,所述装置还包括:

第三获取模块,用于在接收到调整目标视角的操作时,获取新的第一相机信息,所述新的第一相机信息是所述虚拟摄像机处于调整后的所述目标视角时的相机信息;

第四推送模块,用于向所述终端推送新的模型画面,所述新的模型画面是所述虚拟摄像机根据所述新的第一相机信息对所述三维场地模型进行拍摄获得的画面。

可选的,所述装置还包括:

第四获取模块,用于在所述第三推送模块向所述终端推送第二视频的视频画面之前,从所述第一相机信息开始,对添加对象模型之后的所述三维场地模型进行拍摄,获得所述第二视频的视频画面。

可选的,所述装置还包括:

第五获取模块,用于在接收到恢复视频播放的操作时,获取第三相机信息,所述第三相机信息是在接收到恢复视频播放的操作时,所述虚拟摄像机的相机信息;

第二动画生成模块,用于根据所述第三相机信息以及所述第二相机信息生成第二切换动画;

第五推送模块,用于向所述终端推送所述第二切换动画;

第六推送模块,用于在推送所述第二切换动画之后,继续向所述终端推送所述第一视频的视频画面。

可选的,所述装置还包括:

拼接画面获取模块,用于在所述第一推送模块向终端推送第一视频的视频画面之前,获取拼接模型画面,所述拼接模型画面是根据所述虚拟摄像机按照指定相机信息对所述实景场地的三维场地模型进行拍摄获得画面;

拼接模块,用于将所述实体摄像机对所述实景场地进行拍摄获得的画面,与所述拼接模型画面进行画面拼接,获得所述第一视频的视频画面。

可选的,所述装置还包括:

参数模型获取模块,用于在所述第一推送模块向终端推送第一视频的视频画面之前,获取场地参数模型,所述场地参数模型用于指示所述实景场地的场地参数;

模型添加模块,用于在所述三维场地模型上添加所述场地参数模型;

参数画面获取模块,用于获取参数模型画面,所述参数模型画面是所述虚拟摄像机按照所述第二相机信息对所述场地参数模型进行拍摄获得的画面;

叠加模块,用于在所述实体摄像机对所述实景场地进行拍摄获得的画面上层叠加所述参数模型画面,获得所述第一视频的视频画面。

可选的,所述装置还包括:

第六获取模块,用于在所述第一推送模块向终端推送第一视频的视频画面之前,获取第一模型,所述第一模型是通过激光扫描方式生成的,所述实景场地的三维模型;

第七获取模块,用于获取第二模型以及所述第二模型在所述实景场地中的位置,所述第二模型是通过照片合成方式生成的,场地对象的三维模型;所述场地对象是所述实景场地中的固定对象;

模型合并模块,用于根据所述第二模型在所述实景场地中的位置,将所述第一模型和所述第二模型合并,获得所述三维场地模型。

可选的,所述装置还包括:

第七推送模块,用于向所述终端推送所述三维场地模型。

综上所述,在本申请实施例中,在向终端推送实体摄像机对实景场地拍摄获得的第一视频的过程中,在接收到切换至目标视角的操作时,获取虚拟摄像机处于目标视角时的第一相机信息,根据第一相机信息,以及实体摄像机采集视频时的第二相机信息生成一段切换动画,并在向终端推送切换动画之后,推送虚拟摄像机按照第一相机信息拍摄实景场地的三维场地模型获得的模型画面。通过本申请所示的方案,在直播过程中,导播可以通过切换操作将导播画面切换到目标视角上展示实景场地的三维场地模型,也就是说,在推送实体摄像机拍摄的画面生成的视频时,可以将推送的视频画面平滑的调整至通过虚拟摄像机拍摄三维场地模型的视频,从而能够自由的调整导播想要推送的场地的视角,由于调整虚拟摄像机的视角相对于选择和调整实体摄像机的视角来说更加方便快捷,导播人员能够在极短的时间内完成视角切换,从而提高在直播过程中进行直播画面的视角切换的效率。

此外,在本申请实施例中,在推送模型画面之前,首先生成一段切换动画并推送给终端播放,从而呈现出近似实际的相机移动效果,保证切换过程中的画面连续性,从而提高从实体摄像机视角向虚拟摄像机视角切换时的画面显示效果。

图12是本申请一个示例性实施例示出的计算机设备1200的结构框图。所述计算机设备1200包括中央处理单元(cpu)1201、包括随机存取存储器(ram)1202和只读存储器(rom)1203的系统存储器1204,以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述计算机设备1200还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(i/o系统)1206,和用于存储操作系统1213、应用程序1214和其他程序模块1215的大容量存储设备1207。该计算机设备1200还包括视频采集设备,该视频采集设备包括实体摄像机,进一步的,该视频采集设备还包括麦克风/麦克风阵列。

所述基本输入/输出系统1206包括有用于显示信息的显示器1208和用于用户输入信息的诸如鼠标、键盘之类的输入设备1209。其中所述显示器1208和输入设备1209都通过连接到系统总线1205的输入输出控制器1210连接到中央处理单元1201。所述基本输入/输出系统1206还可以包括输入输出控制器1210以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1210还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1207通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1207及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说,所述大容量存储设备1207可以包括诸如硬盘或者cd-rom驱动器之类的计算机可读介质(未示出)。

不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom、eeprom、闪存或其他固态存储其技术,cd-rom、dvd或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1207可以统称为存储器。

计算机设备1200可以通过连接在所述系统总线1205上的网络接口单元1211连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器1201通过执行该一个或一个以上程序来实现图2或图4任一所示的方法中由导播设备执行的全部或者部分步骤。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括计算机程序(指令)的存储器,上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法中,由导播设备执行的方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1