一种虚拟演播室360度全景节目制作的方法及系统与流程

本发明涉及数字影音制作技术领域，具体涉及一种虚拟演播室360度全景节目制作的方法及系统。

背景技术：

随着vr技术的发展，全景内容始终是非常缺乏的，通常会使用全景摄像机、无线麦克来拍摄全景素材，经过后期剪辑制作出全景节目。这种方式对于拍摄设备、拍摄环境、后期制作水平的要求比较高，生成全景节目的类型偏专题拍摄与现场报道，很少用在演播室内。

全景拍摄需要进行大量的前期准备工作，对全景摄像机、音频采集设备、移动拍摄设备等进行调试。因全景摄像机会呈现360度全方位的拍摄画面，需要根据现场光线调整iso、色温、曝光等拍摄参数，使全景画面整体的亮度和色温达到最佳的效果。同时，需要合理布置全景摄像机与拍摄对象之间的相对位置，拍摄对象不要处在镜头之间的拼缝处。对于全景摄像机而言，都存在一个安全距离，通常要求拍摄对象距离全景摄像机1.5米以上。按照上述要求，即使在安全距离以外，若拍摄对象处于镜头拼缝处，因经过图像采集、变形，及拼接处理，必然会产生一定的畸变。所以，拼缝是客观存在的，无法彻底消除，后期剪辑对此也无能为力。

此外，在进行全景拍摄时，还需要采集现场的声音。为了避免音频线缆进入画面，通常采用无线麦克。前期需要对麦克音量进行测试，将音量调整到合适的范围。对于拍摄环境同样有严苛的要求，拍摄场地中不能有过多的杂景进入画面，否则后期剪辑时，需植入大量的虚拟物件对杂景进行遮挡处理。

全景摄像机一般用于外拍一些专题节目或进行现场报道，制作的全景节目佩戴vr头显观看时，具有身临其境的沉浸感。但是，这种方式并不适合在演播室内进行全景拍摄，主要有两个原因：其一，演播室内环境非常复杂，全景摄像机会拍摄到演播室灯光、普通摄像机，及其他杂景。其二，由于全景摄像机采用定焦镜头，无法通过镜头变焦拍摄人物特写；而且，拍摄的全景视频信号，局部画面的清晰度也不高。因此，很少看到用全景摄像机在实景演播室内拍摄的全景节目。由此可见，全景拍摄的方式，容易受到客观条件的限制。

制作演播室节目，除了在实景演播室内拍摄以外，还有另一种实现方式，就是采用虚拟演播室技术。虚拟演播室与实景演播室相比，不涉及实景演播室的改造与装修。利用专业的绿箱(或蓝箱)，配合专业的演播室灯光，使用普通的摄像机拍摄高清前景信号。所拍摄的前景信号，经过专业的抠像处理，与虚拟三维场景进行合成，渲染为普通的演播室节目，合成信号可以直接输出或录制下来。采用这种方式，不会引入太多杂景，即使存在杂景，无非是纵向的灯光或地面、横向的绿箱两侧边缘外部，皆可利用软件算法将这些杂景去掉。此外，虚拟演播室还有一个优势，若节目改版只需要重新设计虚拟三维场景，影响小、成本低。

虚拟演播室技术，为演播室节目制作提供了一种实现方式，可以避免杂景进入画面，效果也比较理想；节目改版的代价，相比于实景演播室也非常低。但是，普通虚拟演播室的设计初衷，是为了录制平面节目，所使用的虚拟三维场景都是局部置景的，其余空间都是开放区域。如新闻场景，通常包含主播台、背景大屏，利用主播台景别，录制单人或双人坐播节目；利用背景大屏景别，录制主持人站播节目；亦可利用这两个景别，录制坐、站播结合的互动节目。虚拟三维场景的设计，都是面向平面节目制作的，无法满足演播室全景节目的制作要求。

那么，若利用虚拟演播室原理录制全景节目，则需要具备两个条件：其一，设计使用360度全景的虚拟三维场景，场景是封闭的，水平方向四周可以提供丰富的景别。其二，需要预览360度全景的虚拟三维场景，调整场景的大小、视点的位置。利用360度全景的虚拟三维场景，与抠像后的前景信号进行合成，实时渲染为全景视频，这样可以解决全景摄像机镜头之间的拼缝问题。通过调整观看视点与切入前景信号的主持人框之间的距离，即虚拟摄像机呈现的拍摄效果，就能保证全景视频中特写画面的清晰度。而且，可以通过算法去除前景信号中携带的杂景，免去拍摄环境进入画面产生的影响，无需进行后期剪辑处理。

综上所述，全景摄像机不适合在演播室内进行拍摄，客观存在的拼缝、局部画面清晰度不高，以及杂景入画问题暂时无法克服或避免。利用虚拟演播室原理制作全景节目，采用360度全景的虚拟三维场景，将普通摄像机拍摄的前景信号抠像之后，与虚拟三维场景进行合成，实时渲染为全景视频并录制下来，就解决了全景拍摄无法克服的问题。当然，必须依靠vr定位及显示设备，预览渲染后360度全景的虚拟三维场景，完成节目录制前期的调试工作。这样，就为演播室内全景节目的制作，提供了完整可行的技术实现方案。

技术实现要素：

为解决上述问题，本发明涉及一种利用vr定位技术配合360度全景的虚拟三维场景制作全景节目的方法及系统，制作出演播室内的全景节目，该方法为vr全景内容制作提供了快捷的解决方案。根据节目类型，设计360度全景的虚拟三维场景。利用vr空间定位设备，设置vr头显与控制器的活动范围，通过佩戴vr头显，实现对渲染后360度全景的虚拟三维场景进行实时预览。在专业绿箱(或蓝箱)与演播室灯光环境下，摄像机拍摄的高清前景信号，经过专业的抠像处理，带阿尔法通道的高清前景信号切入虚拟三维场景中的主持人框中，实时合成渲染为全景视频，将其录制下来生成全景节目。这样，就能够生产大量演播室内的全景素材，与外拍的全景素材进行后期剪辑，制作出专业的全景节目，从而丰富vr全景内容。

具体的，根据本发明的一个方面，提供了一种虚拟演播室360度全景节目制作的系统，包括：

两个定位器、vr头显、两个控制器、至少一个摄像机，以及虚拟演播室主机；

所述vr头显分别通过usb与hdmi线缆与虚拟演播室主机连接，所述两个摄像机通过hd-sdi/hdmi线缆与虚拟演播室主机连接。

优选的，进一步包括：调音台，与所述虚拟演播室主机通过usb线缆连接。

优选的，所述usb线缆用于传输空间定位的实时数据，包括：定位器、vr头显、控制器的空间位置、角度；hdmi线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至vr头显的屏幕。

优选的，所述定位器及控制器与vr头显之间采用无线方式进行实时数据通讯。

优选的，所述两个定位器固定于绿箱或蓝箱两侧立面外缘距离地面2米以上相同高度的位置，所述vr头显及控制器放置于定位器所覆盖的空间区域内。

优选的，所述两个控制器配合vr头显使用，实现交互控制。

根据本发明的另一个方面，还提供了一种虚拟演播室360度全景节目制作的方法，包括：

利用定位器设置vr头显与控制器的活动范围；

根据节目类型设计360度全景的虚拟三维场景；

在vr头显中实时预览渲染后360度全景的虚拟三维场景；

在绿箱或蓝箱与演播室灯光的环境下，摄像机拍摄高清前景信号，并经过抠像处理，将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内；

实时合成渲染为全景视频，将其录制以生成全景节目或者直接输出。

优选的，所述利用定位器设置vr头显与控制器的活动范围，包括：

勾动所述控制器的扳机键沿活动区域边缘移动，当回到初始位置附近松开扳机键，控制器的运动轨迹自动闭合为封闭的四边形；

将控制器水平放置于划定区域的地面上，定位器通过扫描，获得当前地面的空间位置。

优选的，所述360度全景的虚拟三维场景中，水平方向四周提供多种景别，整体色调、风格保持一致；顶部采用封闭式设计；地面延伸至场景边缘，并进行无缝衔接。

优选的，所述多种景别包括：主播台、大屏幕、三联屏、点评区、访谈区、静态展示区、开放办公区。

本发明产生的有益效果是：利用虚拟演播室原理，设计360度全景的虚拟三维场景，其中涵盖了丰富的拍摄景别，用于录制播室内的全景节目。在专业绿箱(或蓝箱)及演播室灯光的拍摄环境中，摄像机拍摄的前景信号经过抠像处理，将带阿尔法通道的前景信号切入360度全景的虚拟三维场景中的主持人框内，经过实时合成渲染录制为全景素材。与全景摄像机拍摄的方式相比，不存在镜头之间的拼缝；通过调整观看视点到切入前景信号的主持人框的距离，保证全景视频中特写画面的清晰度；此外，还可以通过算法去除前景信号中携带的杂景，免去拍摄环境入画的影响，无需后期剪辑处理。当然，需要依靠vr定位及显示设备，对渲染后360度全景的虚拟三维场景进行预览及调试，设置全景节目的观看视点，调整虚拟三维场景的大小，改变主持人框的位置。利用360度全景的虚拟三维场景，可以完成多档节目的制作，节目改版也很容易，只需要重新设计虚拟三维场景。采用上述方法，能够制作出形式丰富、效果震撼的演播室全景节目。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是发明虚拟演播室360度全景节目制作方法的系统示意图；

图2是发明实施例一所述虚拟演播室主机功能模块的逻辑关系示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决演播室内全景节目的制作问题，本发明提出一种虚拟演播室360度全景节目制作的方法。所述系统包括：两个定位器、vr头显、两个控制器，以及虚拟演播室主机。所述系统是这样实现的：首先，将上述设备连接起来，vr头显通过usb与hdmi线缆与虚拟演播室主机连接，usb线缆用于传输空间定位的实时数据，包括：定位器、vr头显、控制器的空间位置、角度；hdmi线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至vr头显的屏幕。定位器及控制器，与vr头显之间采用无线方式进行实时数据通讯。

接着，利用定位器设置vr头显与控制器的活动范围。通常将两个定位器固定于专业绿箱(或蓝箱)两侧立面外缘距离地面2米以上相同高度的位置，确保二者之间的视线不受阻挡；最佳的固定方式为壁挂式，避免定位器受地面震动的干扰，影响空间定位的稳定性；通过专用的壁挂件，可调整定位器的角度，使其向下倾斜适当的角度，一般为30～45度，朝向活动区域的中心；若要固定定位器的角度，拧紧接驳的锁紧环即可；每个定位器的扫描视场为水平150度、垂直110度；为了实现精确的空间定位，二者位于地面上的投影距离需小于8米。为了使定位器、vr头显及控制器正常工作，需要将vr头显及控制器放置于定位器所覆盖的空间区域内。两个控制器，配合vr头显使用，实现交互控制。

初次设定vr头显与控制器的活动范围，需要使用控制器(两只均可)，勾动扳机键沿活动区域边缘移动，当回到初始位置附近松开扳机键，控制器的运动轨迹自动闭合为封闭的四边形。然后，将控制器水平放置于划定区域的地面上，定位器通过扫描，就可以获得当前地面的空间位置。以上操作完成之后，vr头显与控制器的活动区域设置完成，将vr头显与控制器置于该空间区域内。

接下来，也是本发明的重点。根据节目类型，设计360度全景的虚拟三维场景。与普通虚拟三维场景的区别在于，采用了360度全景的设计形式，水平方向四周提供了丰富的景别，整体色调、风格保持一致；顶部采用了封闭式设计，与普通虚拟三维场景一贯的开放式、通透式不同；地面延伸至场景边缘，并进行无缝衔接。对于360度全景的虚拟三维场景，四周可以设计不同的景别，涵盖：主播台、大屏幕、三联屏、点评区、访谈区、静态展示区，甚至开放办公区等，以满足不同类型全景节目的录制，所呈现的全景演播室效果也更加震撼。利用360度全景的虚拟三维场景，与抠像后的前景信号进行合成，实时渲染为全景视频，可直接输出或录制下来生成全景素材。

实施例一：

本发明抓住vr全景节目的沉浸感、临场感的特点，运用虚拟演播室原理，提出了一种虚拟演播室360度全景节目制作的方法，为演播室内全景节目制作提供方便快捷的解决方案。

实施例一是本发明的具体实现方法，图1所示的是虚拟演播室360度全景节目制作方法的系统示意图。其中，以l型的绿箱(或蓝箱)为例，进行整个系统的说明。空间定位设备包括：两个定位器，分别是定位器a和定位器b；vr头显及两个控制器，分别为控制器1和控制器2。首先，需要将vr头显连接至虚拟演播室主机，usb线缆用于传输空间定位的实时数据，包括：vr头显与控制器的空间位置、角度；hdmi(或dp)线缆用于传输渲染后的360度全景的虚拟三维场景，佩戴vr头显可以置身其中。接着，安装定位器，设置vr头显与控制器的活动范围。如图1所示，将两个定位器固定于专业绿箱(或蓝箱)两侧立面外缘距离地面2米以上相同的高度，确保二者之间的视线不受阻挡。考虑到实际情况，绿箱上方悬挂着专业的演播室灯光，若灯光高度比较低可能会遮挡两个定位器之间的视野，此时可使用专用的同步数据线连接定位器a、b，保证其正常通讯。建议采用壁挂方式固定定位器，避免其受地面震动的干扰，影响空间定位的稳定性。将定位器安装在专用的壁挂架上面，调整定位器的角度，使其向下倾斜适当的角度，一般为30～45度，可视具体情况而定，朝向活动区域的中心。若要固定定位器的角度，拧紧接驳的锁止环即可。每个定位器的扫描视场为水平150度、垂直110度，为了保证精确的空间定位，二者在地面上投影之间的距离需小于8米。

接着，设置vr头显与控制器的活动范围。初次设定时，手持任意一个控制器，勾动扳机键延活动范围的边缘移动，回到初始点位置松开扳机键，控制器的运动轨迹会自动闭合为四边形。接着，需要利用控制器定位地面，将控制器水平放置于划定区域的地面上，两个定位器通过红外扫描，就能够准确获得地面所处的空间位置。以上操作完成之后，为了保证定位器正常工作，需要将vr头显置于活动范围以内。两只控制器，主要配合vr头显进行交互控制，如不使用可保持关闭。

制作演播室内的全景节目，通常会有1-4个拍摄机位，从不同角度拍摄专业绿箱(或蓝箱)及演播室灯光环境下的人物和景物，即前景信号。如图1所示，其中的拍摄设备，指专业摄像机、消费级dv、单反(或微单)相机等，能够将高清前景信号通过hd-sdi/hdmi线缆，输出至虚拟演播室主机。

对于音频的处理，也是虚拟演播室不可或缺的部分。拍摄现场，主持人与嘉宾的声音通过话筒、背景音效通过专业播放器分别接入调音台，混音之后经过usb线缆输出至虚拟演播室主机。后者实现音频采集、合成、延时等处理，此处并不是本发明的重点，不做过多阐述。

本实施例所述方法的实现步骤描述如下：

参见图2，是发明实施例一所述虚拟演播室主机功能模块的逻辑关系示意图。在虚拟演播室主机内部，包含了视频i/o、真三维场景、参数设置、导播切换、抠像、合成渲染、录制、vr终端通讯，以及外部音频处理等功能模块。接下来，结合360度全景节目制作的具体流程进行介绍。

拍摄环境仍然是专业绿箱(或蓝箱)，配合专业的演播室灯光。通常有2-4台拍摄设备，用于拍摄高清前景信号。拍摄设备(若干，至少一个)，所拍摄的高清前景信号输出至虚拟演播室主机。由视频i/o模块，对不同拍摄机位的前景信号进行采集，并逐帧交给抠像模块进行专业抠像处理。抠像模块，逐帧将前景信号中纯色(绿或蓝)抠掉；然后，带阿尔法通道的前景信号，逐帧送给合成渲染模块。

真三维场景模块，导入制作演播室全景节目需要使用的360度全景的虚拟三维场景，兼容3d设计软件生成的.obj、.x、或.3ds格式的场景文件。根据节目类型定制的360度全景的虚拟三维场景，水平方向四周包含了丰富的景别。场景设计时，结合拍摄置景的需要，已经预置了可以切入高清前景信号的主持人框，画幅为16：9。与主持人框相对应，在360度全景的虚拟三维场景中，预置了虚拟摄像机对主持人框与后面的景别进行拍摄。

360度全景的虚拟三维场景载入完成后，由渲染合成模块进行实时渲染处理，通过hdmi(或dp)线缆输出至vr头显，佩戴vr头显之后，可以置身360度全景的虚拟三维场景内，进行沉浸式的预览。初始视点的位置为场景的中心点，默认状态下场景中所有预置的主持人框都是隐藏的。此时，能够直观感受360度全景的虚拟三维场景的空间范围，通过参数配置模块对虚拟三维场景的大小进行调整。场景设计时并没有具体的限制，360度全景的虚拟三维场景可以设计的很宏大，也可以设计的很别致。使用控制器可以在虚拟三维场景中任意漫游，通过触摸板的方向键进行移动，遍历水平方向四周的虚拟置景。

随后，需要完成全景节目制作相关参数的设置。根据vr头显的预览情况，将360度全景的虚拟三维场景调整为合适的大小。然后，针对全景节目制作所选取的景别，显示该景别预置的主持人框，参考对应虚拟机位所呈现的拍摄视角，将真实机位拍摄的前景信号切入主持人框中。针对该虚拟机位，从下拉列表中选择实际拍摄设备的信号源。此时，主持人框内的前景信号，经过视频i/o模块采集，以及抠像模块的专业抠像处理，带阿尔法通道可以直接与虚拟背景进行合成渲染。采用相同的方法，将所有真实拍摄机位的前景信号切入虚拟机位对应的主持人框里。然后，根据前景信号与虚拟背景之间的构图效果，对主持人框的大小进行缩放、前后位置进行调整；虚拟机位的视点位置也改变，沿着x轴、y轴，及z轴方向移动；当虚拟机位的空间位置确定后，还可以改变其镜头朝向及焦距，使虚拟机位呈现出最佳的合成效果。考虑到全景节目的观看视点，应与实际佩戴vr头显后的高度基本一致，所以虚拟机位的高度不宜过高或过低。而且，虚拟机位的视角，将作为全景节目在该观看视点的初始视角。通过调整主持人框与虚拟机位的空间位置，可以将前景信号清晰的呈现于全景节目观看视点前方，保证局部画面的清晰度。若实际拍摄过程中，前景信号中有杂景入画，如绿箱上方的灯光，因真实拍摄机位在节目制作过程中固定不动，这些杂景都利用算法在参数配置模块中将其去除。

全景节目录制的准备工作完成后，将所有配置参数保存为工程文件，下次可以直接调用。接着，可以进行全景节目录制，利用导播切换模块，以平面的形式实时预览各虚拟机位的合成画面，并根据现场情况，在不同的虚拟机位之间进行切换调度。当前虚拟机位的合成信号，作为pgm信号直接输出或录制下来。而且，导播切换可叠加转场特效，如淡入淡出等，符合全景视频的特点比较常用。

全景节目录制过程中，针对导播切换的当前虚拟机位，以该虚拟机位的视角作为初始视角，由合成渲染模块进行前景信号与虚拟背景的合成处理，实时渲染为3840*2160分辨率的全景视频，可以通过视频i/o模块直接输出，或逐帧送给录制模块，将其录制到本地生成4k分辨率的全景节目。随着现场的导播切换，实时合成渲染的全景视频，其观看视点及初始视角跟随虚拟机位而改变。

此外，演播室全景节目录制过程中，还需要对音频进行处理，主持人、嘉宾的声音通过话筒，现场背景音效通过专用播放器，分别接入调音台，经过混音之后，经过usb线缆送给虚拟演播室主机。由外部音频处理模块，实现音频采集、延时，及静音处理，然后送给合成渲染模块，完成全景视频与现场音频的合成。

本实施例所述方法带来的益处非常明显：利用虚拟演播室原理，设计360度全景的虚拟三维场景，其中涵盖了丰富的拍摄景别，可以在其中完成演播室内全景节目的录制。在专业绿箱(或蓝箱)及演播室灯光的拍摄环境中，摄像机拍摄的前景信号经过抠像处理，将带阿尔法通道的前景信号切入主持人框，主持人框置于360度全景的虚拟三维场景内合适的景别，经过实时合成渲染，录制为全景节目。采用这种方法，解决了全景摄像机拍摄镜头之间存在的拼缝问题；也不会因实际拍摄引入无关的杂景；而且，通过调整主持人框与观看视点的距离，解决全景视频局部特写清晰度不高的问题。当然，其中依靠vr定位和头显设备，对渲染后的360度全景的虚拟三维场景进行预览和漫游，遍历其中设计的所有虚拟景别。利用360度全景的虚拟三维场景，可以完成多档节目的制作，节目改版也很容易，只需要重新设计虚拟三维场景。通过上述的方法，即可制作出形式丰富、效果震撼的演播室全景节目。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。