一种扩展现实拍摄方法及系统与流程

1.本发明涉及影视作品处理技术领域，具体涉及一种扩展现实拍摄方法及系统。


背景技术：

2.xr(extended reality)，也称“拓展现实技术”，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是ar、vr、mr等多种形式的统称。目前，xr技术已然广泛应用到了虚拟演播领域，其应用原理为：在拍摄过程中通过摄像机追踪与实时图像渲染技术，使显示介质(例如led屏)及显示介质外的虚拟场景实时融合拍摄使用，跟据摄像机的视角和空间参数拓展延伸摄像机实拍画像，从而营造出无限空间感。但是，当前的基于xr原理的拍摄系统在实时拍摄时，摄像机捕捉到的画面已经是人物+现实画面的合成画面，这个合成画面中的人物是无法分离出来做后期处理的。


技术实现要素：

3.本公开的目的在于克服现有技术的缺陷，提供一种扩展现实拍摄方法及系统，采用本发明提供的方案，能够使得扩展现实拍摄系统的拍摄画面能够被分离出来做后期处理。
4.本公开的第一方面涉及一种扩展现实拍摄方法，所述方法包括以下步骤：
5.s1、采用ptp方式进行虚拟画面显示端与图像采集端的基准时钟同步；
6.s2、通过所述虚拟画面显示端将多路输入的虚拟画面按照预设的频率和顺序进行交替显示，显示图像的刷新频率为所述图像采集端的采集帧率的同值或倍数，且每一轮交替显示的画面中至少包含一幅纯色画面；
7.s3、通过所述图像采集端对所述虚拟画面显示端显示的图像进行采集，并对采集后的画面进行分离。
8.在根据本公开第一方面的一些实施例中，所述虚拟画面显示端包括led拼接器、led显示屏和频率控制器，其中，所述频率控制器用于生成控制频率；所述led拼接器用于根据所述控制频率调整所述多路虚拟画面的显示顺序和显示频率，使得各虚拟画面按照预设的顺序和频率交替输出到所述led显示屏，所述led拼接器的图像输出帧率为所述图像采集端的采集帧率的同值或倍数；所述led显示屏用于显示接收到的画面，且所述led显示屏的刷新频率等于所述led拼接器的输出帧率。
9.在根据本公开第一方面的一些实施例中，所述图像采集端包括摄像机和图像处理器，其中，所述摄像机用于采集所述led显示屏显示的画面；所述图像处理器用于基于所述控制频率对所述摄像机采集到的画面进行分离。
10.本公开的第二方面涉及一种扩展现实拍摄系统，所述系统包括：渲染服务器、虚拟画面显示端、图像采集端和ptp服务器；
11.所述渲染服务器用于生成渲染后的虚拟画面；
12.所述ptp服务器使用gps时钟作为外部同步信号，采用ptp方式进行所述虚拟画面
显示端和所述图像采集端系统的基准时钟同步；
13.所述虚拟画面显示端用于将多路输入的虚拟画面按照预设的频率和顺序进行交替显示，显示图像的刷新频率为所述图像采集端的采集帧率的同值或倍数，且每一轮交替显示的画面中至少包含一幅纯色画面；
14.所述图像采集端用于对所述虚拟画面显示端显示的图像进行采集，并对采集后的画面进行分离。
15.在根据本公开第二方面的一些实施例中，所述虚拟画面显示端包括led拼接器、led显示屏和频率控制器；其中，所述led拼接器用于根据所述控制频率调整所述多路虚拟画面的显示顺序和显示频率，使得各虚拟画面按照预设的顺序和频率交替输出到所述led显示屏，所述led拼接器的图像输出帧率为所述图像采集端的采集帧率的同值或倍数；所述led显示屏用于显示接收到的画面，且所述led显示屏的刷新频率等于所述led拼接器的输出帧率。
16.在根据本公开第二方面的一些实施例中，所述图像采集端包括摄像机和图像处理器；其中，所述摄像机用于采集所述led显示屏显示的画面；所述图像处理器用于基于所述led拼接器的输出帧率对所述摄像机采集到的画面进行分离。
17.为了能够对拍摄到的画面进行后期处理，导演需要拍摄到至少两个同步显示的不同内容图像，其中至少有一个图像为纯色图像，其余图像为渲染好的虚拟画面。现有的xr系统在实时拍摄时无法将拍摄画面进行分离后再做后期处理，而本公开通过在虚拟画面显示端以很高的频率交替显示来自不同输入路径的虚拟画面，并设置虚拟画面显示端的刷新频率为图像采集端的采集帧率的同值或倍数，能够让图像采集端在一次采集中获得多个虚拟画面的混合图像。再通过图像采集端对采集后的画面进行分离，便可以得到分离后的渲染画面和纯色画面，以作后期处理。
附图说明
18.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
19.图1示意性地示出了根据本公开的实施例的扩展现实拍摄系统；
20.图2示意性地示出了图1所示的扩展现实拍摄系统的一个具体实施方式。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，而并不意图限制本发明。
22.本技术领域技术人员可以理解，除非特意声明，这里采用的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在本发明的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
23.本技术领域技术人员可以理解，在本技术的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本技术的实施例的范围。
24.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一
个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组合。
25.本技术领域技术人员可以理解，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
26.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像本技术实施例中一样被特定定义，否则不会用理想化或过于正式的含义来解释。
27.本公开提出一种扩展现实拍摄方法，所述方法包括以下步骤：
28.s1、采用ptp方式进行虚拟画面显示端与图像采集端的基准时钟同步；
29.s2、通过所述虚拟画面显示端将多路输入的虚拟画面按照预设的频率和顺序进行交替显示，显示图像的刷新频率为所述图像采集端的采集帧率的同值或倍数，且每一轮交替显示的画面中至少包含一幅纯色画面；
30.s3、通过所述图像采集端对所述虚拟画面显示端显示的图像进行采集，并对采集后的画面基于所述虚拟画面显示端的刷新频率进行分离。
31.采用本公开提出的拍摄方法，能够让图像采集端在一次采集中获得多个虚拟画面的混合图像。再通过图像采集端对采集后的画面进行分离，便可以得到分离后的渲染画面和纯色画面，以作后期处理。
32.图1示例性地给出一种用于实现上述方法的拍摄系统，该系统主要包括：ptp服务器、频率控制器、多台渲染服务器、led屏幕、led拼接器、高速摄像机和图像处理器。
33.ptp服务器使用gps时钟作为外部同步信号，使用ptp方式进行系统的基准时钟同步，将基准时间t0分发到系统的每一台设备中(包括led屏幕、led拼接器、高速摄像机和图像处理器)，使得整套系统中以ptp时间为基准进行同步工作，t0为系统的基准时间。
34.频率控制器用于控制led拼接器的输出帧率和图像处理器的帧率同步，保证多个图像的准确合成与分离。
35.渲染服务器用于生成渲染后的虚拟画面，led拼接器用于接收所述虚拟画面，然后按照预设的输出帧率输出相应图像画面给led显示屏进行显示。led拼接器的输出帧率与led屏幕的显示图像刷新率相等，且等于摄像机采集帧率的n倍，n＝1,2,3
…
。
36.摄像机采集led显示屏上显示的混合画面，然后输出给图像处理器，图像处理器根据预设的时间频率从获取的图像缓存中抽取对应的图像，实现对混合画面的分离，且分离的频率与led拼接器的输出帧率相等。分离输出的内容是独立完整的画面内容。
37.通过本公开实施例，我们可以实现通过一台摄像机拍摄led屏幕时实时获取多个图像显示内容，并可以把图像进行分离在后期使用的功能需求的技术目的。
38.参照图1，本公开实施例所述拍摄系统中还可以添加录制拍摄内容的视频录像机，摄像机的输出信号可以直接输出到图像处理器，也可以输出到视频录相机，先录制再输出
到图像处理器做图像分离处理。
39.本领域技术人员可以理解，本公开实施例中渲染服务器不限图1所示的两个，只要是led拼接器能支持的多路信号都可以技持使用。
40.本技术领域人员可以理解，本公开实施例中输入led拼接器的渲染图像可以是任意帧速率的图像，只要是摄像机支持的刷新频率都可以，输入渲染图像的帧率只作为led显示屏显示图像时进行固定频率切换显示使用。
41.参照图2，是图1所示拍摄系统的一种实现方式。首先介绍该实施方式中涉及的各技术用于，以便充分理解本公开实施例所述技术方案。
42.1、sdi：sdi接口是一种“数字分量串行接口”，而hd-sdi接口是一种广播级的高清数字输入和输出端口，其中hd表示高清信号。由于sdi接口不能直接传送压缩数字信号，数字录像机、硬盘等设备记录的压缩信号重放后，必须经解压并经sdi接口输出才能进入sdi系统。如果反复解压和压缩，必将引起图像质量下降和延时增加，为此各种不同格式的数字录像机和非线性编辑系统，规定了自己的用于直接传输压缩数字信号的接口。
43.2、hz:赫兹是国际单位制中频率的单位，它是每秒钟的周期性变动重复次数的计量。赫兹简称赫。每秒钟振动(或振荡、波动)一次为1赫兹，或可写成次/秒，周/秒。因德国科学家赫兹而命名。
44.3、hdmi：高清多媒体接口(high definition multimedia interface，hdmi)是一种全数字化视频和声音发送接口，可以发送未压缩的音频及视频信号。hdmi可用于机顶盒、dvd播放机、个人计算机、电视、游戏主机、综合扩大机、数字音响与电视机等设备。hdmi可以同时发送音频和视频信号，由于音频和视频信号采用同一条线材，大大简化系统线路的安装难度。
45.4、led：led显示屏(led display)是一种平板显示器，由一个个小的led模块面板组成，用来显示文字、图像、视频等各种信息的设备。
46.led电子显示屏集微电子技术、计算机技术、信息处理于一体，具有色彩鲜艳、动态范围广、亮度高、寿命长、工作稳定可靠等优点。led显示屏广泛应用于商业传媒、文化演出市场、体育场馆、信息传播、新闻发布、证券交易等，可以满足不同环境的需要。
47.5、ptp：ptp(precision time protocol)是一个通过网络同步时钟的一个协议。当硬件支持时，ptp精度能达到亚微秒，比ntp(network time protocol)精度更高。
48.参照图2，系统使用两台华为笔记本电脑连接led大屏拼接器，输出两个60hz不同的显示视频内容，分辨率为1920*1080，led大屏拼接器使用的是视诚h15,led屏幕支持最高120hz刷新率，两台电脑的信号通过hdmi接口接入到led拼接器，led显示屏幕使用秀狐p2.6，屏幕刷新率可高达2840hz，led屏体与led拼接器通过网线进行连接，拍摄摄像机使用的是索尼的fs7，快门调至120/1秒，记录格式调为120帧每秒，图像处理器与摄像机使用bnc同轴线进行连接，使用12g-sdi模式传输信号，图像处理器后端有四个hdmi端口，可以输出四个独立的图像信号；系统使用的gps时钟为北斗视频xbd611-xo cpci-6u授时板卡，ptp服务器为hpz4，网络交换机为华为s5735s，图像处理器为公司自研xrcg－2u，频率控制器安装在ptp服务器为hpz4上进行使用，视频录像机使用bmd12g。
49.图2所示系统的工作流程为：
50.打开两台笔记本，打开led大屏拼接器，各个设备间使用网线连接，使用ptp初始化
同步系统时钟时间，打开频率控器设置界面时序设置，设置输出总频率为120hz,输出贴片为2，图像输出频率为60hz,设置完成后，led屏幕显示两台笔记本输出图像a/b的图像重影，渲染服务器与led大屏拼接器时间基准相同，两个输出口相对的时序延差值为8.33毫秒，设置完成后led将会于8.33毫秒显示图像a，下一个8.33毫秒显示图像b，交替进行图像显示，由于交替显示图像的频率很高，因此led屏幕显示出的就是混合图像。使用摄像机拍摄led屏幕显示混合图像，把摄像机快门设置为120/1秒，记录格式调为120帧每秒，摄像机信号可以直接输出到图像处理器，也可以输出到视频录相机，先录制再做后期处理。此时我们通过观看图像处理器输出的两路信号，可以发现是两个独立的图像信号，他们的图像刷新率为60hz。使用这个技术可以在一块led屏幕也能同时拍摄到不同的显示内容，实现了同屏不同显示内容单机混合拍摄分离使用的要求。
51.本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
52.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。