用于佩珀尔幻象拍摄和显示的系统和方法与流程

本公开涉及拍摄和显示佩珀尔幻象图像或类似的3d或全息图像。

背景技术：

1、沉浸式远程呈现是一种实时的、双向低延迟的远程呈现系统，其包括图像源，该图像源被布置成将图像直接投影到用于接收图像的影片的半透明屏幕上，然后由图像源投影以生成指向观众的部分反射图像，观众将该部分反射图像感知为真人大小或部分虚拟人物图像或另一3d浮动图像；其中，虚拟对象的图像是使用一种过程采集的，该过程包括在远离显示舞台或观看媒介的远程位置前拍摄对象。该方法可以包括创建具有深度线索的舞台布景，以增强图像投影的3d效果；以及控制照向对象投影显示的照明，以提供与用于采集拍摄对象的照明方向相似的感知。

2、传统的用于佩珀尔幻象图像或其它3d全息图的拍摄和显示方法存在一个问题，即投影图像的图像质量可能不足以产生逼真的拍摄对象图像。申请人通过美国临时申请61/080,411号、美国专利9,563,115号、国际申请pct/gb2009/050850号和国际申请pct/gb2009/050849号中详述说明的发明已解决了传统的佩珀尔幻象系统的一些缺点。然而，申请人在这些先前申请中所教授的方法上已经发现了进一步改进，以提高佩珀尔幻象图像的质量和清晰度，如本文所详述。另外，在用于实时通信传输(例如，电视)的带宽有限的情况下，有效传输高质量的佩珀尔幻象显示可能会很困难。

3、因此，需要改进佩珀尔幻象拍摄和展示系统和方法。

技术实现思路

1、本发明的目的是提供视觉上更加逼真和沉浸式的远程呈现(“tp”)体验，适用于更大的办公室和/或公共环境，诸如剧院、音乐厅和会议场所。这些改进涉及在一个或多个捕获位置采集一个或多个视频图像，这些图像被记录为数据影片以便存储和回放，或通过网络传输给观看观众。观众可以亲自位于显示场所，也可以位于远处，观看对象图像是经由相机在显示场所采集图像，并且经由网络或电缆连接将表演以视频流的形式传输到观众位置处操作的显示设备，其特征在于主要是单向信号而非互动信号。在显示场所的一个或多个视频图像被投影到或穿过半透明屏幕上，这些半透明屏幕布置在舞台上被照亮的背景幕前。图像可以与现场表演的才艺表演人员一起或在同一舞台上显示，观看观众会将投影感知为虚拟图像，也称为数字替身、佩珀尔幻象或“全息图”显示。在表演期间，该半透明屏幕对于该观看观众或相机是不可见的。在线观众所看到的视频图像被感知为与对应的实际原始图像非常相似，提供了虚拟对象在舞台上表演的真实存在感。

2、本发明中公开的技术也适用于采集增强现实(ar)对象的视频图像，其中对象的图像通过数字手段增强到现场舞台、虚拟或真实背景幕的拍摄图像中，诸如某人的图像出现在由移动电话在视频拍照模式下捕获的图像区域内，或者在现场观众或远程观众面前的舞台演出或表演期间，对象的特写和头肩镜头出现在一个或多个大型中继投影(或imag)屏幕上。本发明改进了应用于佩珀尔幻象或ar对象(诸如，演出者或舞台艺术家)的显示的制作过程，优化显示以被一个或多个次级相机采集，以经由电缆、无线电或卫星网络进行向前“流媒体”广播，以供在线观众或电视观众观看。

技术特征：

1.一种视频采集和显示系统，包括显示系统，所述显示系统包括：用于生成和投影图像的视频墙，其中所述视频墙包括至少一个led面板，所述至少一个led面板包括透明平滑的表面涂层，以漫射来自所述至少一个led面板的光，从而最小化由所述视频墙生成的所述图像上的云纹发生率；和在框架中被拉紧的箔片屏幕，所述箔片屏幕反射由所述led面板生成的所述图像，所反射的图像形成叠加到位于所述箔片屏幕的后方或舞台后部的舞台背景幕上的全息图。

2.根据权利要求1所述的系统，其中所述led面板包括最靠近所述箔片屏幕定位的显示面，所述显示面处于与所述箔片屏幕相距至少12英寸或25cm的距离处。

3.根据权利要求2所述的系统，其中所述透明平滑的表面涂层是施加到所述led面板的所述显示面以创建平坦、平滑透明或半透明表面的透明树脂顶部涂层，以漫射来自所述至少一个led面板的光，从而最小化由所述视频墙生成的所述图像上的所述云纹发生率。

4.根据权利要求1所述的系统，还包括用于在远离所述显示系统的远程位置捕获一个或多个对象的图像的拍摄系统，所述拍摄系统包括：

5.根据权利要求4所述的系统，其中所述显示系统的所述视频墙还包括一个或多个led面板，所述一个或多个led面板中的每个led面板从所述拍摄系统的对应的一个或多个拍摄相机接收对应的捕获图像，所述一个或多个led面板中的每个led面板镜像所述对应的一个或多个拍摄相机的所述纵向取向或所述横向取向，其中由所述一个或多个拍摄相机获取的所述一个或多个捕获图像中的每个捕获图像是1080hd分辨率的视频，并且所述一个或多个led面板中的每个led面板是1080hd分辨率的led面板，使得当所述一个或多个led面板中的每个led面板将所述对应的1080hd分辨率的捕获图像投影到所述箔片屏幕上时，所得到的全息图能够在垂直高度分辨率上具有高达1920像素。

6.根据权利要求5所述的系统，其中所述拍摄系统还包括帧同步器，所述帧同步器能够操作来从所述一个或多个拍摄相机接收所述一个或多个捕获图像，并且在将所述一个或多个捕获图像发送到所述编解码器编码器之前采取以下动作中的一个或多个动作：

7.根据权利要求6所述的系统，其中所述一个或多个捕获图像中的每个捕获图像包括音频分量和视觉分量，所述帧同步器能够操作来将所述一个或多个捕获图像的所述音频分量和所述视觉分量两者与所述公共时基和/或所述现场表演的所述时基和/或所述现有音乐或有节奏的节拍音轨的所述时基同步。

8.根据权利要求6所述的系统，其中所述帧同步器能够操作来：

9.根据权利要求4所述的系统，其中所述一个或多个拍摄相机中的每个拍摄相机能够操作来捕获所述拍摄系统内的不同对象的图像。

10.根据权利要求4所述的系统，其中每个纵向取向的一个或多个相机能够操作来捕获对应的站立对象的图像，并且每个横向取向的一个或多个相机能够操作来捕获对应的就座对象的图像。

11.根据权利要求4所述的系统，其中所述一个或多个相机能够位于相同位置或彼此远离的远程位置。

12.根据权利要求1所述的系统，其中所述显示系统包括所述全息图投影在其上的显示舞台，并且所述显示舞台包括定位在所投影的全息图后方的已照亮背景幕。

13.一种用于记录或现场直播使用一个或多个相机在一个或多个位置捕获的一个或多个对象的一个或多个捕获的音频/视觉图像的方法，所述一个或多个捕获的音频/视觉图像通过使用一个或多个led面板朝向在框架中被拉紧的箔片屏幕投影对应的捕获的音频/视觉图像而显示在另一位置中，所述箔片屏幕反射由所述一个或多个led面板投影的所述一个或多个捕获的音频/视觉图像，所反射的图像形成叠加到位于所述箔片屏幕的后方或舞台后部的舞台背景幕上的全息图，其中所述一个或多个led面板中的每个led面板涂覆有施加到所述一个或多个led面板的显示面以创建平坦、平滑透明或半透明表面的透明树脂顶部涂层，以漫射来自所述至少一个led面板的光，从而最小化由所述led面板显示的所述图像上的云纹发生率，并且其中对象影片信号被引导通过帧同步器以便：

14.根据权利要求12所述的方法，其中所述一个或多个对象中的每个对象是在照明装备下在黑色、蓝色、绿色或银色屏幕前方进行拍摄的，所述照明装备具有：一个或多个第一灯，所述一个或多个第一灯用于照亮所述对象的前方，其中所述第一灯成角度为使得由所述第一灯发射的大部分光不被所述背后屏幕反射回到所述对象；和一个或多个第二灯，所述一个或多个第二灯用于照亮所述对象的后方和/或侧面并且被操作来照亮所述对象的轮廓；其中来自照亮所述对象的所述轮廓的所述第二灯的照明水平等于或大于来自所述一个或多个第一灯的照明水平，其中所述相机被锁定并且所述对象正在移动，所述照明装备被布置成当所述对象在所述照明装备下移动时引起阴影在所述对象上移动。

15.根据权利要求12所述的方法，其中来自所述一个或多个相机中的每个相机的所捕获图像被提供给对应的led显示器并且从所述对应的led显示器显示。

16.根据权利要求13所述的方法，其中所述一个或多个相机中的每个相机以纵向取向或横向取向进行取向，并且所述一个或多个led面板中的每个led面板具有与所述对应的一个或多个相机匹配的取向。

技术总结
本发明提供了一种用于拍摄和显示3D图像的系统和方法，包括在一个或多个对象的一个或多个捕获位置处采集一个或多个视频图像，这些图像被记录为数据影片以用于存储和回放或者通过网络传输给观看观众。在显示场所处的这些视频图像被投影到半透明屏幕上或通过这些半透明屏幕投影，这些半透明屏幕被布置成出现在舞台的背景幕前方。这些图像可与现场表演的才艺表演人员一起显示或在相同的舞台上显示，该投影被该观看观众感知为虚拟图像。在表演期间，该半透明屏幕对于该观看观众或相机是不可见的。在线观众所观看的该视频图像被感知为与对象非常相似，从而提供了在舞台上表演的虚拟对象的真实存在感。

技术研发人员：I·奥康奈尔
受保护的技术使用者：I·奥康奈尔
技术研发日：
技术公布日：2024/3/24