视频处理和远程呈现系统及方法

专利名称：视频处理和远程呈现系统及方法
技术领域：
本发明涉及视频处理，特别但非仅涉及视频编译码器和视频处理器，其用于远程 呈现系统以产生“实时”佩珀尔幻象和/或从所拍摄对象后面的背景剔出(键出)来的该 对象的影像(以下称为“剔出的对象影像”)。
背景技术：
在传统的远程呈现系统中，把在一个位置捕捉到的、完整的在其背景内的对象的 视频影像通过例如互联网或多协议标记交换(MPLS)网传输至远程位置，所述对象和背景 的影像在所述远程位置以佩珀尔幻象的形式被投影或以其他形式被显示。可进行所述传 输以致能在所述远程位置产生“实时”影像或至少假实时影像，以在该远程位置给所述对象 “远程呈现”。所述视频的传输通常包括使用预先设定的编译码器在所述系统的各传输端和 接收端将视频编码和/或解码。通常，编译码器包括的软件将所述视频(包括音频)流加密并压缩成数据包以作 传输。编码方法包括接收所述视频流并将其编码为隔行信号(interlaced signal)或逐行 信号(progressive signal)(也可包括压缩技术)。已发现从逐行视频信号产生的大体上静止的对象的剔出的对象影像或佩珀尔幻 象产生清楚而仔细的影像。然而，在相等的每秒显示帧数(fps)下，逐行信号的大小是隔 行信号大小的两倍，并且在远程呈现系统中，在一个位置捕捉到的所述视频影像通过有限 带宽的通信线路传输至另一位置，传输大的逐行信号可以导致延时/不一致，令投影的“实 时”影像中产生不想要的失真。例如，如果所述视频的对象正在移动，则所述剔出的对象或 佩珀尔幻象可能显得不流畅，所述延时可能导致在所述剔出的对象或佩珀尔幻象与真人的 互动上产生可察觉的延迟或者通信线路中的瓶颈可能产生视频的临时空白帧和/或音频 丢失。这降低了所述对象的远程呈现的逼真感。有可能通过压缩所述视频流或使用隔行视频信号去编码来减少这种信号延迟。一 般而言，未经处理的BP标准分辨率(SD)流是每秒270Mb并能被压缩成每秒1. 5至2Mb、720P 能被压缩成每秒2至3Mb之间以及1080P能被压缩成每秒4和IOMb之间。然而，压缩视频流导致原始数据的完整性中某些部分被丢失或在某种程度上降 级。例如，压缩HD视频流通常致使影像颜色饱和度变淡，对比度降低并且由于镜头焦点明 显的或可察觉到的丢失而使对象本体的周围出现动态模糊。在对象物体突然或快速地向左 或向右移动以及视频影像具有高对比度的情况下，这种明显的影像柔化在影像变暗的细节 区域，例如眼窝，是最明显的。由于隔行视频信号在相同的帧率(fps)下使用逐行信号一半的带宽，所以可使用 隔行信号来减少信号延时，同时保持剔出的对象或佩珀尔幻象流畅移动的表现。然而，隔行 视频信号的奇数行和偶数行之间的隔行切换效应减低了图像的垂直分辨率(resolution) 的质量。这能通过使影像模糊(边缘柔化)来补偿，然而采用这种边缘柔化减损了影像的 清晰度。
隔行信号比逐行信号具有的优点是因为隔行信号每帧使用两个场，自隔行信号 产生的影像中的动态比自逐行信号产生的影像中的动态显得更加流畅。由于减少了动态的 捕捉以及逐行地显示所述视频的全帧，所以使用逐行视频信号产生的剔出的对象影像或佩 珀尔幻象看来会更扁平，因而不如使用隔行视频信号产生的影像般逼真。然而，由于自逐行 信号产生的影像对于静态图像来说具有更光滑、更清晰的轮廓边，所以文字和图像，尤其是 静态图形，能使用逐行视频信号来产生而受益。因此，不管预先设定编译码器使用哪种编码格式，都有可能在所产生的剔出的对 象或佩珀尔幻象中出现不理想的效果。这对于在公共/大型活动时产生远程呈现尤其是个 难题，其中要拍摄例如舞台上的情节，以及系统要求都可能在整个制作过程中显著地变化。对于某些远程呈现系统(下文称为“拟真的远程呈现系统”)来说，从在一个位置 捕捉的，被剔出背景的对象的视频影像(剔出的对象影像)被发送至远程位置，在那里所述 剔出的影像被显示为剔出的对象影像和/或佩珀尔幻象，有可能在所述远程位置的真实对 象旁。这能被用于形成所述剔出的影像的对象实际上存在于所述远程位置的幻觉。非所述 对象的影像区域包括黑色，理想的是在其最纯的色(即，非灰色)。然而，所述剔出的对象影 像的处理和传输有可能被错误的视频信号污染所述影像的黑色区域，产生失真例如斑点、 低亮度和带有颜色的干扰，其削弱了拟真的远程呈现的体验。

发明内容
根据本发明的第一方面，本发明提供了编译码器，包括接收连续的视频流的视频 输入端，将所述视频流编码以产生已编码视频流的编码器，传输所述已编码视频流的视频 输出端以及在所述视频流编码的过程中将所述编码器在第一模式和第二模式之间切换的 切换装置，在所述第一模式中所述视频流根据第一编码格式被编码，在所述第二模式中所 述视频流根据第二编码格式被编码。根据本发明的第二方面，本发明提供了编译码器，包括接收已编码视频流的视频 输入端，将所述已编码视频流解码以产生已解码视频流的译码器，传输所述已解码视频流 的视频输出端以及在所述已编码视频流的解码过程中将所述译码器在第一模式和第二模 式之间切换的切换装置，在所述第一模式中所述已编码视频流根据第一编码格式被解码， 在所述第二模式中所述已编码视频流根据第二编码格式被解码。本发明的一个优点是所述编译码器能够中途进行切换以将所述视频流以不同的 格式编码以适于所拍摄影片的长度、网络性能，例如可用带宽，和/或其他外部因素。所述 切换装置可对外部控制信号作出反应以将所述编码器/译码器在所述第一模式和所述第 二模式之间切换。例如，可在探测到特定条件时自动地或者由用户，例如主持人、演员或其 他控制员操作按钮/开关而产生所述外部控制信号。所述编译码器可被设置成传输和接收来自/到达相应的编译码器的控制信息，所 述编译码器从所述相应的编译码器接收所述已编码视频流/把所述已编码视频流传输至 相应的编译码器，所述控制信息包括将所述视频流编码所用的编码格式的指示。所述编译 码器可被设置成应接收到的控制信息而在模式之间切换。所述编码格式可将所述视频信号编码为逐行，例如720p、1080p，或隔行，例如 1080 ,的视频信号，将所述视频流以特定帧率，例如每秒M至120帧编码，和/或将所述视频信号压缩，例如根据某个特定的色彩压缩标准，例如3 1 1、4 2 0、4 2 2或 4:4: 4编码或者根据以获得特定的输入/输出数据速率来编码，例如在1.5和4Mb/s之 间。因而，所述编译码器可在适当时在逐行和隔行信号、不同的帧率和/或压缩标准之间切换。应该理解的是，不同的位传输率格式，例如MPEG，在本文所用的术语的含义内是单 一的编码格式。根据本发明的第三方面，本发明提供了远程呈现系统，包括拍摄被显示为剔出的 对象和/或佩珀尔幻象的对象的摄像机，接收所述摄像机产生的视频流并输出已编码视频 流的根据本发明第一方面的第一编译码器，把所述已编码视频流传输至根据本发明第二方 面在远程位置的第二编译码器的装置，该第二编译码器被设置成将所述已编码视频信号解 码并把该已解码视频信号输出至装置以基于所述已解码视频信号生成剔出的对象影像和/ 或佩珀尔幻象，以及被设置成产生控制信号以使得所述第一编译码器在所述第一模式和所 述第二模式之间切换的用户操作切换开关。这种系统允许操作员，例如导演、主持人、演员等基于所拍摄的情节而控制编码方 法。例如，如果对象很少移动，操作员可选择提供很少压缩或没有压缩的逐行信号的格式， 而当对象显著地移动时，操作员可选择提供隔行信号的格式，并可选择地作出高压缩。用户操作的切换开关可进一步被设置成产生使得所述第二编译码器在所述第一 模式和所述第二模式之间切换的控制信号。或者，所述第二编译码器可被设置成自动地确 定所述已编码视频流的编码格式，并进行切换以使用正确的(第一或第二)模式将所述已 编码视频流解码。根据本发明的第四方面，本发明提供了产生对象的远程呈现的方法，包括拍摄所 述对象以产生连续的视频流，把所述视频流传输至远程位置以及在所述远程位置根据所传 输的视频流生成剔出的影像和/或佩珀尔幻像，其中传输所述视频流包括在传输所述视频 流的过程中基于所拍摄的情节的变化从多个编码格式中选择不同的格式以及在传输过程 中把所述编码格式改变为所选择的编码格式。被拍摄的情节的变化可为所述对象的移动、额外的对象进入视频帧、所述对象照 明的变化、所述被拍摄对象与在所述远程位置的人的互动程度的变化、加入文字或图像或 所拍摄/形成视频的情节的其他合适的变化。根据本发明的第五方面，本发明提供了远程呈现系统，包括拍摄显示为剔出的影 像和/或佩珀尔幻象的对象的摄像机，把已编码视频流和与生成剔出的影像和/或佩珀尔 幻象有关的更多数据传输至远程位置的通信线路，使用所传输视频流产生剔出的影像和/ 或佩珀尔影像的位于所述远程位置的装置以及在带宽不是用于传输所述更多数据时分配 所述通信线路的带宽以传输所述视频信号的切换装置。本发明的第五方面的系统的优点是其将可用的带宽集中起来以获得更逼真的剔 出的影像和/或佩珀尔幻象。例如，所述更多数据可为数据，例如音频流，其是需要给被拍 摄对象与所述远程位置的人，例如观众，之间互动时用上以及所述需传输的更多数据的量 可随互动程度的变化而改变。根据本发明的第六方面，本发明提供了视频处理器，其包括接收视频流的视频输 入端，传输已处理的视频流的视频输出端，其中所述处理器被设置成通过扫描各帧的像素以识别邻近一些像素或像素组，而其中所述邻近像素或像素组的属性之间的相对差异是高 于预定水平，和把所述轮廓限定为这些像素或像素组之间的连续的线，来识别所述视频流 的各帧中的对象的轮廓，并且使落在所述轮廓之外的像素成为预先选定的颜色，优选为黑 色。由于所述本发明的第六方面的视频处理器能自动地剔出所述视频流的各帧中的 对象而消除在所述对象的轮廓之外的噪点失真(noise artefact)，所以是有利的。所述视 频处理器可被设置成大体上实时地处理所述视频流以致能连续地传输(或至少显示)所述 视频流。所述相对差异可为亮度和/或色彩的对比度，代表所述对象的像素或像素组看起 来比代表周围深色背景的像素或像素组为明亮。如果视频中的对象有背光以在所述对象的 周围形成明亮的光缘(rim of light)(这在远程呈现的照明布置中相当常见)，则可增强这 种对比度。所述相对差异可为在所述邻接的像素或像素组中捕捉到的特征光谱的差异。特别 是，像素的特征光谱可为所述像素的不同频率成分，例如红、蓝、绿(RGB)，的相对强度。例 如，可用灯从后面照亮所述视频中的对象，所述灯发出的光与照亮所述对象前面的灯发出 的光带有不同的频率光谱。因此，各像素的频率成分的相对强度将取决于该像素所代表的 区域大部分是由面光灯还是由背光灯照亮。在邻近像素或像素组的频率成分的相对强度有 高于预定水平的变化时，能识别所述对象的轮廓。例如，白色的LED可在非常特定的频率产 生锐峰，从而导致像素的特征光谱与宽频波段上产生光的光源，例如钨丝灯，所生成的特征 光谱不同。识别所述轮廓可包括确定预先设定的连续像素数量，其具有的属性(例如亮度和 /或色彩)与邻近的预先设定的连续像素数量的属性成对比。通过把所述预先设定的像素 数量设定为合适的阈值，所述处理器不会把零星的噪点错误地识别为所述对象的轮廓(噪 点所产生的像素失真的数量大大少于即使是所述对象的小物体所产生的像素的数量)。在 一个实施例中，所述视频处理器带有调整预先设定数量(即调整阈值，在该阈值对比像素 被视为由所述对象的存在而非噪点失真导致)的装置。所述处理器可被设置成修改所述帧以沿着已识别的轮廓提供带有高相对亮度的 像素行。各高相对亮度的像素可带有其所替代的相应像素具有相同的色彩。由于所述对象 周围的明亮的光缘可有助于形成所述影像是3D而非2D影像的幻觉，所以使用高亮度像素 可增强已处理视频流所形成的剔出的对象影像和/或佩珀尔幻像的逼真感。此外，通过让 高亮度像素使用相同的色彩，高亮度像素的应用不会使所述影像不逼真。在一种布置中，识别所述对象的轮廓包括降低所述帧的色彩位深以生成降低了色 彩位深的帧，扫描所述降低了色彩位深的帧以识别帧中包含对比度高于预定水平的像素或 像素组的区域，在与降低了位深的帧的识别区域对应的原始帧(色彩位深还未被降低的 帧)的区域内扫描像素，以识别对比度高于预定水平的像素或像素组并把所述轮廓限定为 这些像素或像素组之间的连续的线。由于能够首先以较低的粒度在降低了色彩位深的帧进行扫描并且仅需要于所述 原始帧的识别区域以高粒度扫描，所以所述布置是有利的。这样，可更快地识别出轮廓。根据本发明的第七方面，本发明提供了存储有指令的数据载体，在处理器执行所
8述指令时，所述数据载体使得所述处理器接收视频流，通过扫描各帧的像素以识别邻近的 像素或像素组，而其中所述邻近的像素或像素组的属性之间的相对差异是高于预定水平， 和把轮廓限定为这些像素或像素组之间的连续的线，来识别所述视频流的各帧中的对象的 轮廓，并且使落在所述轮廓之外的像素成为预先选定的颜色，优选为黑色，并且传输所述已 处理的视频流。所述视频处理器可为根据本发明第一方面的编译码器的一部分，所述视频处理器 在将所述视频流编码之前处理所述视频流，或者可位于将所述视频流编码的编译码器的上 游。所述将对象从背景剔出/键出可允许使用更多的增强技术用作所述编译码器的编码程 序的一部分。根据本发明的第八方面，本发明提供了拍摄以佩珀尔幻像的形式被投影的对象的 方法，该方法包括在带有照亮对象的前面的一个或多个面光灯和照亮对象的背面的一个或 多个背光灯的照明布置下拍摄所述对象，其中所述面光灯发出的光所带有的特征频率光谱 与所述背光灯发出的光的特征频率光谱不同。所述面光灯可为发出宽频带的光的灯，例如钨丝灯或卤素灯，或者为发出分散在 可见光光谱中具有许多频率(至少多于两个)尖峰的光的灯，例如弧光灯。所述背光灯可 为在一个或两个特定频率发光的灯，例如LED灯。然而，可以理解的是在不同的实施例中， 所述面光灯可为LED灯，所述背光灯可为钨丝灯、卤素灯或弧光灯。在替代性实施例中，所述面光灯和背光灯是同一类型的灯但被设置成发出的光带 有以不同频率为中心的频率光谱。例如，所述面光灯和背光灯可为弧光灯，所述面光灯被设 置成发出白光而所述背光灯被设置成发出蓝光。由于在所产生的片段中捕捉主要由所述背 光灯照亮的区域的像素中缺少光谱的黄色部分，这会再次在特征频率光谱中形成差异。在另一实施例中，所述面光灯和背光灯可被设置成发出在正常人类视力范围之外 的不同频率的光，但所述光能在合适的装置中被探测到，例如红外线或紫外光。所述方法可包括对所产生的片段进行光谱分析以识别所述对象的轮廓。可使用根 据本发明第六方面的视频处理器进行所述光谱分析。所述方法可包括在开着所述背光灯和面光灯中其中之一盏并且关上其余的所述 面光灯和背光灯时测量存在的特征频率光谱以及通过识别影片中的像素来识别所产生的 影片中对象的轮廓，其中所测量的特征频率光谱是在预先设定的阈值之上。根据本发明的第九方面，本发明提供了视频处理器，包括接收视频流的视频输入 端，传输已处理视频流的视频输出端，其中所述处理器被设置成通过扫描各帧的像素以识 别邻近的像素或像素组，而其中所述邻近的像素或像素组的属性之间的相对差异是高于预 定水平的，并且把这些像素或像素组的其中之一或二者都更改为具有比像素或像素组的原 本亮度更高的亮度，来识别所述视频流的各帧中对象的轮廓。根据本发明的第十方面，本发明提供了存储有指令的数据载体，在处理器执行指 令时，所述数据载体使得所述处理器接收视频流，通过扫描各帧的像素识别邻近的像素或 像素组，而其中所述邻近的像素或像素组的属性之间的相对差异由于与明亮的对象相比之 下深色的背景而高于预先设定水平，并且把这些像素或像素组的其中之一或二者都修改成 亮度比像素或像素组的原本亮度高，来识别所述视频流的各帧中对象的轮廓。根据本发明的第十一方面，本发明提供了编译码器，包括接收对象的视频流的视
9频输入端，将所述视频流编码以产生已编码视频流的编码器以及传输所述已编码视频流的 视频输出端，所述编码器被设置成通过识别所述对象的轮廓，例如以所述本发明的第六方 面的方式，来处理所述视频流的各帧，以及将落在所述轮廓之内的像素编码而无需理会落 在所述轮廓之外的像素以形成所述已编码视频流。由于通过仅将所述对象编码并不理会各帧的剩余部分，可减少已编码视频信号的 大小，所以所述本发明的第十一方面是有利的。这可有助于减少所需的带宽和传输过程中 的信号延时。通过过滤带有指定色彩或色彩范围，例如黑色或黑色至灰色的范围，的像素，或者 具有亮度在指定程度之下的像素，可不理会落在所述轮廓之外的像素。或者，可从限定所述 对象的轮廓的高亮度像素识别落在所述轮廓之外的像素并且无需理会所述高亮度像素的 轮廓的一侧(外部)的像素。由于可保留所述对象中呈现为深色和/或低亮度的像素，避 免所述对象的这些部分不必要地被柔化，所以利用高亮度像素作为指南去除不想要的背景 是有利的。所述编码器可包括多路复用所述视频流的多路复用器。落在所述对象的轮廓之内 的像素可被分为多个部分并且各部分可作为频分多路复用(FDM)信号在各自的载体被传 输。这有可能降低所述视频流所需的压缩需要(如有的情况下)。频分多路复用将提供更 多带宽使得所述编译码器在减少压缩(如有的情况下)时在原始时基上拉所述视频流。这 样，减少了信号延时而增加了所传输的信息。在一个实施例中，所述编码器可包括缩放器(scalar)以基于可用的带宽缩放所 需的影像大小。例如，如果没有充足的带宽去携带4 :4:4 RGB信号，则可把所述影像缩 放，将4 :4:4 RGB信号缩减至4 :2:2 YUV信号。这可能是需要用来减少信号延时， 例如在所述剔出的对象和/或佩珀尔幻像与在显示所述剔出的对象和/或佩珀尔幻像的位 置的人之间可进行“问答”环节时的信号延时。在几乎各种环境中调整所述编码格式，例如压缩、帧率等将影响信号延时的程度。 对于预先设定的编译码器来说，能通过适当的测量可预先确定信号延时以及考虑到所述信 号延时在所述剔出的对象和/或佩珀尔幻像显示的位置同步视频和音频。然而，通过根据 本发明的可切换编译码器，其中可在所述视频流的传输过程中改变所述编码格式，必须考 虑信号延时的变化以保持音频和视频同步。此外，例如因为在所述网络，例如电信网络的路 由选择上不可预测的变化，所以即使对于包括预先设定的编译码器的系统，所述信号延时 在视频流的传输过程中和/或传输之间也确实会变化。根据本发明的第十二方面，本发明提供了编译码器，包括接收视频流和相关音频 流的视频输入端，将所述视频和音频流编码的编码器以及把已编码视频和音频流传输至另 一编译码器的视频输出端，其中所述编译码器被设置成，在传输所述视频和音频流的过程 中，定期把测试信号(因特网包探索器(Ping))传输至另一编译码器，接收从所述另一编译 码器对测试信号作出的回波反应(echo response)，从发送所述测试信号和接收到回波反 应之间的时间确定传输至所述另一编译码器的信号延时以及为所确定的信号延时把适当 的延迟引入所述或另外的音频流。根据本发明的第十三方面，本发明提供了编译码器，包括从另一编译码器接收已 编码视频流和相关音频流的视频输入端，将所述视频和音频流解码的译码器以及传输所述已解码视频和音频流的视频输出端，其中所述编译码器被设置成，在传输所述视频和音频 流的过程中，应接收到测试信号(因特网包探索器(Ping))而把回波反应传输至另一编译 码器。这样，所述编译码器能够补偿在所述两个编译码器之间传输而引起的信号延时的 变化，保持所述视频和音频流的回波消除和/或同步。可把系统的其他部分的固定的时间 延迟(即除在所述两个编译码器之间传输而引起的信号延时之外的所有部分)编程入根 据本发明第十一方面所述的编译码器并且所述编译码器可通过把所确定的信号延时加至 所述固定的时间延迟来确定引入所述音频流的合适延迟。例如，由于信号处理以及在所述 剔出的对象和/或佩珀尔幻像的显示位置的音频和显示系统的延时，能引入更多的固定延 时，并且这些延时可在传输所述音频和视频流之前被测量并把其预编程入所述编译码器。根据本发明的第十四方面，本发明提供了传输用来显示为剔出的对象和/或佩珀 尔幻像的多个视频流的系统，其包括编译码器，以接收所述多个视频流，将所述多个视频流 编码并将已编码的多个视频流传输至远程位置，其中基于所述多个视频信号的其中之一个 而将所述多个视频流为同步锁定(Genlocked)。由于根据本发明的第十四方面的系统保证所述视频流在显示为剔出的影像或佩 珀尔幻像时是同步的，所以是有利的。例如，所述系统可为通信联接系统的一部分，其中在 一个位置拍摄多方/多个对象，并把所产生的多个视频流传输至另一位置。为了保证在显 示视频流时视频流是同步的，所述编译码器将所述视频流同步锁定。可以理解的是，本发明的各方面能够独立地或结合本发明的其他方面使用。


现仅通过例子参照附图描述本发明的实施例，在附图中图1是根据本发明的实施例的远程呈现系统的概要示意图；图2是根据本发明的实施例的编译码器的概要示意图；图3是根据本发明的实施例的摄影设定的概要示意图；图4是根据本发明的实施例的生成佩珀尔幻像的装置的概要示意图；图5是视频影像的帧，概要地显示所述编译码器对所述帧的处理；图6是在根据本发明的另一实施例的远程呈现系统的音频电子设备的概要示意 图；以及图7和8为灯光配置的示意图，其中灯光设定用于拍摄以佩珀尔幻象的形式被投 影的对象。
具体实施例方式图1所示为根据本发明的实施例的远程呈现系统，其包括第一位置1和远离第一 位置1的第二位置2，其中，在第一位置拍摄以佩珀尔幻象的形式被显示的对象，在第二位 置2产生对象的佩珀尔幻象。数据通过双向通讯联接系统20在第一位置1和第二位置2 之间通讯。双向通讯联接系统例如为互联网或多协议标记交换网(MPLS)，两者都可使用虚 拟专用网络或类似网络。参照图1、3、7和8，可为电影工作室的第一位置1包括摄像机12，其用于捕捉例如演员或会议参与者的对象104，以将其以佩珀尔幻象的形式投影在位置2。在互动 的系统中，对象104与位于位置2的人互动，第一位置可包括半透明屏幕108(例如如第 W02005096095或第W02007052005号专利所述的箔)和用于将影像投影至半透明屏幕108 的平视显示器14，以致对象104能够在半透明屏幕108中看到投影影像的反射118。工作 室的地面以黑色材料112覆盖以防止在摄像机的镜头中由于半透明屏幕108的存在而产生 的眩光/闪光。对象104被灯光布置照亮，该灯光布置包括面光灯(front light) 403至409和背 光灯410至416，面光灯用于照亮对象的前面(摄像机12所捕捉的对象的一侧)，背光灯用 于照亮对象的背面和侧面。面光灯403至409包括用于照亮对象104不同部分的灯，在本实施例中，其包括 用于照亮对象的头部和躯干的一对高处面光灯403、404，以及用于照亮对象的腿部和脚 部的一对低处面光灯405、406。面光灯还包括用于照亮对象的眼睛的高眼灯(high eye lights)407,以及用于消除对象的衣服上的阴影的两盏地面补光灯408、409。背光灯410至416还包括用于照亮对象104不同部分的灯。在本实施例中，背光 灯410至416包括用于照亮对象104的头部和躯干的高处背光灯410、411，以及用于照亮对 象104的腿部和脚部的一对低处背光灯412，413。背光灯还包括用于照亮对象104头部和 腰部的高处中央背光灯414。侧光灯415和416照亮对象104的侧面。灯417和418从上方照亮对象105。例如为黑色墙壁的无花纹的背景幕布419提 供了空白的背景幕布。摄像机12包括广角变焦镜头和可调节的快门速度；帧速率可在25至120隔行每 秒帧数(fps)之间调整；以及能够以高至60fps逐行进行拍摄。摄像机12产生的未经处理的数据视频流输入至第一编译码器18的输入端53。编 译码器18可与摄像机12成为一体，或者与其分离。在另一个实施例中，摄像机可向第一编 译码器18输出逐行的、隔行的或其他预先格式化的视频流。第一编译码器18将视频流编码(结合参考图2如下所述)，并且将已编码视频流 通过通讯联接系统20传输至第二位置2。现参照图1和4，第二位置2包括第二编译码器22，其接收已编码视频流并将所述 视频流解码，以使用如图4所示的设备以佩珀尔幻象84的形式显示。该设备包括投影机90，其接收由第二编译码器22输出的已解码视频流，并且向半 透明屏幕92投影基于该已解码视频流的影像，该半透明屏幕被支撑在腿88和支索点96之 间。优选地，投影机90为1080HD，并且既能够处理逐行的视频流，也能够处理隔行的视频 流。半透明屏幕92为如在第W02005096095和/或第W02007052005专利中所述的箔屏幕。观看半透明屏幕92的观众成员100察觉由半透明屏幕所反射到舞台86上的影像 84。观众100在正面的遮光物94和98之间观看影像84。在舞台86的后部提供黑色的帷 幕82，为投影影像提供背景幕布。相应的声音经由扬声器30产生。在一个实施例中，位置2还可包括用于拍摄观众成员100或舞台86上的情节的摄 像机26以及用于在位置2录音的麦克风24。该摄像机既能够处理逐行的视频流，也能够处 理隔行的视频流。将由摄像机26产生的视频流和麦克风M产生的音频流输入至编译码器 22，以传输至位置1。
第一编译码器18将传输至位置1的视频解码，并且平视显示器14投影基于已解 码视频的影像，以致对象104能观看到反射在屏幕108的影像118。通过扬声器16播放传 输到的音频。在本实施例中，编译码器18和22是相同的。然而，可以理解在另一个实施例，编 译码器18和22可以是不同的。例如，如位置2不包括向位置1输出视频和音频流的摄像 机26和麦克风M，则编译码器22可仅为用作接收视频和音频流的解码器，并且编译码器 18可仅为将视频和音频流编码的编码器。第一和第二编译码器18和22与图2中所示的编译码器32相一致。编译码器32 具有视频输入端33和音频输入端35，其中视频输入端用于接收由摄像机12或沈捕捉的连 续的视频流，音频输入端用于接收由麦克风10或M录下的音频流。所接收的视频流被输入 并经过滤波器及时基校正器53，经过滤波和时基校正后的视频信号被输入至视频处理器。 在本实施例中，视频处理器为光学清晰度增强器(optical sharpness enhancer) (OSE) 360 在本实施例中，OSE 36是被显示为编译码器32的一部分，但可以理解在另一个实施例中 OSE 36与编译码器32是可分开的。参见图5，布置OSE以通过以下的方式在视频流的每帧中识别对象202的轮廓 201 扫描视频流的每帧203中的像素，以识别具有高于预定水平的对比度的像素204、204’ 或像素组205 (所示的仅为一部分)、205，，并且在这些像素204、204，或像素组205、205，之 间以连续的线限定轮廓。在图5中，低亮度像素204和像素组205以阴影线表示，高亮度像 素以空白和一系列的点表示。可以理解低亮度像素和高亮度像素的确切光亮度是因应各个像素而不同，并且以 阴影线表示的像素和以空白表示的像素是想去代表一个可能的低亮度和高亮度的范围。通过找出邻近的像素204、204’的亮度之间或邻近的像素组205、205’的亮度之间 的差额，并除以帧203的所有像素的平均亮度而确定对比度。如果像素204、204’或像素 组205、205’之间的对比度高于预定水平，则可确定这些像素构成了帧中对象的轮廓。在用 于产生剔出的对象影像或佩珀尔幻象的典型系统中，对象在深色(通常为黑色)的背景幕 布前被拍摄，以致对象周围的背景是暗的，则就产生了影像，其中低亮度像素204代表了背 景。此外，对象通常由背面和侧面的灯从后方照亮，这些灯在对象边缘的周围产生了光缘， 并因此在对象的周围产生高亮度像素，这与代表背景的低亮度像素形成了对比。通过从一侧到另一侧扫描帧203，OSE 36能够在第一次获取到高对比度(高于预 定水平的对比度)，并且假设预定水平被正确地设定，这应为表示背景的低亮度像素和表示 光缘的高亮度像素之间的边界。扫描过程可以任何适合的方式执行。例如，扫描过程能从单侧开始扫描各个像素， 然后以水平地、垂直地或对角线方向继续扫描，或者从相对侧同时扫描。在前者的情况下， 如果扫描装置从一侧到另一侧扫描过整个帧203，或者，在后者的情况下，如果两个扫描在 中间相遇，其未能在像素或像素组之间探测到高对比度，则OSE 36确定沿着那条轨迹不存
在着对象。识别轮廓可包括比较邻近的像素204、204’以确定该些像素是否具有高于预定水 平的对比度，或识别轮廓可包括比较邻近的像素组205、205’以确定该些像素组是否具有高 于预定水平的对比度。后者的优点在于其可防止OSE 36将噪点失真识别为对象的轮廓。例
13如，通过电子传输及处理视频流，噪点可被引入到帧203中，这在帧203中产生具有高亮度 或低亮度的随机像素206或207。通过比较像素组205、205’的亮度而不是比较单个像素 204,204'的亮度，OSE 36能够区分出噪点和对象的轮廓。在本实施例中，与一组像素组相应的预设数量为三个连续的像素，但一组像素组 可包括其他的像素数量，例如4、5或6个像素。从而通过将预设的像素数量设定为合适的 阀值，处理器不会错误地将零散的噪点识别为对象的轮廓(由噪点产生的像素失真的数量 是远小于由对象的即使小的物体所产生的像素的数量。)在一个实施例中，编译码器32/0SE 36可具有装置去调整形成一组像素组的预设 像素数量。例如，编译码器32/0SE 36可具有用户输入端，其允许用户选定形成一组像素组 的像素数量。这或是可取的，因为用户可设定粒度(granularity)，其中扫描装置基于该用 户相信可能已引入视频流的噪点数量来搜索对象的轮廓。OSE 36通过以下的方法比较像素组205、205，:计算形成像素组的所有像素的亮度 的总和，找出两个像素组的亮度总和之间的差额，并且将该差额除以帧203的平均像素亮 度。如果最终值是高于预定值，则可确定像素组之间的边界构成了对象的轮廓。各个像素 可成为多于一组像素组的部分，例如扫描先比较成一行的第一、第二及第三像素与第四、第 五及第六像素之间的对比度，接着比较该行的第二、第三及第四像素与第五、第六及第七像 素之间的对比度。一旦OSE 36识别出对象的轮廓，OSE 36修改该帧以沿着已识别的轮廓提供带有 高相对亮度的一行像素线(以带点的像素208表示)。例如，带点的像素可带有高于帧203 中其他任何像素的亮度。如图5所示的帧中，轮廓的三个像素已被修改为高相对亮度像素， 而轮廓的其他像素，例如204’，未被修改。各高相对亮度的像素208可与其所替代的相应像 素具有相同色彩。应用高亮度像素208可增强通过已处理视频流所制造的佩珀尔幻象的逼 真感，因为对象周围的明亮的光缘可有助于制造影像是3-D而不是2-D影像的幻象。此外， 通过给高亮度像素208使用相同的色彩，使用高亮度像素208不会致使影像不逼真。OSE 36还使得落在轮廓之外的低亮度像素变成黑色或另一种适用于显示的预先 选定的颜色(通常与背景幕布/帷幕82相同颜色)。在一个实施例中，OSE 36可对帧执行双重扫描，第一重为当帧的色彩位深被降低， 其减少了对比度中的粒度，但允许进行快速扫描，以识别可能为对象的边缘的区域，第二重 为在帧上仅在降低了色彩位深的帧中被识别为边缘的位置的周围区域(例如几十个像素 的宽/高)以全色位深位扫描。此过程可加快找到对象的边缘所花费的时间。参见图2，已处理视频流从OSE 36输出至编码器42。编码器42被设置成将已接 收到的视频流编码至选定的编码格式，例如逐行的视频信号，720p，1080p或隔行的视频信 号，1080i，和/或编码器将视频信号压缩，例如提供可变的位传输率，该可变的位传输率在 无压缩和将视频信号压缩至1. 5Mb/s之间。音频信号也被输入至编码器42，并将其编码至合适的格式。编码可包括将落在轮廓之内的像素编码，同时不顾落在轮廓之外的像素，以形成 已编码视频流。从OSE 36插入的高亮度像素208可识别落在轮廓之内的像素。已编码视频流和已编码音频流被输入至多路复用器46，并且多路复用信号经由信 号馈给接头(signal feed connection) 48输出，经由输入/输出端37输出至双向通讯联
14接系统20。在本实施例中，落入在对象的轮廓之内的像素被分为多个部分，并且各部分可作 为频分多路复用(frequency division multiplexed) (FDM)信号的形式在各自的载体被传 输。频分多路复用会提供额外的带宽，其允许编译码器在原来的时基上拉信号，同时减小压 缩率(如有的情况下)。通过这种方式，减少信号的延时，同时增加所传输的信息。编译码器32还包括切换装置39，其布置为将编码器42在多个模式之间切换，其中 根据不同的编码格式将视频信号编码。切换装置39和编码器42被设置成能够在传输连续 的视频流期间在模式之间切换，即在传输视频流不被打断的情况下发生切换，通过这种方 法以防止视频流在位置2或1被连续地(实时地)投影以产生佩珀尔幻象。切换装置39 使得编码器42对所接收到的控制信号作出反应而切换模式，在本实施例中，所接收到的控 制信号来自由用户促动的开关41或43。编译码器32还接收来自双向联接系统20的已编码视频和音频流，并且馈 给接头48将该已接收的信号导向多路解复用器50。该视频和音频流被多路解复用 (demultiplex)，并将已被多路解复用的信号输入至译码器44。设置译码器44以将已接收到的视频流从选定的编码格式(例如逐行的视频信号， 720p, 1080p或隔行的视频信号，1080 )解码，和/或将视频信号解压以产生适用于显示的 视频流。已解码视频流被输入至时基校正器40，并经由输出端47输出至显示器90或20。 已解码音频流被输入至校正信号扩展的均衡器38，并经由输出端49输出音频流至扬声器 30 或 16。设置切换装置45以将译码器44在多个模式之间切换，其中根据不同的编码格式 将视频信号解码。设置切换装置45和译码器44，以致能够在传输连续的视频流的期间在模 式之间切换，即在传输视频流不被打断的情况下发生切换，通过这种方法以防止视频在位 置1或2被连续地(实时地)投影。切换装置45使得译码器45对所接收到的控制信号作 出反应而切换模式，在本实施例中，所接收到的控制信号来自由用户促动的开关43或41。 在本实施例中，编译码器18的切换装置45对由用户促动的开关43作出反应，并且编译码 器22的切换装置45对由用户促动的开关43作出反应。编码器42和译码器44可还能够根据系统的需要将视频影像从一种大小或分辨率 转化成另一种大小或分辨率。这允许系统根据需要投影和/或传输的视频影像而作出适 应。例如，视频影像可能以窗口的方式投影在更大的影像内，并因此需要减小该视频影像的 大小和/或分辨率。或者或额外地，该视频影像可基于可用的带宽而缩放。例如，如果没 有足够的带宽以承载4 4 4的信号，可将该影像按比例由4 :4:4 RGB信号缩放到 4:2:2 YUV信号。为了减小信号的延时，这可能是需要的，以致例如能够在佩珀尔幻象 的对象和位于显示佩珀尔幻象的位置的真人之间进行“问答”环节。设置带有集成缩放器 在其中的编译码器意味着无需使用单独的视频缩放器，这减少了设置另一层硬件的需要， 而设置另一层硬件会增加系统的复杂性。设置编译码器32以向音频流施加延迟，以确保视频和音频流在其被发送的位置 同步地显示/发出声音。编译码器32还被设置为提供回波消除。在一个实施例中，所施加 到音频流的延迟是可变的延迟，其基于在传输视频和音频信号期间所测定的信号延时而确定。图6显示了编译码器的设定，其能够实现所述的音频延迟。在如图6所示的编译码器 设定中，音频延迟模块/音频消除模块301、301’位于音频输入端335、335’和音频输出端 343,343'之间，并且施加于音频输出的可变延迟是基于如下所述的方法。编译码器32是编程了固定的时间延迟，并且在传输视频和音频流的期间，编译码 器318或322周期性地向另外一个编译码器322或318传输测试信号(因特网包探索器 (ping))。另外一个编译码器322或318向编译码器318或322发送回波反应，以对收到测 试信号作出反应。从发送测试信号和收到回波反应之间的时间，编译码器318、322能够确 定传输的信号延时。通过将该信号延时加入固定的延迟内而确定瞬时的总时间延迟，此总 时间延迟被引入至音频流。预先编程的固定的时间延迟是用于考虑到来自于其他来源的音频信号的传输延 迟，而不是编译码器318、322之间的传输延迟。例如，由处理视频流而产生的信号延时以及 用于输出已传输音频的扬声器316、330内的延时可导致延迟。固定的时间延迟可在音频和 视频流传输前通过以下方式确定将所有的麦克风310、3M和扬声器316、330设定至参考 水平，接着将IKHz脉冲(例如具有几毫秒或几十毫秒的持续时间)以固定的分贝水平(例 如-18dB FS)发送至编译码器318、322的输入端，并测定该脉冲从编译码器的输出端被传 输出来所花费的时间，该脉冲横过音频系统而被传输至另一个编译码器322、318，例如从扬 声器318、330传输至与另一个编译码器322、318连接的麦克风310、324，然后返回至另一个 编译码器322、318的输入端，再返回至第一编译码器318、322。这提供了系统中用于传输脉 冲的总延迟。接着以如上所述的方法测定沿着传输线320的信号延时，并且从所测定的总 延迟中减去该已确定的信号延时。这为音频提供了固定的时间延迟，该固定的时间延迟不 是来自于该两个编译码器318、322之间的传输，而是来自其他来源。如上所述，视频和音频流的传输过程中，能将已测定的信号延时(可变的时间延 迟)加入到固定的时间延迟以在系统中提供瞬时的总时间延迟，这已确定的瞬时时间延迟 是用于消除回波。通过将输入至输入端的音频流分至编译码器318、322，并将其中一个被分流的音 频流输入至回波消除模块301、301’而实现回波消除。回波消除模块318、322还接收由编 译码器318、322确定的瞬时的固定的总时间延迟。回波消除模块318、322延迟其所接收到 的音频流，并将该音频流倒相。该已延迟及倒相的音频流则叠加在输出的音频流上，以(至 少部分地)消除在输出的音频流内输入的音频流的回波。在一个实施例中，多个视频和音频流可在编译码器18、22、318、322之间传输。例 如，可在第二位置2拍摄舞台上的例如表演者的人(未图示)以及一名或多名的观众成员 100，并且与这个视频拍下相关的视频和音频流经由编译码器318、322传输至位置1，该视 频流以剔出的对象影像和/或佩珀尔幻象的形式在该位置1显示。为了确保多个视频流的 显示是同步的，多个视频流是基于多个视频信号中的其中一个(例如，舞台上的人的视频 流)而同步锁定的(Genlocked)。在一个实施例中，系统容许在第一位置1正被拍摄的对象104观看来自第二位置2 的不同的视频档，该视频档包括一个或多个以下的档由位于舞台前方的固定摄像机所拍 摄的舞台86上的人、由摄像机所拍摄的舞台86上的人给观众(包括对象的佩珀尔幻象)提 供全景、由摄像机所拍摄为舞台工作人员提供全景，以及其中一名或多名观众成员100。对象可以选择观看哪一个视频流，并且或或者可以选择改变各个视频流中正被拍摄的内容。 相应地，该对象可能够进行虚拟飞越第二位置2，以能够观看到被一个或多个摄像机所捕捉 到的第二位置2的多个不同的元素。这可通过对象104可用到的触摸屏界面(未图示)而 执行。该界面允许对象104与编译码器18，22，318，322互动，其可包括场地的视觉景观/ 视野角度。该场地可为显示多点广播(multi-point broadcast)的地图上的场地或者其可 为其他参与者的一览表，对象104可选定一览表以观看完整的视频流。在传输多重视频流的系统中，可提供编译码器盒，其包括用于传输各个视频流的 多个可拆卸的个别编解码模块32 (blades)。例如，位置2可包括两个视频摄像机，其中一个 用于拍摄舞台86上的情节，另一个用于拍摄观众成员100，两个视频流都可被传输至位置 1，以在平视显示器上投影。为此，可需要个别编译码器32，每个视频流各需要一个。使用中，摄像机12拍摄对象104，并且所产生的视频流在操纵员105(例如制片 人)的控制下输入至第一编译码器18。第一编译码器18根据选定的格式将视频信号编码， 并且将已编码视频流传输至编译码器22。编译码器22将视频流解码，并将已解码视频流输 入至投影机90，投影机基于视频流投影影像以产生佩珀尔幻象84。控制员105在拍摄过程中观察对象104，并且如果该观察者认为特定的需要(例如 对象104增加移动或显示文字或图像)正在发生或在不久的将来将会发生，控制员105操 作切换开关41以使编译码器18和22切换模式而使用不同的编码格式。例如，当显示文字 或图像时，控制员105可选定逐行编码格式；当对象104有很大的动作时，控制员105可选 定高度压缩的隔行编码格式；或当片段/正被拍摄的对象包括许多细微而复杂的细节并且 不希望在视频流的压缩过程中丢失这些细节时，控制员105可选定未压缩的隔行编码格式 或逐行编码格式。在一个实施例中，切换开关为计算机屏幕上的菜单，其允许控制员105选 定所想要的编码格式。在一个实施例中，系统还包括记录位于位置2的观众成员或其他人的摄像机24， 以在平视显示器14/118上显示。以与视频流正被从位置1传输至位置2的相同方式，位于 位置2的控制员可操作切换开关43以切换编译码器22以不同的格式将正被从位置2传输 至位置1的视频流编码，并且控制员可操作切换开关43以切换编译码器18而基于摄像机 26所拍摄的片段使用不同的格式将视频流解码。在另一个实施例中，在各个位置的操作员或其他人可以互相进行通讯，以对影像 84或118的任何的质量下降提供反馈，并且操作员可使编译码器18，22基于该反馈而切换 编码格式。在另一个实施例中，面光灯403至409发光，该光具有与背光灯410至416所发出 的光不同的特征频率光谱。例如，面光灯403至409可为钨丝灯，卤素灯或弧光灯，背光灯 410至416可为LED灯。设置编译码器18以识别对象的轮廓，这是根据邻近的像素204、 204’或像素组205、205’的不同频率组分的相对强度的差别而识别对象的轮廓，而不是根据 录制的视频的像素204、204’或像素组205、205’的相对亮度而识别对象的轮廓。通常，视频的各个像素包括不同的频率组分，例如红、蓝、绿(RGB)。各个频率组分 的强度取决于照亮该像素所捕捉的区域的光的特征光谱。相应地，通过比较各个像素的频 率组分的相对强度，而可以识别该点是主要由面光灯404至409发出的光所照亮的，还是主 要由背光灯410至416发出的光所照亮的。主要由面光灯404至409发出的光照明的区域为对象104，其中面光灯403至409发出的光被对象反射。主要由背光灯410至416发出的 光照亮的区域为对象104外缘的周围。因此，通过比较邻近的像素或像素组的频率组分的 相对强度，能够识别对象104的轮廓。在另一个实施例中，系统包括用于探测可用带宽的装置，其自动地生成控制信号 以将编译码器切换至适合于所可用带宽的不同模式。例如，如果测定的信号延时升高至超 过预定水平，可将编码格式从逐行的切换为隔行的，或者切换至更高的压缩率。在另一个实施例中，设置编译码器18和22以分配带宽给不同的数据流(例如视 频数据流、音频数据流及控制数据流)，其中如果编译码器18和22识别到音频数据流或控 制数据流的减少，其将这可用带宽重新分配至视频流。在一个实施例中，编译码器18和22可被设置为自动地确定接收到的已编码视频 流的编码格式，并且被设置为切换至使用正确的解码格式将已编码视频流解码。可以理解编译码器18和20可以在软件或硬件的方式执行。可以理解可对本发明做出改变和调整而不偏离权利要求的范围。
权利要求
1.编译码器，包括接收连续的视频流的视频输入端，将所述视频流编码以产生已编码 视频流的编码器，传输所述已编码视频流的视频输出端以及在编码过程中将所述编码器在 第一模式和第二模式之间切换的切换装置，在所述第一模式中所述视频流根据第一编码格 式被编码，在所述第二模式中所述视频流根据第二编码格式被编码。
2.编译码器，包括接收已编码视频流的视频输入端，将所述已编码视频流解码以产生 已解码视频流的译码器，传输所述已解码视频流的视频输出端以及在解码过程中将所述译 码器在第一模式和第二模式之间切换的切换装置，在所述第一模式中所述已编码视频流根 据第一编码格式被解码，在所述第二模式中所述已编码视频流根据第二编码格式被解码。
3.根据权利要求1或权利要求2所述的编译码器，其中所述切换装置对外部控制信号 作出反应将所述编码器/译码器在所述第一模式和所述第二模式之间切换。
4.根据前述权利要求中任一项权利要求所述的编译码器，其中所述编译码器能够改变 所述视频流的视频影像的分辨率和/或大小。
5.远程呈现系统，包括拍摄被显示为剔出的对象影像和/或佩珀尔幻像的对象的摄像 机，接收由所述摄像机产生的视频流和输出已编码视频流的根据权利要求1所述的第一编 译码器，把所述已编码视频流传输至根据权利要求2所述的在远程位置的第二编译码器的 装置，该第二编译码器被设置成将所述已编码视频信号解码并把该已解码视频信号输出至 装置以基于所述已解码视频信号生成所述剔出的对象影像和/或佩珀尔幻像，以及被设置 成产生控制信号以使得所述第一编译码器在所述第一模式和所述第二模式之间切换的用 户操作的切换开关。
6.根据权利要求5所述的远程呈现系统，其中所述用户操作的切换开关被进一步设置 成产生使所述第二编译码器在所述第一模式和所述第二模式之间切换的控制信号。
7.根据权利要求6所述的远程呈现系统，其中所述第二编译码器被设置成自动地确定 所述已编码视频流的编码格式，并进行切换以使用正确的(第一或第二)模式将所述已编 码视频流解码。
8.产生对象的远程呈现的方法，包括拍摄所述对象以产生连续的视频流，把所述视频 流传输至远程位置以及在所述远程位置根据所传输的视频流生成剔出的对象影像和/或 佩珀尔幻像，其中传输所述视频流包括在传输所述视频流的过程中基于所拍摄的情节的变 化从多个编码格式中选择不同的格式以及在传输过程中把所述编码格式改变为所选择的 编码格式。
9.根据权利要求8所述的方法，其中所述情节的变化是所述对象的移动多少的变化、 对所述对象的照明的变化、所述被拍摄对象与在所述远程位置的人的互动程度的变化和/ 或在所显示的影像中加入文字或图像。
10.参照图2大体上如本文所述的编译码器。
11.参照图1至8大体上如本文所述的远程呈现系统。
12.视频处理器，包括接收视频流的视频输入端，传输已处理的视频流的视频输出端， 其中所述处理器被设置成通过扫描各帧的像素以识别邻近一些像素或像素组，而其中所述 邻近的像素或像素组的属性之间的相对差异是高于预定水平，和把所述轮廓限定为这些像 素或像素组之间的连续的线，来识别所述视频流的各帧中的对象的轮廓，并且使落在所述 轮廓之外的像素成为预先选定的颜色。
13.根据权利要求12所述的视频处理器，其中所述相对差异是亮度的对比度。
14.根据权利要求12所述的视频处理器，其中所述相对差异是在所述邻近的像素或像 素组中捕捉到的特征光谱的差异。
15.根据权利要求12至14中任一项权利要求所述的视频处理器，其被设置成大体上实 时地处理所述视频流以致能连续地传输(或至少显示)所述视频流。
16.根据权利要求12至15中任一项权利要求所述的视频处理器，其中识别所述轮廓包 括确定预先设定的连续像素数量，其具有的属性与邻近的预先设定的连续像素数量的属性 成对比。
17.根据权利要求16所述的视频处理器，包括用于调整所述预先设定数量的装置。
18.根据权利要求12至17中任一项权利要求所述的视频处理器，其被设置成修改所述 帧以沿着所识别的轮廓提供带有高相对亮度的像素行。
19.根据权利要求18所述的视频处理器，其中各高相对亮度的像素带有其替代的相应 像素相同的色彩。
20.存储有指令的数据载体，在处理器执行所述指令时，所述数据载体使得所述处理器 接收视频流，通过扫描各帧的像素以识别邻近的像素或像素组，其中所述邻近的像素或像 素组的属性之间的相对差异是高于预定水平，和把所述轮廓限定为这些像素或像素组之间 的连续的线，来识别所述视频流的各帧中的对象的轮廓，并且使落在所述轮廓之外的像素 成为预先选定的颜色并且传输已处理的视频流。
21.拍摄以佩珀尔幻像的形式被投影的对象的方法，该方法包括在带有照亮对象的前 面的一个或多个面光灯和照亮对象背面的一个或多个背光灯的照明布置下拍摄所述对象， 其中所述面光灯发出的光所带有的特征频率光谱与所述背光灯发出的光的特征频率光谱 不同。
22.编译码器，包括接收对象的视频流的视频输入端，将所述视频流编码以产生已编码 视频流的编码器以及传输所述已编码视频流的视频输出端，所述编码器被设置成通过识别 所述对象的轮廓，以及将落在所述轮廓之内的像素编码而无需理会落在所述轮廓之外的像 素来处理所述视频流的各帧以形成所述已编码视频流。
23.根据权利要求22所述的编译码器，其中从限定所述对象的轮廓的高亮度像素以识 别落在所述轮廓之外的像素，并且无需理会所述高亮度像素的轮廓的一侧(外部)的像素。
24.根据权利要求22或权利要求23所述的编译码器，其中所述编码器包括多路复用所 述视频流的多路复用器。
25.根据权利要求M所述的编译码器，其中落在所述对象的轮廓之内的像素被分为多 个部分并且各部分作为频分多路复用信号在各自的载体被传输。
26.编译码器，包括接收视频流和相关音频流的视频输入端，将所述视频和音频流编码 的编码器以及把已编码视频和音频流传输至另一编译码器的视频输出端，其中所述编译码 器被设置成，在传输所述视频和音频流的过程中，定期把测试信号(因特网包探索器)传输 至另一编译码器，接收从另一编译码器对测试信号作出的回波反应，从发送所述测试信号 和接收到回波反应之间的时间确定传输至另一编译码器的信号延时以及为所确定的信号 延时把适当的延时引入所述或另外的音频流。
27.编译码器，包括从另一编译码器接收已编码视频流和相关音频流的视频输入端，将所述视频和音频流解码的译码器以及传输所述已解码视频和音频流的视频输出端，其中所 述编译码器被设置成，在传输所述视频和音频流的过程中，应接收到测试信号(因特网包 探索器)而把回波反应传输至所述另一编译码器。
28.传输用来显示为剔出的对象和/或佩珀尔幻像的多个视频流的系统，其包括编译 码器，以接收所述多个视频流，将所述多个视频流编码并将已编码的多个视频流传输至远 程位置，其中基于所述多个视频信号其中之一个而将所述多个视频流为同步锁定。
29.视频处理器，包括接收视频流的视频输入端，传输已处理视频流的视频输出端，其 中所述处理器被设置成通过扫描各帧的各像素行而识别一些像素或像素组，其对比度由于 与明亮的对象相比之下深色的背景而高于预定水平，并且把这些像素或像素组的其中之一 或二者都修改成亮度比像素或像素组的原本亮度为高，来识别所述视频的各帧中对象的轮 廓。
全文摘要
编译码器，包括接收连续的视频流的视频输入端(33)，将所述视频流编码以产生已编码视频流的编码器(42)，传输所述视频流的视频输出端(37)以及切换装置(39)。所述切换装置用来在编码过程中将所述已编码视频流在第一模式和第二模式之间切换，在所述第一模式中，所述视频流根据第一编码格式被编码，在所述第二模式中，所述视频流根据第二编码格式被编码。本发明还涉及将所述视频流解码的相应的编译码器。在另一方面，本发明涉及识别在视频影像内的对象的轮廓的处理器。
文档编号G03B21/00GK102150430SQ200980136729
公开日2011年8月10日 申请日期2009年7月14日 优先权日2008年7月14日
发明者伊恩·克里斯托弗·奥康奈尔, 阿莱克·豪斯 申请人:穆申Ip有限公司