用于组成视频信号的方法、设备以及安装装置与流程

本发明涉及用于根据多个输入视频信号组成输出视频信号的方法、设备以及安装装置。

背景技术：

已知用于根据多个输入视频信号组成输出视频信号的方法，所述输入视频信号例如为来源于不同的摄像机的多个输入视频信号并且对场景的部分进行可视化。在这些方法中，每个输入视频信号的帧以画布的方式凭借已知为视频拼接的技术布置在虚拟空间中，使得用户可以通过可视窗的方式对所述画布进行可视化。通过可视窗被可视化的内容便利地被编码以形成处于预先确定的分辨率的输出信号。

然而，在已知的方法中，例如，如专利文档us2007/0076099a1中所描述的，通过对每个输入视频信号的所有帧进行编码来得到输出信号，有必要对所有输入视频信号进行解码和重新编码，针对该情况，可能需要高处理能力以对高分辨率输入信号进行解码和重新编码以避免输出信号中的延迟。

因此，本发明的目的为公开允许一种允许实时地根据多个输入视频信号生成视频信号的方法、设备和安装装置以及允许使用高分辨率输入信号而不必包含延迟累积或者要求高计算能力的方法、设备和安装装置。

技术实现要素：

本发明的用于组成输出视频信号的方法是以下中的一个，该方法允许根据多个输入视频信号而构成输出视频信号，所述输入视频信号包括具有与输入分辨率相关联的用于每个输入帧的许多像素的相应输入帧序列，所述输出视频信号包括具有与输出分辨率相关联的用于每个输出帧的预先设定的数量的像素的输出帧序列。该方法有利地允许根据例如表示场景的不同部分的不同的视频信号利用用于来自输入信号的帧的若干部分的每个帧的预先设定的像素以尽可能最高的质量来形成输出视频信号。以该方式，从具有不同分辨率的输入视频信号开始，得到处于预先设立的分辨率的具有最佳质量的输出视频信号。

该方法包括确定三维虚拟空间上的空间表面，以建立可视点和可视窗，也被称为三维虚拟空间中的“视口”，该表面由具有三维坐标的一组点形成，该坐标与每个输入帧序列的每个帧的每个像素相关联，所述可视窗确定三维虚拟空间中的可视锥体，也被称为“视锥体(frustum)”，根据投影在所述可视窗中的输入序列的帧的投影形成输出帧；根据输出分辨率以及所述可视窗的相关联的空间维度，针对可视窗中的像素，计算相关联的阈值像素密度；确定输入帧的组合，该输入帧的组合的投影至少部分地重叠在可视窗中；并且针对帧的每个组合，选择投影在可视窗中的帧的每个组合中的以下帧：所述帧在整个重叠部分中具有的像素密度大于或等于阈值像素密度，或者在没有上述选择的情况下，选择投影在可视窗上的具有较大像素密度的帧以便形成重叠的输出帧部分。以该方式，不打算用于编制成输出信号的较高分辨率输入信号的内容有利地不被处理，这是因为较低分辨率的输入信号已存在，其可以用于以所要求的输出分辨率编制成输出信号而不损失质量。

在一个实施例变型中，确定三维虚拟空间中的空间表面和/或在三维虚拟空间中建立可视点和可视窗的步骤在先前的配置步骤期间通过配置操作者执行，使得操作者仅需要以摄像机或虚拟摄像机的方式移动可视窗以便组成输出视频信号或者多个视频信号，如果存在多个可视窗，则以多个虚拟摄像机的方式。自然地，还可以设想的是，可以进一步调整帧序列的位置，例如，如果还未适当地布置帧序列，或者如果例如提供输入视频信号的摄像机中的一个被稍稍移动，例如由于其被撞击。还可以设想的是，在可视化期间，可以添加新的可视点及其相关联的可视窗，例如，以并入额外的虚拟摄像机。

在令人感兴趣的变型中，空间表面为三维的，所述表面以画布的方式被布置在三维虚拟空间中，帧在该表面上将根据输入视频序列来进行布置，使得帧被布置使得构成如配置操作者所建立的三维形状，使得可以将所述帧布置得回溯合适的三维形状，例如，房子的墙面或以已知方式(例如，凭借三维扫描仪设备)先前捕捉的三维模型。虽然一般地空间表面将会延伸到虚拟空间的三维中，但是还可以设想的是，所述表面可以仅延伸到二维中，即，其可以是平面，使得当将来自不同帧的序列的帧布置在所述平面上时，例如，从具有不同分辨率的帧的序列的帧，或者占用表面的不同部分，或者重叠的帧中，可以对帧进行选择使得凭借本发明的方法，可能基于对可视窗的布置，生出具有最佳分辨率的输出视频信号。

在另一实施例变型中，如果在帧的组合中的一些组合中，存在投影在可视窗上的多个帧在整个重叠部分中具有的像素密度大于或等于阈值像素密度，则从所述多个帧之中选择投影在可视窗上的具有最接近于阈值像素密度的像素密度的帧。以该方式，如果存在提供足够分辨率的多个帧，则仅采用直接大于阈值像素密度的那些帧，这是可以较容易地被处理的。

可以设想的是，可视点和可视窗的大小以及因此可视锥可以凭借控制被修改，例如，以已知方式从用户处接收到的ptz控制，或者可视锥可以通过追踪镜头的方式来移动通过三维虚拟空间，或者移动包含改变三维空间中的任意一个维中的可视点以及类似于凭借真实的物理摄像机可做的任意其它移动，使得可视窗可以被替换并且三维空间的其它区域可以投影其在中，因此用作三维虚拟空间的虚拟可视摄像机。自然地，当三维空间的可视点、窗大小或可视锥改变时，有必要必须重新选择帧的组合中的帧，使得输出信号因此具有合适的分辨率。因此，可以建议的是重新进行计算以便确保输出视频信号是由最合适的输入视频信号组成的。还可以设想的是，例如，如果多于一个的用户必须对三维虚拟空间进行可视化，则可以存在多于一个的三维虚拟空间的虚拟可视摄像机。在该情况中，用于组成输出视频信号的方法必须针对发送至每个用户的输出信号来执行。

根据另一实施例变型，为了形成重叠的输出帧中的部分，在从帧的每个组合中选择的帧与帧的相同组合中的至少另一帧之间进行混合，例如，当仅部分重叠的两个或多个输入帧投影在输出窗中时，使得例如以渐进式梯度掩码或二进制掩码的形式在形成输出帧的不同输入帧之间完成转变。可以仅在重叠部分的末端执行该转变。

根据另一实施例变型，为了形成重叠的输出帧部分，仅使用从帧的每个组合中所选择的帧，例如，当从帧的每个组合中选择的帧覆盖整个可视窗并且因此不必执行转变时。

根据另一实施例变型，根据对帧的像素的分组的投影来计算投影在可视窗上的每个帧的像素密度，优选地，像素的分组可以为每个帧的三角形划分。

根据另一实施例变型，执行选择每个帧组合中的帧的步骤，渐进地对帧进行评估，首先以较低分辨率的输入帧开始，并且以较高分辨率的输入帧结束，使得较低分辨率帧首先被处理，其中，较低分辨率帧可以被处理得较快。

根据另一实施例变型，与虚拟三维空间中的每个输入帧序列的每个帧的每个像素相关联的空间表面形成球形的内部，使得帧与可视点之间是等距的。

根据另一实施例变型，输入视频中的至少一个是由视频摄像机从场景中生成的视频信号，使得输出信号合并实时采集的帧。

根据另一实施例变型，至少两个视频信号适用于形成处于不同分辨率的具有相同内容的至少部分的帧序列，使得如果一个视频信号表示场景的总体视图，而另一视频信号则以较高分辨率表示所述场景的细节，当期望输出信号具有与场景的总体视图的分辨率相似的分辨率时，例如，当可视窗是窄的时，不必对具有细节的其它视频信号进行处理。相似地，当期望仅对所述场景的细节进行可视化时，扩展该场景，可视窗随之较宽，有必要使用具有细节的其它视频信号以形成输出信号。

根据另一实施例变型，视频信号中的至少两个视频信号确定处于不同分辨率的具有相同内容的帧序列，使得一个视频信号可以完全替代另一个以形成输出信号。

根据令人感兴趣的变型，至少两个视频信号来源于相同的摄像机，使得输出可以以不同分辨率的用于摄像机作为输入信号。

根据实施例的变型，视频信号中的至少一个适用于形成帧，帧的内容为视频信号中的另一视频信号的帧的内容的至少部分的虚拟化表示，使得该虚拟化表示可以根据数据集、向量元素或三维模型来生成，使得该虚拟化表示的分辨率可以如期望的一样高。以该方式，如果已知来源于视频摄像机的捕捉的视频信号的帧的内容的部分具有确定的图像，并且该部分被模型化，则该被模型化的部分可以以另一视频信号的形式被提供，使得当不能提供输出分辨率时，可以提供该另一视频信号并且替代具有相同内容的帧的部分。例如，虚拟化表示可以是在另一输入信号的另一帧中以一般方式被可视化的屏幕的内容，使得如果有必要，则一般可视化中的屏幕的内容可以由虚拟化表示替换。

本发明的方法可以被编码在计算机程序中，所述计算机程序适用于当其在计算机中被执行时实现本方法。

一种用于处理数据的设备还公开为包括用于实现本发明的方法的单元，其能够形成安装装置的所述设备，该安装装置还包括一个视频摄像机，使得视频摄像机的输出表示设备的输入信号中的一个。

附图说明

为了对描述进行补充，并且旨在促进对发明的特性的理解，本说明书附有一组附图，在附图中，以示出和非限制的方式对以下进行了描述：

图1描述了实现本发明的方法的系统的功能示图；

图2描述了在配置阶段之后具有可视窗的三维虚拟空间；

图3描述了图2的可视窗的内容；

图4a和图4b描述了阈值像素密度与图3的可视窗中的每个帧的像素密度之间的比较；

图5描述了根据图3的可视窗的内容所形成的输出帧的组成；

图6描述了凭借图2的三维虚拟空间的另一可视窗的可视化；

图7描述了图6的可视窗的内容；

图8a和图8b描述了阈值像素密度与图7的可视窗中的每个帧的像素密度之间的比较；

图9描述了根据图7的可视窗的内容所形成的输出帧的组成；

图10描述了在配置阶段之后具有可视窗的另一三维虚拟空间；

图11描述了图10的可视窗的内容；以及

图12描述了根据图11的可视窗的内容所形成的输出帧的组成。

具体实施方式

图1示出了实现本发明的方法的系统的功能示图，该方法允许根据多个输入视频信号si1,si2,si3…sim来组成输出视频信号so，所述多个输入视频信号包括不同时间空间中的相应的输入帧序列si1[n],si2[n],si3[n]…sim[n]，其具有与输入分辨率ri1,ri2,ri3…rim相关联的用于每个输入帧的多个像素，该输出视频信号包括输出帧序列so[n]，其具有与输出分辨率ro相关联的用于每个输出帧的预先设定数量的像素。输入分辨率ri1,ri2,ri3…rim可以与输出分辨率ro不同。

在发明的范围中，术语分辨率被认为是像素的最大数量，通常指示为可以从视频信号的帧序列的帧中得到的垂直像素和水平像素。

当帧例如在屏幕上被描绘时，根据每单位长度帧的像素的数量，可以确定另一参数，像素密度。通常用于指定像素密度的单位是像素每英寸(ppi)，但是可以使用真实或虚拟长度的任意其它度量。因此，像素密度与像素大小成反比，像素大小为占所述像素的长度的单位。自然地，如进一步所见的当帧在三维虚拟空间中被描绘时，可以对该像素密度和像素大小进行计算。

在所描述的示例中，指示出多个输入视频信号si1,si2,si3…sim，该输入视频信号包括具有用于每个帧的许多像素的相应的输入帧序列si1[n],si2[n],si3[n]…sim[n]。自然地，可以认为的是，任意其它数量的输入视频信号可以被使用并且具有各种分辨率。

凭借本发明的方法，所述方法是由图1中所示的系统实现的，从输入视频信号si1,si2,si3…sim开始进行，所述输入视频信号包括具有不同分辨率的相应的输入帧序列si1[n],si2[n],si3[n]…sim[n]，完成对输出视频信号so进行编制，该输出视频信号的帧包括确定输出分辨率ro的许多预先确定的垂直和水平像素。该输出分辨率ro可以由操作者预先确定或者可以在系统的运行期间被选择。可能的分辨率的示例，即输入ri1,ri2,ri3…rim和输出ro两者，为现有技术中已知的那些，通常准备用于在相同分辨率的屏幕上显示其，所述分辨率可以被认为是高清晰度的以及低清晰度的那些，例如，480i(243×243像素)、576i(288×288像素)、480p(720×480像素)、576p(720×576)、720p(1,280×720像素)、1080io1080p(1,920×1,080像素)、2160p(3,840×2,160像素)-4kuhd-、4320p(7,680×4,320像素)-8kuhd-以及任意其它分辨率。

如图2中可以观察到的，在配置步骤期间，三维虚拟空间1上的空间表面被确定为由具有三维坐标x、y、z的一组点形成，该坐标与每个输入帧序列的每个帧的每个像素相关联。通过示例，示出的输入帧序列的帧占用的空间表面被布置在平面上以有助于对本发明的描述。自然地，还可以遵循其它几何形状对它们进行布置，如进一步将见到的。该形状例如可以遵循球的内部，可视点被布置在球的中心，或者遵循可由诸如房间之类的区域的虚拟化的模型所给出的形状，使得如果不同的输入视频信号来源于所述房间的若干部分，则帧可以布置在所述虚拟化的房间的若干部分上，使得操作者可以以虚拟摄像机的形式移动通过虚拟化的房间，便利地调整帧序列中的每一个的可视角度，该帧序列来源于先前在配置步骤中已被布置在三维模型上的摄像机。自然地，还可以设想的是，可以调整帧序列的位置，例如，如果在配置步骤期间，尚未适当地对帧序列进行布置，或者如果，例如，提供输入视频信号的摄像机中的一个摄像机稍稍移动，例如由于其被撞击。还可以设想的是，在可视期间，可以添加新的可视点及其相关联的可视窗，例如，以并入额外的虚拟摄像机。

还可以设想的是，方法可以用于大场所处的监控功能，在大场所中有必要布置各种摄像机，该摄像机提供处于不同分辨率的来自场所的不同部分的输入视频信号并且可以重叠，使得输入视频信号的帧可以被布置遍及所述虚拟化的场所的部分，所述场所例如为足球体育场或机场。可以设想的是，场所的最关键部分将由允许高分辨率输入视频信号的摄像机拍摄，使得操作者可以使用较高分辨率视频信号以本发明中详细说明的方式来对这些关键部分进行可视化，以便在适当的时候生成输出信号。

自然地，还可以设想的是，可以对不同的输入视频信号及其在三维虚拟空间中的布置进行存储，使得随后可以对不同的输入视频信号及其在三维空间中的布置进行回放，例如以便从另一可视点或以另一细节程度对三维空间进行可视化。

为了对三维虚拟空间进行可视化，在三维虚拟空间中建立可视点(x0,y0,z0)以及可视窗3，也被称为视区，确定图2中所示的三维虚拟空间中的可视锥4，其被称为视锥体。以该方式，输出帧由在相同的时刻投影在所述可视窗3中的输入序列的帧的投影来形成，被便利地编码。在投影在可视窗3中的输入信号的每秒帧的数量与输出信号的每秒帧的数量不同的情况下，如果投影在可视窗3中的输入信号的每秒帧的数量快于输出信号的每秒帧的数量，则必须丢弃一些输入帧，或者如果投影在可视窗3中的输入信号的每秒帧的数量以已知的方式快于输出信号的每秒帧的数量，则甚至将输入帧维持多于一个时刻。

有利地，该方法允许输入信号被解码以便形成输出视频信号，该输入信号提供帧，帧的投影s1’[n]、s2’[n]在投影窗中可见。此外，如果存在输入帧的组合，则输入帧的组合的投影在可视窗3中保持至少部分地重叠，可能不必对重叠的帧的所有输入信号进行处理，也就是说，可能不必对重叠的帧的所有输入信号进行解码，以便对输入信号进行重新编码。

当存在输入帧的组合时，例如，图3中所示的可视窗3，必须首先针对可视窗3中的像素，根据输出分辨率ro以及所述可视窗3的相关联的空间维度来对相关联的阈值像素密度d(so[n])进行计算。该阈值像素密度是图3、图4a和图4b中由输出分辨率给出的像素的数量与可视窗3的表面之间的关系，也就是说，在占用三维虚拟空间中的可视窗3的表面之间划分与输出分辨率相等的像素的总数。以该方式，得到阈值像素密度d(so[n])，根据该密度，如果仅可以得到大于投影的像素密度，则需要插入像素，输出信号随之降低。因此，非常重要的是，一直使用的投影的帧s1’[n]、s2’[n]的像素密度是允许得到期望的输出分辨率的像素密度。自然地，在其它实施例变型中，一直使用的该投影的帧可以与重叠区域中的剩余的帧组合在一起，例如，s1’[n]、s2’[n]用于在可视窗3中重叠的区域中或者在重叠区域的末端进行不同分辨率的帧之间的渐进式的转变，以避免用户能够观察到突然的转变，但是以该方式，必须牺牲所述区域中的输出帧的质量的部分，因为可以设想的是，相比于可能是突然的质量方面的中断，用户较好地容忍用于实现渐进式的转变的质量的损失。

对于其中存在输入帧的组合的可视窗3的该区域而言，不方便一直采用较高分辨率的帧，因为虽然可以确保输入信号的帧的质量一直是所能得到的最佳的，但是这带来了处理成本，如果存在另一输入信号，该信号的投影的帧的像素密度更加合适，则该成本可能不是必需的。

因此，首先，有必要确定输入帧的组合，所述输入帧的组合的投影在可视窗3中是至少部分重叠的，如图3中所示，针对帧的每个组合，选择投影在可视窗3上的帧的每个组合中的如下的帧：所述帧在整个重叠部分中具有的三维虚拟空间1的表达为像素每单位平方的像素密度d(si1’[n]),、d(s2’[n])大于或等于阈值像素密度d(so’[n])，或者在没有该选择的情况下，选择投影在可视窗3上的具有较大像素密度的帧，以便形成重叠的输出帧的部分。

如图3、图4a和图4b中的重叠帧所示，对阈值像素密度d(so’[n])与帧的每一个的投影的像素密度d(si1’[n])、d(s2’[n])之间的比较进行确定，使得针对每个可视窗3，由第一信号的帧的投影所提供的像素密度d(si1’[n])小于阈值像素密度d(so’[n])，如图4a中视觉上可以观察到的，并且由第二信号的帧的投影所提供的像素密度d(s2’[n])大于阈值像素密度d(so’[n])，如图4b中视觉上可以观察到的。

因此，较便利的是，使用第二输入信号的帧的投影s2’[n]来形成在其中投影si2”[n]被部分重叠在输出帧so[n]中的部分，因为第二投影的信号的像素密度是唯一一个大于那些可用的阈值的，而针对可视窗3的剩余部分，当仅有第一输入信号s1的信息可用时，必须根据第一输入信号si1、si1”[n]来形成输出帧序列的相对应的帧的像素，如图5中所指示的。

图6示出了相同的三维虚拟空间的另一可视化，其中另一可视化是来自图7中所示的可视窗3中的投影的，其遵循图8a和图8b中分别比较的输入信号的像素密度均不大于或等于阈值像素密度d(so’[n])，因为如图8a中所示，由第一信号的帧的投影所提供的像素密度d(si1’[n])仍小于阈值像素密度d(so’[n])，并且如图8b所示，由第二信号的帧的投影所提供的像素密度d(s2’[n])也小于阈值像素密度d(so’[n])。

因此，在该情况中，针对帧的组合，从帧的组合中选择具有较大像素密度投影的帧，在该情况中，选择第二输入信号si2”的帧。

可以逐个像素地以及根据帧的像素4的分组的投影两者来对投影在可视窗3上的每个帧的像素密度进行计算。自然地，当逐个像素地计算密度时，计算成本较大，然而，可较好地确定必须使用具有较大或较小像素密度的帧所在的点。已观察到的是，使用以三角形划分的形式对像素5的分组，完成对像素密度的良好估计，例如，如图10的虚拟空间中所示的，第三和第四输入信号si3、si4帧的内容被投影在可视窗3中在图11中示出。自然地，针对该三维虚拟空间1，必须考虑像素的分组5’的投影的角度。可以观察到的是，在图10中所示的示例中，图11中的可视窗3中所示的输出分辨率ro为低，导致阈值像素密度同样低，其低于当渐进地评估帧时投影si3’[n]和si4’[n]的像素密度，渐进地评估帧首先以较低的分辨率输入帧开始，并且以较高的分辨率输入帧结束，可以确定帧si3、si4的帧的组合，投影在可视窗3上的帧si3在整个重叠部分上具有的像素密度d(si3’[n])大于或等于阈值像素密度d(so’[n])。当其它帧的像素密度d(si4’[n])也较大时，仅采用投影在可视窗上的具有的像素密度较接近于阈值像素密度的帧，即si3’[n]。

因此，仅根据帧的投影si3’[n]以输出分辨率ro被重新编码来形成输出信号so[n]的帧的像素si3”[n]，如图12中所示。

有利地，本发明的方法可以用于组合由一个或各种摄像机生成的输入视频信号，其中以不同的分辨率描述了相同内容的至少部分，例如，场景的一部分，并且输入视频信号被组合形成复合视频，也被称为三维虚拟空间中的视频拼接。视频信号也可能以不同分辨率描述相同内容，并且视频信号在配置步骤期间被重叠地布置在三维虚拟空间中。

还考虑的是，视频信号中的至少一个可以适用于形成帧，帧的内容为合成图像，即，由计算机根据向量、数据或者根据三维模型形成使得帧的像素密度在实践中为无限的。