用于生成合并的数字视频序列的方法、设备和系统的制作方法
【专利摘要】本发明涉及视频处理设备，包括：存储器，存储描绘同一场景的第一和第二数字视频序列，第一数字视频序列的像素密度比第二数字视频序列高，使用视频压缩算法对至少第一数字视频序列编码；缩放器，缩放第二数字视频序列以获得像素密度与第一视频序列相同的第二数字视频序列的放大版本；解码器，对第一数字视频序列的帧解码；忽略块识别器，在对第一数字视频序列的经编码的帧解码时，在第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置；块提取器，基于识别出的至少一个忽略块和非忽略块的位置，分别从第二和第一数字视频序列的帧提取对应的像素块；及合并单元，将所提取的像素块合并，从而生成合并的视频序列的帧。
【专利说明】用于生成合并的数字视频序列的方法、设备和系统
【技术领域】
[0001]本发明涉及一种用于生成合并的数字视频序列的帧的方法、视频处理设备和系统。
【背景技术】
[0002]现今，监控设备，尤其是视频记录设备被广泛用于监控不同的处所，例如房屋、路段、地铁站或生产工厂。通过记录监控视频序列，有关事件(例如犯罪、事故或生产故障)的信息可以通过回放监控视频序列来再现(recapitulate)。一种类型的视频记录设备是被布置为捕捉数字视频序列并通过网络(例如互联网)发送数字视频序列的数字监控摄像机。这种数字监控摄像机通常被设定为根据以下内容进行操作。摄像机的组件(包括镜头和图像传感器)捕捉可以被描述为不同波长的光的图像，并且将其变换成电信号。然后将这些信号从模拟格式转换为数字格式。此后，在通过网络发送之前对数字格式信号进行数字图像处理。
[0003]现今的趋势是，摄像机都配备有具备越来越高的图像分辨率的越来越好的图像传感器。这导致通过网络发送的监控数字视频序列数据的量增大。此外，需存储的监控数字视频序列数据的量也增加。因此,监控数字视频序列数据的比特率增加。为了减少监控数字视频序列数据的比特率，通常使用诸如IS0/MPEG或ITU-H.26X系列的视频编码标准等视频编码技术来压缩监控数字视频序列数据。
[0004]在现代数字视频编码系统中，使用两种主要模式来压缩视频帧序列中的视频帧:帧内模式(INTRA-mode)和帧间模式(INTER-mode)。在帧内模式中，通过利用在单个帧的给定信道中像素的空间冗余，经由预测、变换和熵编码来对亮度和色度信道进行编码。帧间模式利用单独的帧之间的时间冗余，通过为所选择的块对从一个帧到另一帧的像素的运动进行编码，而依靠从一个(或多个)先前已解码的帧来预测帧的一些部分的运动补偿预测技术。在帧间模式中，亮度和色度信道不具有任何运动预测。当使用帧间模式进行编码时，通常使用运动检测算法来检测两个帧之间的运动。
[0005]在US8208555中公开了一种用于与仅使用编码相比进一步减少视频数据的比特率的方法。图像捕捉模块被用于捕捉待显示区域的场景并输出图像数据。图像处理器根据第一和第二切割区以及第一和第二收缩率值来转换图像数据，并输出第一和第二子图像。第一切割区包括第二切割区，并且第一收缩率值大于第二收缩率值。图像编码器根据第一和第二编码信息对第一和第二子图像进行编码，并输出第一和第二数字视频序列。网络传输模块被用于将第一和第二数字视频序列传输到接收器。在接收器处，两个数字视频序列被解码并被重构为原始图像数据。
[0006]根据US8208555的方法在以两个图像流的形式从发送设备到接收器传输图像数据的过程中和存储图像数据的过程中均提供了减少的图像数据的比特率。然而，这种减少比特率的方法的缺点是，为了回放所捕捉的场景，与仅对单个经编码的数字视频序列进行解码相比，需要相对较大的处理能力以对两个数字视频序列进行解码并由解码后的两个数字视频序列重构图像数据。
[0007]因此，鉴于上述情况，需要一种方法来减少监控数字视频序列数据的比特率，而不需要使用相对较大的处理能力来回放所存储的视频数据。
【发明内容】
[0008]鉴于上述情况，本发明的一个目的是能够减少数字视频序列的比特率，并且同时提供对视频记录中的编码可靠性的检查。
[0009]特别地，根据本发明的第一方案，提供了一种用于生成合并的数字视频序列的帧的方法。所述方法包括以下步骤:提供第一数字视频序列的帧和第二数字视频序列的帧，第一和第二数字视频序列的帧描绘同一场景，第一数字视频序列的帧具有比第二数字视频序列更高的像素密度，其中使用视频压缩算法对至少第一数字视频序列的帧进行编码；使用缩放器对第二数字视频序列的帧进行缩放，从而获得具有与第一视频序列的帧相同的像素密度的第二数字视频序列的经放大的帧；在使用解码器对第一数字视频序列的经编码的帧进行解码的同时，使用忽略块识别器在第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置；使用块提取器并基于在第一数字视频序列的帧中识别出的至少一个忽略块的位置，从第二数字视频序列的帧中提取至少一个对应的像素块；使用块提取器并基于在第一数字视频序列的帧中识别出的至少一个非忽略块的位置，从第一数字视频序列的帧中提取至少一个对应的像素块；以及使用合并单元将从第二数字视频序列的帧中提取的像素块和从第一数字视频序列的帧中提取的像素块合并，从而生成合并的视频序列的帧。
[0010]词语“同一场景”应被理解为第一数据流中的场景和第二数据流中的场景相同。然而，第一和第二数据流之间的帧速率可以不同。因此，第一和第二数字视频序列在空间上和时间上相似。
[0011]词语“帧”应被解释为构成完整的视频序列的许多静止(或几乎静止)的图像之
O
[0012]词语“像素”应被解释为数字图像中的最小可寻址单元。
[0013]词语“像素密度”应被解释为描绘特定场景的图像的像素的数目。
[0014]词语“块”应被解释为一组像素。通常，块大小为4X4、8X8或16X16像素。然而，对于本发明也可以使用其它块大小。
[0015]词语“忽略块”应被解释为在不发送残差或运动矢量的情况下被编码的块。编码器将仅记录其为忽略块。解码器将从已解码的其它块推导出忽略块的运动矢量。
[0016]在合并的数字视频序列中，因为第一数字视频序列的忽略块被替换为来自第二数字视频序列的图像信息，所以可确保不会遗漏相关的信息。此外，同时，在合并的数字视频序列中为被认为相关的场景的区域保持高水平的细节。这是因为从具有高水平的细节的第一数字视频序列取出了被认为相关的场景的区域(由于其高分辨率)。通常，被认为相关的场景的区域是包含运动、特定类型的物体(例如脸、汽车等)、或被认为对图像的终端浏览者相关的其它信息的区域。此外，合并的数字视频序列具有相对较低的比特率。
[0017]该方法还可以包括使用滤波器对第二数字视频序列的经缩放的帧进行滤波。通过对第二数字视频序列的经缩放的帧进行滤波，可减少和/或平滑由于缩放导致的边缘，有助于生成看起来更好的合并的数字视频序列的帧。
[0018]可以使用视频压缩算法对第二数字视频序列的帧进行编码，其中所述方法还包括使用解码器对所述第二数字视频序列的帧进行解码。通过对第二数字视频序列进行解码，可以减少第二数字视频序列的比特率。
[0019]第一数字视频序列的帧可以是帧间帧。
[0020]视频压缩算法可以是ITU-H.26X、ISO-MPEG, WMV、0n2或WebM兼容的。
[0021]所述方法还可以包括在存储器中存储合并的视频序列的帧。通过将合并的视频序列存储在存储器中，合并的数字视频序列可以供以后用于分析、查看等。
[0022]所述方法还可以包括回放合并的视频序列的帧。
[0023]根据本发明的第二方案，提供了一种计算机可读记录介质，具有记录在其上的程序，所述程序用于在具有处理能力的设备上被执行时实现上述方法。
[0024]当适用时，上面提到的特征也适用于此第二方案。为了避免不必要的重复，可参照上述内容。
[0025]根据本发明的第三方案，提供了一种视频处理设备，被布置为执行记录在上述计算机可读记录介质上的程序。
[0026]根据本发明的第四方案，提供一种用于生成合并的数字视频序列的视频处理设备。所述视频处理设备包括:存储器，被布置为存储描绘同一场景的第一和第二数字视频序列，第一数字视频序列的帧具有比第二数字视频序列更高的像素密度，其中使用视频压缩算法对至少第一数字视频序列的帧编码；缩放器，被布置为对第二数字视频序列的帧进行缩放，从而获得具有与第一视频序列相同的像素密度的第二数字视频序列的放大版本；解码器，被布置为对第一数字视频序列的帧进行解码；忽略块识别器，被布置为在使用解码器对第一数字视频序列的经编码的帧进行解码的同时，在第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置；块提取器，被布置为基于在第一数字视频序列的帧中识别出的至少一个忽略块的位置，从第二数字视频序列的帧中提取至少一个对应的像素块，并且基于在第一数字视频序列的帧中识别出的至少一个非忽略块的位置，从第一数字视频序列的帧中提取至少一个对应的像素块；以及合并单元，被布置为将从第二数字视频序列的帧中提取的像素块和从第一数字视频序列的帧中提取的像素块合并，从而生成合并的视频序列的帧。
[0027]当适用时，上面提到的特征也适用于此第四方案。为了避免不必要的重复，可参照上述内容。
[0028]此外，所述视频处理设备还可包括:分析单元，被布置为分析第一数字视频序列的帧，以识别被认为相关的像素块。
[0029]所述视频处理设备还可以包括:掩码生成器，被布置为输出掩码，所述掩码指示第一数字视频序列的帧中相关的像素块。
[0030]所述视频处理设备还可以包括:编码单元，被布置为使用指示相关的像素块的掩码，将第一数字视频序列的帧编码成第一视频序列的编码版本中的帧，其中使用忽略块对由于不相关而屏蔽掉的像素块进行编码。
[0031]所述视频处理设备还可以包括:图像传感器，被布置为捕捉场景的视频序列；以及图像处理器，被布置为通过图像传感器将所述场景的视频序列处理为描绘同一场景的第一和第二数字视频序列。
[0032]根据本发明的第五方案，提供了一种用于生成合并的数字视频序列的帧的系统。所述系统包括:数字网络摄像机，其包括:图像传感器，被布置为捕捉场景的视频序列；图像处理器，被布置为通过图像传感器将所述场景的视频序列处理为描绘同一场景的第一和第二数字视频序列，第一数字视频序列具有比第二数字视频序列更高的像素密度；分析单元，被布置为分析第一数字视频序列的帧，以识别被认为相关的像素块；掩码生成器，被配置为输出掩码，所述掩码指示第一数字视频序列的帧中相关的像素块；编码单元，被布置为使用指示相关的像素块的掩码，将第一数字视频序列的帧编码成第一视频序列的编码版本中的帧，其中使用忽略块对由于不相关而屏蔽掉的像素块进行编码；以及以太网接口，被布置为通过数字网络传输第二数字视频序列和经编码的第一数字视频序列；以及视频处理设备，其包括:以太网接口，被布置为从数字网络接收第二数字视频序列和经编码的第一数字视频序列；缩放器，被布置为对第二数字视频序列的帧进行缩放，从而获得具有与第一视频序列相同的像素密度的第二数字视频序列的放大版本；解码器，被布置为对第一数字视频序列的帧进行解码；忽略块识别器，被布置为在使用解码器对第一数字视频序列的经编码的帧进行解码的同时，在第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置；块提取器，被布置为基于在第一数字视频序列的帧中识别出的至少一个忽略块的位置，从第二数字视频序列的帧中提取至少一个对应的像素块，并且基于在第一数字视频序列的帧中识别出的至少一个非忽略块的位置，从第一数字视频序列的帧中提取至少一个对应的像素块；以及合并单元，被布置为将从第二数字视频序列的帧中提取的像素块和从第一数字视频序列的帧中提取的像素块合并，从而生成合并的视频序列的帧。
[0033]当适用时，上面提到的特征也适用于此第五方案。为了避免不必要的重复，可参照上述内容。
[0034]应指出的是，本发明涉及记载在权利要求书中的特征的所有可能的组合。
【专利附图】
【附图说明】
[0035]现在将参照示出本发明的实施例的附图，更详细地描述本发明的这些和其它方案。附图不应被认为将本发明限制于具体实施例；相反，它们被用于说明和理解本发明。
[0036]图1是被布置为提供描绘同一场景的第一和第二数字视频序列的数字网络摄像机的示意图。
[0037]图2是根据本发明，被布置为将由图1所示的摄像机捕捉到的第一和第二数字视频序列合并成合并的数字视频序列的客户端的示意图。
[0038]图3是根据本发明，被布置为提供描绘同一场景的第一和第二数字视频序列并将它们合并成合并的数字视频序列的数字网络摄像机的示意图。
[0039]图4是根据本发明，被布置为提供描绘同一场景的第一和第二数字视频序列并将它们合并成合并的数字视频序列的视频编码器设备的示意图。
[0040]图5是根据本发明用于生成合并的数字视频序列的系统的示意图。
[0041]图6是根据本发明用于生成合并的数字视频序列的替代系统的示意图。
[0042]图7是根据本发明用于生成合并的数字视频序列的方法的实施例的框图。
【具体实施方式】
[0043]在下面的描述中，为了说明的目的，列举特定的术语以提供对本发明的充分理解。然而，对本领域技术人员显而易见的，这些特定的细节不是实践本发明所必需的。例如，已参照IS0/MPEG系列(MPEG-1，MPEG-2, MPEG-4)的视频编码标准和ITU-H.26X系列(H.261,H.263及扩展，H.264和HEVC，即将推出的h.265标准)的视频建议描述本发明。然而，相同的技术可以很容易地应用于其它类型的视频编码标准，例如属于WMV系列的微软(Microsoft)编解码器、0n2 编解码器(例如 VP6，VP6-E，VP6-S，VP7 和 VP8)或 WebM。
[0044]通常，待编码的帧被分割成被单独压缩和编码的最小编码单元(块，宏块等)。在帧间模式中，每个块被分配一个或多个运动矢量。通过根据一组运动矢量移位来自过去和/或未来的(多个)帧来构建帧的预测。最后，通过变换编码，以与帧内模式类似的方式对待编码的帧及其运动补偿预测之间的差(被称为残留信号)进行熵编码。
[0045]此外，在帧间模式中，可以使用忽略块(skip block)。对忽略块进行编码，且不发送残差或运动矢量。编码器仅记录其为忽略块。解码器将从已解码的其它块推导忽略块的图像信息。根据本发明，优选地，从数字视频数据的相同帧的块或前一帧的块推导忽略块的图像信息。
[0046]根据帧内模式编码的视频帧不参照任何过去帧或未来帧，被称为1-帧。根据帧间模式编码的视频帧本身是参照作为帧内帧(INTRA-frame)或帧间帧(INTER-frame)的过去帧或未来帧进行编码的单向预测帧(被称为P-帧)，或是参照两个或更多个过去参照帧或未来参照帧进行编码的双向预测帧(被称为B-帧)。P-帧和B-帧均可以包括对不在早期帧中的新数据进行编码的1-块，但它们通常很罕见。
[0047]帧内帧包括:场景变化帧，放置在对应于场景变化的新帧群的开始处，其中没有可用的时间冗余；或刷新帧，放置在有一些可用的时间冗余的其它位置处。通常以规则或不规则的间隔插入1-帧，以使新流编码器具有刷新点，或作为传输错误的恢复点。
[0048]现在将参照附图在下文中更充分地描述本发明，其中示出本发明的当前优选实施例。然而，本发明可以以许多不同的形式实施，并且不应被解释为限于本文所列举的实施例；相反，为充分性和完整性起见提供这些实施例，并且这些实施例向本领域技术人员全面地传达了本发明的范围。
[0049]本发明解决了减少由诸如网络数字视频摄像机等监控设备捕捉的监控视频数据的比特率的问题，并同时提供对视频记录中的编码的可靠性的检查。这通过将描绘同一场景的第一和第二数字视频序列合并成合并的数字视频序列来实现，下面将更详细地讨论。
[0050]图1示出被布置为提供描绘同一场景的第一和第二数字视频序列的数字网络摄像机110。数字网络摄像机110被布置为捕捉和处理(并且还可能存储)视频数据。数字网络摄像机I1包括壳体112、镜头114、图像传感器116、图像处理单元118、包括掩码生成器121的分析单元120、编码单元122、存储器124、CPU126和以太网接口 128。图像处理单元118、分析单元120和/或编码单元122中的任何一个可以被实施为硬件和/或软件。
[0051]数字网络摄像机110被布置为经由以太网接口 128连接到诸如互联网或局域网(LAN)等数字网络。到数字网络的连接可以是有线的或无线的。因此，以太网接口 128可以是适用于lO/lOO/lOOOMbps数据流量的网络端口，如以太网端口、被布置为接收模块化连接器(例如RJ45连接器)的模块化端口。通常，这样的RJ45连接器端口被布置为容置网络电缆，如双绞线电缆(例如，cat5，cat5e或cat6)。可替代地，网络端口的I/O器件可以是使用移动互联网通讯标准(即1G, 2G, 2.5G, 2.75G, 3G, 3.5G, 3.75G, 3.9G, 4G)或使用WiFi的无线I/O器件。
[0052]数字网络摄像机110的摄像机组件(即镜头114和图像传感器116)被布置为捕捉原始图像，其中每个原始图像可以被描述为不同波长的光，且每个原始图像来自不同的物体和物体的部分。然后，将这些原始图像从模拟格式转换成数字格式，并传送到图像处理单元118中。
[0053]图像处理单元118被布置为将相同的原始图像处理为至少两个数字视频序列。
[0054]可替代地，摄像机可以包括两组单独的镜头和图像传感器(未示出)，其中每组被布置为生成监控同一场景的单独的原始图像。由图像处理单元将单独的原始图像进一步处理成至少两个数字视频序列。
[0055]根据另一替代方案，摄像机可以包括一个镜头、分束器和两个图像传感器(未示出)，其中分束器被布置为在两个不同的图像传感器上对同一场景单独成像，生成单独的原始图像。由图像处理单元将单独的原始图像进一步处理成至少两个数字视频序列。
[0056]根据又一替代方案，摄像机包括两个图像处理单元(未示出)。第一图像处理单元被布置为提供第一数字视频序列，并且第二图像处理单元被布置为提供第二数字视频序列。
[0057]因此，图像处理单元118被布置为提供描绘同一场景的第一和第二数字视频序列，即，第一和第二数字视频序列在空间上和时间上相似(similar)。第一和第二视频序列可以具有不同的巾贞率。使用时间戮或巾贞编号来同步具有不同巾贞率的两个视频序列。例如，一个视频序列中的帧是另一个视频序列的帧率的分数(fract1n)，例如具有1:2的比例。并行记录第二数字视频序列与第一数字视频序列。图像处理单元118被布置为将第一数字视频序列生成为具有比第二数字视频序列更高的像素密度。因此，第二数字视频序列的比特率比第一数字视频序列的比特率低得多。根据本发明的一个实施例，图像处理单元118被布置为提供具有与图像传感器116大致相同的像素密度的第一数字视频序列以及像素密度为图像传感器116的像素密度的分数的第二数字视频序列。例如，第二数字视频序列的像素密度可以在每个方向上被划分为四份。换句话说，图像传感器116被布置为捕捉原始图像，并且图像处理单元118被布置为处理原始图像以获得两个对应的图像序列；具有第一像素密度的第一图像序列和具有第二像素密度的第二图像序列，第一数字视频序列具有比第二数字视频序列更高的像素密度。
[0058]分析单元120被布置为分析第一数字视频序列的帧，以识别被认为相关的像素块。通常，被认为相关的像素块是包含运动、特定类型物体(例如脸、汽车等)、或被认为对于图像的终端浏览者相关的其它信息的像素块。分析单元120还包括掩码生成器121，掩码生成器121被布置为输出指示相关的像素块的掩码(mask)，例如二进制掩码。应当指出的是，对于第一数字视频序列的不同图像，掩码可以不同。在不同的实施例中，分析单元还可以使用来自第二数字视频序列的信息，使用基于金字塔的算法来分析图像，该算法使用低分辨率版本来加快分析算法。
[0059]编码单元122被布置为使用诸如IS0/MPEG或ITU_H.26X系列的视频编码标准等视频编码技术对数字视频序列进行编码。
[0060]编码单元122被布置为使用指示相关的像素块的掩码将第一数字视频序列的帧编码成第一视频序列的编码版本中的帧。使用忽略块对由于不相关而屏蔽掉的像素块进行编码。
[0061]为了减少第一数字视频序列的比特率，同时保持高像素密度，比正常编码期间更频繁地使用忽略块。忽略块被用于避免对不相关的图像部分编码。通常不被认为相关的部分的例子是不包含运动的图像部分和/或属于背景的图像部分，该背景通常是场景的静态部分。因此，通过使用不同的滤波器和算法处理初始数字视频序列中的图像来得到第一数字视频序列，以找到第一视频序列中对用户相关的进而应被编码的部分。不同的滤波器或算法均基于检测运动，但有不同的复杂度。用户可以配置在场景中被认为相关的部分。因此，取决于所使用的滤波器或算法和/或由用户做出的设定，编码单元122被布置为以不同的编码模式被设定。例如，编码单元122可以被设定为使得在第一视频序列中对脸而不是猫进行编码。因此，由视频运动检测算法和/或滤波器控制使用忽略块。优选地，视频运动检测算法基于时空视频分析。可以使用的视频运动检测算法和滤波器的一些例子为:
[0062]基于“变化检测”的算法。根据这个算法，逐个像素地将图像与先前图像比较，以便找到图像和先前图像之间的像素变化。
[0063]基于“运动检测”的算法。根据这个算法，将图像与先前图像比较，从例如光照变化中滤出“真正的”运动。这可以例如通过应用时空视频分析来执行；例如，Almbladh在US8, 121，424中描述了用于时空视频分析的方法。
[0064]基于“物体运动检测”和“物体分类”的算法。根据这个算法，分析检测到的运动以检测移动的被跟踪物体，从而检测出曾运动但暂时静止的物体。因此，根据这个算法，例如，物体可以被分析和分类为，例如“人”、“车辆”、“汽车”、“动物”、“脸”等。为了对物体分类，可以使用V1la和Jones在US7，099，510中描述的方法。
[0065]上述不同的滤波器和算法通常建立在彼此之上以逐步实现更高程度的复杂度。
[0066]优选地，所使用的视频运动检测算法被布置为从光线的变化以及由于摄像机振动引起的全局变化、由于例如热和摇曳的树叶、灌木等引起的大气运动中分离出真实运动。然而，通过将视频运动检测算法设定为只检测超过一定水平的运动，最有可能的是，具有低于设定运动水平的运动的场景内的区域不会被更新，并定格(freeze)在第一数字视频序列中。因此，不被识别为具有真实运动区域的区域(作为不相关的区域的例子)比被识别为具有真实运动区域的区域，被以更低的刷新率进行更新(频繁使用忽略块对这些区域的块进行编码)。被识别为具有真实运动区域的区域在不使用忽略块的情况下(因此，以全帧速率和质量)被编码。以一定的间隔插入正常的I帧以利于以后的视频搜索和/或以更新可用于划分背景(通常为场景的静态部分)中的图像和描绘场景中运动的前景的场景的背景模型。当检测到新的运动(例如新的运动物体进入场景)时，还可以插入自适应的I帧。
[0067]编码单元122还被布置为将第二数字视频序列编码成第二视频序列的编码版本。优选地，不使用用于识别相关区域的掩码，即，不使用比正常时更多的忽略块，来对第二数字视频序列进行编码。可替代地，分析单元120被布置为分析第二数字视频序列的图像，以识别被认为相关的像素块并且输出指示相关的像素块的掩码，例如二进制掩码。然而，如果这样，则当分析第二数字视频序列的图像时，对于用户不认为是相关的并且因而用忽略块进行编码的部分使用相对更高的阈值。例如，如果将物体运动检测和目标分类应用于第一视频序列，则可以替代地将基本的变化检测应用到第二数字视频序列(而不对全局变化进行滤波等)。通过不使用忽略块或者至少使用比第一视频序列更高的忽略块的阈值，在对第二数字视频序列进行编码时，确保不遗漏第二数字视频序列中的相关的区域。可以以与第一视频流不同的质量设定值(量化值)或比特率目标对第二流进行编码。
[0068]第一数字视频序列的编码版本和第二数字视频序列的编码版本可以经由以太网接口 128通过数字网络直接传输。可替代地，第一数字视频序列的编码版本和第二数字视频序列的编码版本可以存储在存储器124中用于以后经由以太网接口 128通过数字网络传输第一和第二数字视频序列的编码版本。存储器124可以是任何类型的易失性或非易失性存储器。此外，存储器124可以包括多个存储器构件。多个存储器构件中的至少一个可以用作缓冲存储器。
[0069]在图2中，示出被布置为接收和合并第一和第二视频序列的编码版本的客户端210。客户端可以例如是视频管理服务器。客户端210包括编码器单元222、存储器224、CPU226、以太网接口 228、包括忽略块识别器232的解码器230、包括滤波器235的缩放器234、像素识别器236、块提取器237、合并单元238和显示器接口 240。编码器单元222、包括忽略块识别器232的解码器230、包括滤波器235的缩放器234、像素识别器236、块提取器237和/或合并单元238中的任何一个可以被实施为硬件和/或软件。
[0070]像素识别器236、块提取器237和合并单元238可以一同被实现为多路转换器。在这种情况下，两个视频序列中的图像的分辨率和掩码需要相同。通常，掩码具有比视频序列更低的分辨率(因为其处理像素块)。缩放器可用于缩放视频序列以及掩码，从而可以为此使用多路转换器。
[0071]替代方案是将像素识别器236、块提取器237和合并单元238实施为单独的单元，并且在这种情况下，合并单元238可以被实施为多路转换器。
[0072]客户端210的存储器224可与数字摄像机110的存储器124相当；因此，为了避免不必要的重复，可参照上文的描述。
[0073]经由以太网接口 228接收描绘同一场景的第一和第二数字视频序列的编码版本。客户端210的以太网接口 228可与数字视频摄像机110的以太网接口 128相当，因此，为了避免过度的重复，可参照上文的描述。
[0074]解码器230被布置为对第一和第二数字视频序列的编码版本进行解码。
[0075]在对第一数字视频序列的编码版本的帧进行解码的同时，忽略块识别器232被布置为识别第一数字视频序列的编码版本的帧的忽略块。通过识别第一数字视频序列中帧的忽略块，可以生成在第一数字视频序列的帧中识别相关的区域的掩码，例如二进制掩码。相关的区域为不包含忽略块的区域。
[0076]缩放器234被布置为放大(upscale)解码后的第二数字视频序列的帧，以便获得具有与第一视频序列的帧相同的像素密度的经放大的第二数字视频序列的帧。缩放器234被布置为放大第二数字视频序列的全部帧以适配(fit)于第一视频序列的帧。通常，通过内插已知的像素值来计算第二数字视频序列的帧的新的像素值。可以用不同的复杂度来执行内插，一个简单的方法是应用线性内插。
[0077]滤波器235被布置为对经放大的第二数字视频序列的帧进行滤波以去除放大伪影(artifact)。将滤波器应用于整个经放大的图像。通常，通过应用本领域中已知的边缘检测、模糊化和锐化算法的混合，使用滤波器以平滑来自放大的边缘。
[0078]像素识别器236被布置为分析第一数字视频序列中帧的掩码，以识别不被认为相关的像素块的位置。像素识别器236还被布置为识别第二数字视频序列的经放大的、经滤波的和在对应时间中的帧的像素块，其中识别出的第二数字视频序列的经放大的、经滤波的和在对应时间中的帧的像素块，对应于在第一数字视频序列的帧中被识别出的不被认为相关的像素块。因此，在第一视频序列的帧中，被识别出的不被认为相关的像素块的位置被用于从第二数字视频序列的经滤波的、经放大的和在对应时间中的帧中提取对应的像素块。从第二数字视频序列中提取像素块由块提取器237执行。
[0079]像素识别器236还被布置为分析第一数字视频序列中帧的掩码，以识别被认为相关的像素块的位置。因此，在第一视频序列的帧中，识别出的被认为相关的像素块的位置被用于从第一视频序列中提取对应的像素块。从第一数字视频序列中提取像素块由块提取器237执行。
[0080]合并单元238还被布置为合并从第一数字视频序列提取的像素块与从第二数字视频序列的经滤波的、经放大的和在对应时间中的帧提取的像素块，以获得合并的视频序列的合并帧。如上所述，合并单元238可以被实施为多路转换器。来自第一数字视频序列和来自第二数字视频序列的经放大的、经滤波的和在对应时间中的帧，以及用于将第一数字视频序列的帧的忽略块识别作为控制将图像帧的哪个部分合并的控制信号的掩码，被用作多路复用器的输入。
[0081]在合并之后，可以应用第二滤波器(未示出)以进一步平滑已合并的图像部分周围的边缘。
[0082]合并的数字视频序列也可以借助于编码器单元222进行编码。
[0083]可以使用显示器接口 240将合并的数字视频序列传输到显示器。显示器接口 240可以例如是HDMI接口。可替代地，合并的数字视频序列可以经由以太网接口 228通过数字网络传输。此外，可替代地，合并的数字视频序列可以被存储在存储器224中用于以后使用显示器接口 240传输到显示器，或者用于以后经由以太网接口 228通过数字网络传输。
[0084]在合并的数字视频序列中，因为第一数字视频序列的忽略块被替换为来自第二数字视频序列的图像信息，所以可确保不会遗漏关于相关的区域的信息。此外，如果用视频编码器进行编码，则合并的数字视频序列具有相对低的比特率。
[0085]图3示出被布置为提供描绘同一场景的第一和第二数字视频序列并将它们合并成合并的数字视频序列的数字网络摄像机310。数字网络摄像机310被布置为捕捉和处理(并且还可能存储)视频数据。数字网络摄像机310包括壳体312、镜头314、图像传感器316、图像处理单元318、包括掩码生成器321的分析单元320、编码单元322、存储器324、CPU326、以太网接口 328、包括忽略块识别器332的解码器330、包括滤波器335的缩放器334、像素识别器336、块提取器337、合并单元338和显示器接口 340。图像处理单元318、分析单元320、编码单元322、包括忽略块识别器332的解码器330、包括滤波器335的缩放器334、像素识别器336、块提取器337和/或合并单元338中的任何一个可以被实施为硬件和/或软件。
[0086]数字网络摄像机310的组件的操作非常类似于上面给出的数字网络摄像机110和客户端210的对应组件的操作，因此，为了避免不必要的重复，可参照上述描述。
[0087]根据数字网络摄像机310的一个实施例，数字网络摄像机310被布置为根据以下进行操作:
[0088]图像传感器316捕捉原始图像；
[0089]图像处理单元318被布置为处理原始图像以获得两个对应的图像序列；具有第一像素密度的第一图像序列和具有第二像素密度的第二图像序列，第一数字视频序列具有比第二数字视频序列更高的像素密度；
[0090]分析单元320分析第一数字视频序列的图像，以识别被认为相关的像素块，并且使用掩码生成器321输出指示相关的像素块的掩码，例如二进制掩码；
[0091]编码单元322被布置为使用指示相关的像素块的掩码，将第一数字视频序列的图像编码成第一视频序列的编码版本中的帧。使用忽略块对由于不相关而屏蔽掉的像素块进行编码；
[0092]编码单元322还被布置为将第二数字视频序列编码成第二视频序列的编码版本；
[0093]第一数字视频序列的编码版本和第二数字视频序列的编码版本被存储在存储器324 上；
[0094]解码器330对第一和第二数字视频序列的编码版本进行解码；
[0095]在对第一数字视频序列的编码版本的帧进行解码的同时，忽略块识别器232识别第一数字视频序列的编码版本的帧的忽略块。通过识别第一数字视频序列中帧的忽略块，生成在第一数字视频序列的帧中识别相关的区域的掩码，例如二进制掩码。相关的区域为不包含忽略块的区域；
[0096]缩放器234放大解码后的第二数字视频序列的帧，以便获得具有与第一视频序列的帧相同的像素密度的经放大的第二数字视频序列的帧；
[0097]滤波器335过滤经放大的第二数字视频序列的帧以去除放大伪影；
[0098]像素识别器336分析第一数字视频序列中帧的掩码，以识别不被认为相关的像素块的位置；
[0099]块提取器337使用识别出的不被认为相关的像素块的位置来从第二数字视频序列的经滤波的、经放大的和在对应时间中的帧中提取对应的块；
[0100]像素识别器336分析第一数字视频序列中帧的掩码，以识别被认为相关的像素块的位置；
[0101]块提取器337使用识别出的被认为相关的像素块的位置来从第一数字视频序列中的帧中提取对应的像素块；
[0102]合并单元338还合并从第一数字视频序列提取的像素块与从第二数字视频序列的经滤波的、经放大的和在对应时间中的帧中提取的像素块，以获得合并帧；
[0103]以与上述类似的方式处理第一和第二数字视频序列的随后的原始帧，用于生成用于产生合并的数字视频序列的随后的合并帧；
[0104]可以使用显示器接口 240将合并的数字视频序列传输到显示器。可替代地，合并的数字视频序列可以由编码单元322编码，并且之后经由以太网接口 228通过数字网络传输，或被存储在存储器324中供以后使用。
[0105]客户端210、数字网络摄像机310是根据本发明用于生成合并的数字视频序列的帧的视频处理设备的例子。根据本发明用于生成合并的数字视频序列的帧的视频处理设备的另一例子是图4所示的视频编码器设备410。视频编码器设备410包括模拟视频输入411、壳体412、视频数字化仪413、图像处理器418、包括掩码生成器421的分析单元420、编码单元422、存储器424、CPU426、以太网接口 428、包括忽略块识别器432的解码器430、包括滤波器435的缩放器434、像素识别器436、块提取器437、合并单元438和显示器接口440。视频数字化仪413、图像处理器418、分析单元420、编码单元422、包括忽略块识别器432的解码器430、包括滤波器435的缩放器434、像素识别器436、块提取器437和/或合并单元438中的任何一个可以被实施为硬件和/或软件。
[0106]视频编码器设备410的组件的操作非常类似于上文给出的数字网络摄像机310的对应组件的操作；因此，为了避免不必要的重复，可参照上文的描述。
[0107]模拟视频输入411被布置为从模拟视频记录设备(未示出)接收模拟视频序列。
[0108]视频数字化仪413被布置为将模拟视频序列数字化为数字视频序列，这样的数字化仪是本领域技术人员所熟知的。
[0109]视频编码器设备410的操作非常类似于上文给出的数字网络摄像机310的操作；因此，为了避免不必要的重复，可参照上文的描述。
[0110]在图5中，示出了根据本发明用于生成合并的数字视频序列的帧的系统500。系统500包括被布置为生成描绘同一场景的第一和第二数字视频序列的至少一个数字网络摄像机110，和被布置为将第一和第二数字视频序列合并成合并的数字视频序列的客户端210。数字网络摄像机110作为如上所述的数字网络摄像机110工作。客户机210作为如上所述的客户端210工作。至少一个数字网络摄像机110和客户端210经由数字网络502相互连接。因此，系统500可以包括多个数字网络摄像机110。客户端210还经由显示器接口连接到显示器510，第一、第二和/或合并的数字视频序列的解码版本可以被发送到显示器510用于显示。
[0111]在图6中，示出了根据本发明用于生成合并的数字视频序列的帧的替代系统600。系统600包括被布置为生成同一场景的第一和第二数字视频序列的至少一个数字网络摄像机110，和被布置为将第一和第二数字视频序列合并成合并的数字视频序列的数字网络摄像机310。数字网络摄像机110作为如上所述的数字网络摄像机110工作。数字网络摄像机310作为如上所述的数字网络摄像机310工作。至少一个数字网络摄像机110和数字网络摄像机310经由数字网络602相互连接。
[0112]图7示出根据本发明用于生成合并的数字视频序列的帧的方法的实施例。所述方法包括:
[0113]步骤700，提供第一数字视频序列的帧和第二数字视频序列的帧，第一和第二数字视频序列的帧描绘同一场景，第一数字视频序列的帧比第二数字视频序列的帧具有更高的像素密度，其中使用视频压缩算法对至少第一数字视频序列的帧进行编码；
[0114]步骤702，缩放第二数字视频序列的帧，从而获得具有与第一视频序列的帧相同的像素密度的经放大的第二数字视频序列的帧；
[0115]步骤704，在对第一数字视频序列的经编码帧解码的同时，在第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置；
[0116]步骤706，基于在第一数字视频序列的帧中识别出的至少一个忽略块的位置，从第二数字视频序列的帧中提取至少一个对应的像素块；
[0117]步骤708，基于在第一数字视频序列的帧中识别出的至少一个非忽略块的位置，从第一数字视频序列的帧中提取至少一个对应的像素块；以及
[0118]步骤710，合并从第二数字视频序列的帧中提取的像素块与从第一数字视频序列的帧中提取的像素块，从而生成合并的视频序列的帧。
[0119]本领域技术人员可意识到，本发明绝非限制于上述优选实施例。与此相反，在所附权利要求书的范围内可以有许多修改和变化。
[0120]例如，可以意识到，用于存储合并的数字视频序列的存储单元可以远离视频处理设备设置。
[0121]此外，可以意识到，本发明并不局限于使用两个数字视频序列:因此，可以根据本发明合并任何数量的数字视频序列。虽然，如上所述结合监控视频数据讨论本发明，但是合并描绘同一场景的两个数字视频序列的方法可以应用于其它类型的视频数据的实现方式。因此，另外，通过研究附图、本公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的发明时可以理解和实现所公开的实施例的变型。此外，在附图和说明书中，已经公开了本发明的优选实施例和示例，并且虽然使用了特定术语，但是仅以通用的和描述性的意义使用这些特定术语，而不是为了限制在下面的权利要求书中列举的本发明的范围。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”(a)或“一个”(an)不排除多个的情况。
【权利要求】
1.一种用于生成合并的数字视频序列的帧的方法，包括: 使用图像处理器(118 ；318 ^418)获取第一数字视频序列； 使用分析单元(120 ；320 ^420)分析所述第一数字视频序列的帧，以识别被认为相关的像素块； 使用掩码生成器(121 ；321 ^421)生成掩码，所述掩码指示所述第一数字视频序列的帧的相关的像素块； 使用编码单元(122 ；322 ；422〉，利用视频压缩算法，使用所述掩码将所述第一数字视频序列的帧编码成第一视频序列的编码版本中的帧，其中使用忽略块对由于不相关而屏蔽掉的像素块进行编码； 使用解码器(230 ；330 ^430)对所述第一数字视频序列的经编码的帧进行解码； 使用所述图像处理器(118 ；318 ^418)获取第二数字视频序列，其中所述第一数字视频序列和所述第二数字视频序列在空间上和时间上类似地描绘同一场景，所述第一数字视频序列的帧具有比所述第二数字视频序列的帧更多数量的像素； 使用缩放器(234 ；334 ^434)对所述第二数字视频序列的帧进行缩放，从而获得具有与所述第一视频序列的帧相同的像素数量的所述第二数字视频序列的经放大的帧； 在对所述第一数字视频序列的经编码的帧进行解码的同时，使用忽略块识别器(232 ；332 ^432)在所述第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置； 使用块提取器(237 ；337 ；437〉，并基于在所述第一数字视频序列的帧中识别出的所述至少一个忽略块的位置，从所述第二数字视频序列的经放大的帧中提取至少一个对应的像素块； 使用所述块提取器(237 ；337 ；437〉，并基于在所述第一数字视频序列的帧中识别出的所述至少一个非忽略块的位置，从所述第一数字视频序列的帧中提取至少一个对应的像素块；以及 使用合并单元(238 ；338 ；438〉，将从所述第二数字视频序列的帧中提取的像素块和从所述第一数字视频序列的帧中提取的像素块合并，从而生成合并的视频序列的帧。
2.根据权利要求1所述的方法，还包括: 使用滤波器(235 ；335 ^435)对所述第二数字视频序列的经缩放的帧进行滤波。
3.根据权利要求1所述的方法，其中使用视频压缩算法对所述第二数字视频序列的帧进行编码，其中所述方法还包括: 使用所述解码器(230 ；330:430)对所述第二数字视频序列的帧进行解码。
4.根据权利要求1所述的方法，其中所述第一数字视频序列的经编码的帧是帧间帧。
5.根据权利要求1所述的方法，其中所述视频压缩算法是26乂、180-1^26,0打2或16碰兼容的。
6.根据权利要求1所述的方法，还包括: 在存储器(224:324:424)中存储所述合并的视频序列的帧。
7.根据权利要求1所述的方法，还包括: 回放所述合并的视频序列的帧。
8.一种计算机可读记录介质，具有记录在其上的程序，所述程序用于在具有处理能力的设备上被执行时实施根据权利要求1所述的方法。
9.一种视频处理设备(310 010),被布置为执行记录在根据权利要求8所述的计算机可读记录介质上的程序。
10.一种用于生成合并的数字视频序列的系统，所述系统包括: 图像处理器(118 ；318 ；418〉，被布置为获取第一数字视频序列； 分析单元(120 ；320 ；420〉，被布置为分析所述第一数字视频序列的帧，以识别被认为相关的像素块； 掩码生成器(121,321 ；421〉，被布置为输出掩码，所述掩码指示所述第一数字视频序列的帧中的相关的像素块； 编码单元(122 ；322 ；422〉，被布置为使用指示相关的像素块的所述掩码将所述第一数字视频序列的帧编码成第一视频序列的编码版本中的帧，其中使用忽略块对由于不相关而屏蔽掉的像素块进行编码； 所述图像处理器(118 ；318 ^418)还被布置为获取第二数字视频序列，其中所述第一数字视频序列和所述第二数字视频序列在空间上和时间上类似地描绘同一场景，所述第一数字视频序列的帧具有比所述第二数字视频序列的帧更多数量的像素； 所述系统还包括:缩放器(234 ；334 ；43幻，被布置为对所述第二数字视频序列的帧进行缩放，从而获得所述第二数字视频序列的经放大的帧，所述第二数字视频序列的经放大的帧具有与所述第一视频序列的帧相同的像素数量； 所述系统还包括:解码器(230 ；330 030),被布置为对所述第一数字视频序列的经编码的帧进行解码； 所述系统还包括:忽略块识别器(232 ；332 ；432〉，被布置为在使用所述解码器(230 ；330 ^430)对所述第一数字视频序列的经编码的帧进行解码的同时，在所述第一数字视频序列的帧中识别至少一个忽略块的位置和至少一个非忽略块的位置； 所述系统还包括:块提取器(237 ；337 ；437〉，被布置为基于在所述第一数字视频序列的帧中识别出的所述至少一个忽略块的位置，从所述第二数字视频序列的经放大的帧中提取至少一个对应的像素块，并且基于在所述第一数字视频序列的帧中识别出的所述至少一个非忽略块的位置，从所述第一数字视频序列的帧中提取至少一个对应的像素块；以及合并单元(238 ；338:438),被布置为将从所述第二数字视频序列的帧中提取的像素块和从所述第一数字视频序列的帧中提取的像素块合并，从而生成合并的视频序列的帧。
11.根据权利要求10所述的系统，还包括: 图像传感器(116:316)，被布置为捕捉场景的视频序列；并且其中所述图像处理器(118 ^318)被布置为将通过所述图像传感器(116 ^316)捕捉的场景的视频序列处理为描绘同一场景的第一数字视频序列和第二数字视频序列。
12.根据权利要求10所述的系统，其中所述系统被包括在数字摄像机(310)中。
【文档编号】G06T3/40GK104349074SQ201410342453
【公开日】2015年2月11日 申请日期:2014年7月18日 优先权日:2013年7月31日
【发明者】S·路德伯格 申请人:安讯士有限公司