用于控制视频监视显示的方法和装置与流程

本申请是中国专利申请200580042457.8号、申请日2005年11月8日、发明名称为“用于控制视频监视显示的方法和装置”的分案申请。

发明背景

本发明总体上涉及监视系统，特别是涉及用于控制视频监视显示的方法和装置。

显示由视频监视系统收集的视频数据由于涉及大量的数据因而已是一个难题。如果视频数据被压缩，如用mpeg视频，在视频可被显示之前系统必须首先解压缩或解码视频。解压缩需要大量系统资源和时间。为显示多个压缩的视频流，系统必须能够处理多个解压缩。根据将被同时显示的视频流的数量、每一视频流的分辨率、及系统用户请求的每一显示的视频流的帧率，系统资源很快即可被超出。全动视频提供大部分信息且是许多用户的首选。然而，显示多个全动视频流所需要的系统资源的量非常大，从而进一步加重系统资源的负担。对于内帧编码的图象如jpeg图象，每一图象是独立的，从而如果系统正显示一系列jpeg图象并发现其不能处理帧速率，则系统根据系统资源的当前限制简单地每隔一图象或每三个或四个图象显示一图象。对于mpeg视频，系统必须能够解码全部视频流。如果系统落后，不能通过像内帧编码的视频流那样简单地每隔一图象显示而删除部分数据。因此，系统以进入的视频数据多于被处理的视频数据结束，这可导致系统崩溃。此外，例如，系统的暂时过载可源自网络流量引起的数据猝发或内部系统过程或用户请求引起的系统处理能力中断。如果系统资源被伸展到最大，这些暂时过载将极麻烦。系统崩溃或服务水平的明显降低在视频监视环境中是不可接受的，因为其要求连续运行及最大的可能信息量。

因而，在视频监视行业需要这样一种视频监视系统，其使所显示的视频信息量最大化，同时使所显示的视频的中断最少化。

技术实现要素：

根据本发明，提供了一种控制视频监视显示的方法，包括步骤：接收包括i帧和p帧视频数据的mpeg视频流；将所接收的mpeg视频流保存在输入缓冲器中；以全动视频模式显示所保存的mpeg视频流；监视保存在输入缓冲器中的视频数据量；及当输入缓冲器中保存的视频数据量大于预定量时仅显示所保存的mpeg视频流的i帧。

根据本发明，还提供了一种控制视频监视显示的方法，包括步骤：接收包括i帧和p帧视频数据的多个mpeg视频流；接收关于所接收的mpeg视频流将被显示的模式的请求，至少一所请求的mpeg视频流将以全动视频模式进行显示；根据所接收的请求显示输入缓冲器中的mpeg视频流；监视输入缓冲器中的视频数据量；确定可以全动视频模式进行显示且不导致输入缓冲器中保存的视频数据量超出预定量的mpeg视频流的数量；及仅以全动视频模式显示在确定步骤中确定数量的mpeg视频流，其余mpeg视频流以i帧模式进行显示。

在本发明的另一方面，提供了一种控制视频监视显示的方法，包括步骤：接收包括i帧和p帧的多个mpeg视频流；接收输入，其请求将同时在显示屏上显示的视频流的数量及将以全动视频模式显示的屏数；确定可以全动视频模式显示的视频流的数量，其余所请求的视频流以i帧模式进行显示；及以全动视频模式显示部分所请求数量的视频流，其余以i帧模式进行显示。

在本发明的另一方面，提供了一种控制视频监视系统的方法，包括步骤：发送包括来自视频源的全动视频的视频数据；在一位置接收视频数据；将所接收的视频数据保存在输入缓冲器中；将所保存的视频数据显示为全动视频；确定输入缓冲器中保存的视频数据量何时大于预定水平；当输入缓冲器中保存的视频数据量大于预定水平时通知视频源仅发送i帧；在视频源处将i帧从mpeg视频数据分离；发送仅由i帧组成的视频数据；从视频源接收仅由i帧组成的视频数据；将仅由i帧组成的视频数据保存在视频缓冲器中；及显示保存在视频缓冲器中的i帧。

本发明的另一方面提供了一种控制视频监视系统的方法，包括步骤：发送包括来自视频源的全动视频的视频数据；在一位置接收视频数据；将所接收的视频数据保存在输入缓冲器中；将所保存的视频数据显示为全动视频；确定视频数据被保存在输入缓冲器中的速率是否小于预定水平；当视频数据被保存在输入缓冲器中的速率小于预定水平时通知视频源仅发送i帧；在视频源处将i帧从mpeg视频数据分离；发送仅由i帧组成的视频数据；从视频源接收仅由i帧组成的视频数据；将仅由i帧组成的视频数据保存在视频缓冲器中；及显示保存在视频缓冲器中的i帧。

本发明的另一方面提供用于控制视频监视显示的装置，包括：用于接收包括i帧和p帧视频数据的mpeg视频流的输入设备；用于保存所接收的mpeg视频流的输入缓冲器；及用于监视输入缓冲器中保存的视频数据量的处理器。如果输入缓冲器中保存的视频数据量小于预定量，处理器提供用于以全动视频模式显示所保存的mpeg视频流的信号；如果输入缓冲器中保存的视频数据量大于预定量，则处理器提供用于仅显示所保存的mpeg视频流的i帧的信号。

本发明的另一方面提供了一种控制视频监视显示的装置，包括：用于接收包括i帧和p帧视频数据的多个mpeg视频流的输入设备；用于接收关于所接收的mpeg视频流将被显示的模式的请求的输入设备，至少一所请求的mpeg视频流将以全动视频模式进行显示；用于保存所接收的mpeg视频流的输入缓冲器；及用于根据所接收的请求提供用于显示输入缓冲器中的mpeg视频流的信号的处理器。处理器监视输入缓冲器中的视频数据量并确定可以全动视频模式进行显示且不导致输入缓冲器中保存的视频数据量超出预定量的mpeg视频流的数量。处理器改变信号从而仅以全动视频模式显示所确定数量的mpeg视频流，其余mpeg视频流以i帧模式进行显示。

此外，根据本发明，提供了一种控制视频监视显示的装置，包括：用于接收包括i帧和p帧的多个mpeg视频流的输入设备；用于接收请求将同时在显示屏上显示的视频流的数量及将以全动视频模式显示的屏数的请求的输入设备；用于确定可以全动视频模式显示的视频流的数量的处理器，其余所请求的视频流以i帧模式进行显示。处理器提供用于以全动视频模式显示部分所请求数量的视频流及其余以i帧模式进行显示的信号。

此外，本发明提供视频监视系统，包括网络；连接到网络的用于提供包括i帧和p帧的mpeg视频流的视频源，视频源能够将视频流分为i帧和p帧；及连接到网络并包括用于保存从网络和处理器接收的视频数据的输入缓冲器的工作站。工作站监视输入缓冲器中的视频数据量并发送信号给视频源以在输入缓冲器中的视频数据量大于预定量时仅提供i帧。

本发明还提供视频监视系统，包括网络；连接到网络的用于提供包括i帧和p帧的mpeg视频流的视频源，视频源能够将视频流分为i帧和p帧；及连接到网络并包括用于保存从网络和处理器接收的视频数据的输入缓冲器的工作站。工作站监视视频数据正被保存在输入缓冲器中的速率并发送信号给视频源以在视频数据正被保存在输入缓冲器中的速率小于预定量时仅提供i帧。

本发明的其它优点和应用通过下面对本发明的优选实施例的详细描述可明显看出。

附图说明

图1为使用本发明的视频监视系统的框图。

图2为图1中所示的视频监视系统中的示例性视频源的框图。

图3为图1中所示的视频监视系统中的示例性工作站的框图。

图4为示出示例性显示的图。

图5为示出根据本发明处理mpeg流的框图。

图6为本发明方法的一实施例的流程图。

图7为本发明方法的一实施例的流程图。

图8为本发明方法的一实施例的流程图。

图9为本发明方法的一实施例的流程图。

具体实施方式

参考图1，视频监视系统10具有网络12，其可以是闭合网络、局域网或宽域网如因特网。多个视频源14、16、18和20，例如其可以是视频摄象机或数字摄像机，连接到网络12以提供实时或重放mpeg视频流，如mpeg4视频流。工作站22，例如其可以是监视系统10中的控制点、个人计算机或借助于膝上型计算机登录监视系统10的用户，连接到网络12。视频源14、16、18和20经网络12提供mpeg视频流给工作站22。

示例性的视频源以图2中的框图形式示出。摄象机24将其输出提供给编码器26，编码器26继而提供mpeg视频流给调制解调器28以传给网络12。应理解的是，尽管摄象机24、编码器26和调制解调器28已被示作单独的设备，它们的功能可在单一设备或两个设备中提供而不是如图所示的三个分开的设备。

参考图3，本发明的示例性工作站以框图形式示出。工作站22具有处理器30，其连接到输入缓冲器32、rom34、ram36、显示器38、磁盘驱动器40和用户输入设备42。处理器22可以是中央处理单元或数字信号处理器或二者的结合。用户输入设备32可以是控制器、键盘或其它适当的输入设备。处理器22响应于来自用户输入设备42的用户输入实施保存在rom34或磁盘驱动器40中的算法和程序并提供输出信号给显示器38。调制解调器44连接到网络12并从图1中的视频源14、16、18和20接收mpeg视频流。调制解调器44提供mpeg视频流给输入缓冲器32。根据本发明方法，视频流数据可被保存在磁盘驱动器40的分区中。输入端口45，例如其可以是usb或火线端口，也可提供视频流给输入缓冲器32。或者，处理器30可具有其自己的输入缓冲器，或ram36的一部分可用作输入缓冲器。此外，磁盘驱动器40可以是如在此所述的视频源。

用户输入设备42提供用户输入给处理器30，如关于将在显示器38上显示的视频流的数量的指令、显示器的每一部分的分辨率、及视频流将以全动视频模式还是另一格式显示。图4示出了显示器38的屏幕上的示例性显示，其具有四个分开的象限，分别标记为46、48、50和52，例如其可包含分别来自视频源14、16、18和20的视频流。应理解的是，根据用户需要和系统能力，许多其它显示结构也是可能的，例如将屏幕分为9个或16个相等大小的框，或者将象限46分为4个相等大小的框同时将象限48、50和52保持为其原始大小。

图5示出了来自视频源14、16、18和20的示例性mpeg流54。mpeg流54由一系列数据帧编码图组成。数据帧的三种类型为i帧、p帧和b帧。i帧被编码为单一图象，而不关于任何过去或将来的帧。p帧(预示)相对于过去的参考帧进行编码，所述参考帧可以是p帧或i帧。过去的参考帧是最近的在前参考帧。b帧(双向预示)相对于过去的参考帧、未来的参考帧或二者进行编码。未来的参考帧是最近的随后参考帧，或i帧或p帧。帧序列，其在本领域中被称为图组(gop)，可采取许多不同的结构，如上所述，mpeg视频流54仅是示例。i帧、p帧和b帧的比例由视频流的性质及网络和系统的带宽约束确定。此外，编码视频流需要的时间也可影响比例。尽管仅由i帧和p帧组成的mpeg流已被发现可令人满意地用于视频监视系统，但mpeg视频流54被示出具有b帧。

mpeg视频流54由工作站22的处理器30分离为两个单独的文件，文件56和文件58。或者，其它电路可用作视频流分离器。处理器30通过检查帧首部确定帧类型。文件56仅包含i帧，文件58包含p帧和b帧。如上所述，mpeg流54可不包含b帧，因而文件58也可仅包含p帧。文件56和58中的每一个具有唯一的标识符，其可在各自文件的首部中并可以是处理器30提供的唯一时间戳。处理器30还向每一帧提供连续的帧编号(在图5中示为1-10)，使得文件56和58可由处理器30结合以响应于用户输入设备42的请求提供全动视频。i帧是类似于jpeg图象的独立图象。因此，如果系统不能处理全动视频，则只有i帧可被显示，其帧频为基于当前系统需求可处理的帧频，例如，高达30帧每秒的帧速率。

图6是示出本发明方法第一实施例的流程图。在步骤60，处理器30从用户输入设备42接收视频显示请求，其指明用户需要的屏幕显示。在步骤62，处理器30确定用户请求的视频流数量是否可以全动视频模式进行显示。如果用户的请求可被提供，则处理器30在步骤64以全动视频模式提供所请求的显示。如果用户的请求不能被提供，则在步骤66处理器30确定可以全动视频模式进行显示的视频流的最大数量(vmax)，其余视频流以i帧模式进行显示。在步骤68，处理器30将i和p帧结合为将以全动视频模式进行显示的帧。之后，处理器30提供vmax流的全动视频及其余视频流的i帧模式流。

在图7中示出了本发明方法的另一实施例。在该实施例中，在步骤72，处理器30监视输入缓冲器32中保存的视频数据的量(vd)；在步骤74将所保存的视频数据量与预定水平进行比较。预定水平最好被选择为使输入缓冲器32中有足够的存储容量用于容纳来自网络12的数据猝发或来自用户的或因系统处理引起的意外请求。处理器12通过检查输入缓冲器32的填充水平并确定处理数据所需要的资源确定其是否在处理输入的视频流方面落后。如果处理器30确定其落后，则在步骤76处理器30暂时将部分或所有视频流切换为i帧模式，直到系统资源可处理输入的视频流为止。在步骤78，处理器30确定vd是否低于预定水平。当系统资源可处理输入的视频流时，处理器30将显示切换回原始的结构，如步骤80所示。在步骤74和78中所指的预定水平可以相同，或者可以不同以建立一范围，视频流持续以i帧模式进行显示直到输入缓冲器32中保存的视频数据量低于所述范围的较低水平为止。工作站22使用查找表确定将能够以所请求的分辨率和帧频显示每一视频流所需要的处理能力。优选地，查找表在使用工作站22之前创建，尽管下述计算也可实时进行。例如，查找表可被保存在磁盘驱动器40中进行永久存储并在正常运行期间复制到ram36。在每一分辨率和帧频的处理器使用量被确定并保存在查找表中，从而系统可有效且快速地确定所请求的显示是否可被提供或部分或所有象限是否必须处于i帧模式，例如通过查找每一象限中的显示所需要的处理器使用、添加这些要求以确定总处理器使用要求、及将此与允许的处理器使用的预定水平进行比较。已经发现使用查找表计算处理器使用通常在实际测量值的正负5％内。此外，已经发现，尽管摄象机的视频流可能有差异，例如在摄象机观看空白墙和观看一群人时，根据处理器使用计算，差异不是很大。或者，在每一分辨率和帧频的处理器使用量可由处理器30实时确定，而不是保存在查找表中。

在图8所示的本发明的另一方面中，工作站22可在网络12上通信并在工作站22的处理器30已确定输入缓冲器32被填充到大于预定水平的水平时请求视频源如视频源14仅发送i帧，所述确定在如上所述的步骤72和74进行。当输入缓冲器32的水平大于预定值时，处理器30通知视频源仅按步骤82所指示的仅发送i帧。该预定水平被选择以确保系统不会崩溃，如上所述。在这种情况下，连接到摄象机24的编码器26将mpeg4视频流解码为(a)i帧和(b)p帧及b帧或如上所述只有p帧。之后，编码器26在网络12上仅发送i帧给工作站22，从而使视频输出流与工作站22的当前能力匹配。在步骤84，处理器30继续监视输入缓冲器32中保存的数据水平。当处理器30再次能够在显示器38上显示全动mpeg4视频时，处理器30在网络12上发送消息或信号给编码器26，其指示该编码器26现在应发送mpeg4视频流，而不是步骤86所指示的i帧。

在图9所示的本发明的另一方面中，工作站22可在网络12上通信并在工作站22的处理器30已确定网络12上出现拥塞如当输入到输入缓冲器32的速率低于预定速率时请求视频源如视频源14仅发送i帧。在步骤88，处理器30监视视频数据正被保存在输入缓冲器32中的速率(vr)。在决策点90，处理器30确定vr是否低于预定速率。如果vr低于预定速率，则在步骤92处理器30通知视频源如视频源14仅发送i帧。在这种情况下，连接到摄象机24的编码器26将mpeg4视频流解码为(a)i帧和(b)p帧及b帧或如上所述只有p帧。之后，编码器26在网络12上仅发送i帧给工作站22，从而减少网络12上所需要的带宽。在决策点94，处理器30确定vr是否大于预定速率，如果是，处理器30在步骤96通知视频源发送全动视频。在步骤90和94中所指的预定水平可以相同，或者可以不同以建立一范围，视频流持续以i帧模式进行显示直到视频数据被保存在输入缓冲器32中的速率大于所述范围的较高水平为止。

应当理解，可对本发明做出变化和修改而不脱离本发明的范围。还应理解，本发明的范围不应解释为限于在此公开的具体实施例，而是仅根据按照前述公开内容阅读的所附权利要求。