基于视频中的运动级别调整传送视频的帧速率的系统和方法与流程

本发明一般涉及视频系统。更具体地，本发明涉及基于视频中的运动级别来调整传送视频的帧速率的系统和方法。

背景技术：

监控行业中已知的视频系统包括多个视频源、编码器、记录器、流式传输器、云服务器设备和客户端设备，诸如web应用、移动应用、桌面应用等。已知的视频流包括捕获场景、然后对已捕获场景的视频进行编码、并且然后对已编码视频进行流式传输或记录。视频可以在诸如lan、wan或互联网的多个不同信道上传送。然而，当从互联网访问视频时，视频数据的大小至关重要，其中带宽既有限制又有价值。

例如，当对视频进行流式传输或记录时，以在不提供比必要的更多或更少的情况下提供关于已捕获场景的充分和足够的细节方面总是存在挑战。实际上，当对静态场景的视频进行流式传输或记录时，提供更多或额外的帧将不会为观看视频的用户提供任何优点。相反，当对动态或高运动场景的视频进行流式传输或记录时，提供较少的帧将导致视频抖动。实际上，当已捕获场景包括运动时，用户可能希望利用所有可用带宽，使得用户可以观看各个和每一个移动。

尽管如上所述，监视行业中的一些已知的视频系统被配置为具有低且恒定的帧速率，当对动态或高运动场景的视频进行流式传输和记录时导致抖动的视频，并且当在动态或高运动场景中的移动是快速的时导致丢失视频细节。相反，监视行业中的一些已知的视频系统被配置为具有高且恒定的帧速率，导致包括比必要的关于已捕获场景的更多信息的视频，并且导致浪费的带宽和其他有限和有价值的资源。的确，配置有恒定的帧速率的已知视频系统使得在每种情形中都流式传输相同数量的帧，低效地使用带宽。此外，例如通过当捕获的运动是静止的或低的时存储会包括无用信息的高数量的帧或大量的视频信息，配置有恒定的帧速率的已知视频系统使得在每种情形中都存储相同数量的帧，从而低效地使用储存空间。

图1是根据已知的系统和方法的视频的帧速率与视频中的运动级别的时间线100的视图。如图1中所见，在已知的系统和方法中，流式传输和记录的视频的帧速率随时间是恒定的。然而，视频中的运动级别随时间而变化。因此，在非高峰时段期间，如在110处所指示，当视频中的运动级别可能为低或者已捕获场景可能是静态的时，通常会浪费带宽，因为视频流式传输并记录了比必要的更多的细节。虽然在视频中的运动级别处于中等级别时的时段期间，如在120处所指示的，在高峰时段期间，如在130处所指示的，当视频中的运动级别可能为高或已捕获场景可能包括拥挤或高速移动对象时恒定带宽可能是适合的，但是可用带宽通常不足以流式传输并记录已捕获场景中的所有细节。因此，在高峰时段期间捕获的视频可能会丢失许多细节。

鉴于上述内容，对改进的系统和方法存在持续不间断的需求。

技术实现要素：

本发明涉及方案1是一种方法，包括：

以第一帧速率接收来自视频捕获设备的视频数据流；

以规则的间隔识别所述视频数据流的一个或多个帧中的运动级别；

识别针对所述视频数据流的多个第二帧速率，其中所述多个第二帧速率中的每一个对应于所述视频数据流的相应帧中的运动级别；和

以所述多个第二帧速率中的相应帧速率将所述视频数据流传送到储存设备或显示设备。

本发明涉及根据方案1所述的方法，其中，所述第一帧速率包括所述视频捕获设备能够捕获的每秒最大帧数。

本发明涉及根据方案1所述的方法，其中，识别针对所述视频数据流的所述多个第二帧速率包括将所述视频数据流的所述一个或多个帧中的运动级别映射到所述多个第二帧速率中的相应一个帧速率。

本发明涉及根据方案1所述的方法，还包括以所述第一帧速率接收来自所述视频捕获设备的所述视频数据流的每个帧。

本发明涉及根据方案1所述的方法，其中，当所述视频数据流的相应帧中的运动级别高于预定阈值时，所述多个帧速率中的第一个高于所述第一帧速率。

本发明涉及根据方案5所述的方法，其中，以所述多个帧速率中的所述第一个传送所述视频数据流的相应帧导致所述相应帧中的所有运动被存储在所述储存设备中或者被显示在所述显示设备上。

本发明涉及根据方案1所述的方法，其中，当所述视频数据流的相应帧中的运动级别低于预定阈值时，所述多个帧速率中的第一个低于所述第一帧速率。

本发明涉及根据方案7所述的方法，其中，以所述多个帧速率中的所述第一个传送所述视频数据流的相应帧避免了不包括运动的视频数据流的帧的传送。

本发明涉及根据方案1所述的方法，其中，当所述视频数据流的相应帧中的运动级别为零时，所述多个帧速率中的第一个低于所述第一帧速率。

本发明涉及根据方案1所述的方法，还包括：优化在传送所述视频数据流时消耗的带宽，其中优化是基于所述视频数据流的相应帧中的运动级别。

本发明涉及方案11是一种系统，包括：

第一收发器设备；

可编程处理器；

存储在非暂时计算机可读介质上的可执行控制软件；和

第二收发器设备，

其中所述第一收发器设备以第一帧速率接收来自视频捕获设备的视频数据流，

其中所述可编程处理器和所述可执行控制软件以规则的间隔识别所述视频数据流的一个或多个帧中的运动级别，

其中所述可编程处理器和所述可执行控制软件识别针对所述视频数据流的多个第二帧速率，其中所述多个第二帧速率中的每一个对应于所述视频数据流的相应帧中的运动级别，以及

其中所述第二收发器设备以所述多个第二帧速率中的相应帧速率将所述视频数据流传送到储存设备或显示设备。

本发明涉及根据方案11所述的系统，其中，所述第一帧速率包括所述视频捕获设备能够捕获的每秒最大帧数。

本发明涉及根据方案11所述的系统，还包括存储器设备，其中所述可编程处理器和所述可执行控制软件从所述存储器设备检索运动级别到fps值的映射，以基于所述视频数据流的一个或多个帧的运动级别来识别针对所述视频数据流的所述多​​个第二帧速率。

本发明涉及根据方案11所述的系统，其中，所述第一收发器设备以所述第一帧速率接收来自所述视频捕获设备的所述视频数据流的每个帧。

本发明涉及根据方案11所述的系统，其中，当所述视频数据流的相应帧中的运动级别高于预定阈值时，所述多个帧速率中的第一个高于所述第一帧速率。

本发明涉及根据方案15所述的系统，其中，所述第二收发器以所述多个帧速率中的所述第一个传送所述视频数据流的相应帧，导致所述相应帧中的所有运动被存储在所述储存设备中或者被显示在所述显示器设备上。

本发明涉及根据方案11所述的系统，其中，当所述视频数据流的相应帧中的运动级别低于预定阈值时，所述多个帧速率中的第一个低于所述第一帧速率。

本发明涉及根据方案17所述的系统，其中，所述第二收发器以所述多个帧速率中的所述第一个传送所述视频数据流的相应帧，避免了不包括运动的所述视频数据流的帧的传送。

本发明涉及根据方案11所述的系统，其中，当所述视频数据流的相应帧中的运动级别为零时，所述多个帧速率中的第一个低于所述第一帧速率。

本发明涉及根据方案11所述的系统，其中，所述可编程处理器和所述可执行控制软件通过将所述多个第二帧速率中的每一个基于所述视频数据流的相应帧中的运动级别来优化在所述第二收发器设备传送所述视频数据流时消耗的带宽。

附图说明

图1是根据已知的系统和方法的视频的帧速率与视频中的运动级别的时间线的视图；

图2是根据所公开的实施例的视频的帧速率与视频中的运动级别的时间线的视图；和

图3是根据所公开的实施例的基于视频中的运动级别来调整传送视频的帧速率的系统的框图。

具体实施方式

虽然本发明容许以许多不同形式的实施例，但是在附图中示出并且本文中将详细描述其具体实施例，要理解本公开内容将被视为本发明的原理的示例。不意图将本发明限制于具体示出的实施例。

本文所公开的实施例可以包括用于基于视频中的运动级别来调整传送视频的帧速率的系统和方法。例如，在一些实施例中，本文所公开的系统和方法可以识别或确定已捕获场景的视频中的运动敏感度级别，并且基于此来导出用于处理已捕获场景的视频的帧速率，例如，传送、流式传输、再现或记录视频。由于视频中的运动敏感度级别能够随着时间而变化，所以用于传送、流式传输、再现和记录视频的帧速率可以是动态的。

根据所公开的实施例，本文所公开的系统和方法可以接收来自视频源的视频，使得所接收的视频可以具有包括视频源能够捕获的每秒最大帧数（fps）的帧速率。系统和方法可以以周期性或规则的间隔--例如每秒一帧来处理所接收的视频的一个或多个帧，以识别或确定视频帧中的场景的运动敏感度级别，并且基于此来识别针对相应帧的帧速率。例如，在一些实施例中，本文所公开的系统和方法可以将所识别的运动敏感度级别或其范围映射到fps值，并且在一些实施例中，这种映射可以是成比例的或者基于预定配置。然而，尽管帧速率是自适应的，但是在一些实施例中，本文所公开的系统和方法在处理所接收的视频的帧时不需要用户输入来识别或配置针对相应帧的帧速率。

一旦根据所公开的实施例来识别帧速率，本文所公开的系统和方法可以以所识别的帧速率来消耗或处理视频，以用于对视频进行传送、流式传输，再现或记录。由于帧速率可以是动态的，并且在视频中从帧到帧变化，所以本文所公开的系统和方法可以有效地利用带宽，以便不在不必要的帧上浪费带宽，并且以便消耗足够的带宽来对视频中的细节的适当级别进行传送、流式传输、再现或记录。

在一些实施例中，当需要带宽效率时，本文所公开的系统和方法可以与经由互联网对视频进行流式传输相结合地进行使用。的确，由于有限且昂贵的带宽，在互联网上对视频进行流式传输呈现出挑战，并且本文所公开的系统和方法可以利用适当和必要量的带宽（不多也不少）以用于视频中的运动级别，而不是消耗恒定的带宽和浪费或不充分利用可用带宽。例如，当捕获包括高级别的运动的场景时，可以使用本文所公开的系统和方法来跟踪每个移动，但是可以避免由于对于运动级别而言太低的恒定带宽而导致丢失移动。类似地，当场景是静态或不包括运动或者包括低级别的运动时，本文所公开的系统和方法可以用于传送必要的信息，但是可以避免传送不包含附加信息的无用的视频数据或帧。

在一些实施例中，本文所公开的系统和方法可以与保存和记录视频相结合地进行使用，并且可以通过针对视频中的运动级别处理、编码、解码、压缩和保存适当且必要的帧数（不多也不少）来优化诸如处理能力和存储器空间之类的系统资源。类似地，当创建、存档和导出视频剪辑时，本文所公开的系统和方法可以通过针对视频中的运动级别创建、归档和导出具有适当且必要的帧数（不多也不少）的视频剪辑来优化系统资源。

在一些实施例中，本文所公开的系统和方法可以与可变图像组（gop）结合使用。例如，本文所公开的系统和方法可以基于关联视频中的运动级别来识别gop值。当运动级别为零或低时，gop值可以为高，并且当运动级别为高时，gop值可以为低。

在一些实施例中，本文所公开的系统和方法可以与ptz相机结合使用。例如，本文所公开的系统和方法可以动态地识别要与ptz操作结合使用的帧速率，使得帧速率基于由ptz相机所捕获的视频中的运动的级别。此外，本文所公开的系统和方法可以动态地识别要与ptz操作结合使用的帧速率，使得帧速率基于ptz相机的速度，例如ptz命令中识别的ptz相机速度。

在一些实施例中，本文所公开的系统和方法可以与未压缩或未编码的视频结合使用，以识别视频的自适应帧速率。因此，本文所公开的系统和方法可以与独立于其中所使用的编解码器的视频系统结合使用。

图2是根据所公开的实施例的视频帧速率与视频中的运动级别的时间线200的视图。如图2中所见，并且根据所公开的实施例，捕获、流式传输、传送和记录的视频的帧速率可以随着时间而改变，并且随时间而适应于视频中的运动级别。例如，在非高峰时段期间，如在210处所指示的，当视频中的运动级别可能为低或已捕获场景可能是静态的时，可以节省或保留带宽，并且可以使用较少的带宽来流式传输、传送、再现、和记录视频。例如，可以在非高峰时段期间以5fps的帧速率流式传输、传送、再现和记录视频。如在220处所指示的，可以在当视频中的运动级别处于中等级别时的时段期间使用更多的带宽。例如，在当视频中的运动级别处于中等级别时的时段期间，可以以18fps的速率流式传输、传送、再现和记录视频。然而，在高峰时段期间，如在230处所指示的，当视频中的运动级别可能为高或已捕获场景可能包括拥挤或高速移动对象时，可以消耗和使用更多的带宽以流式传输、传送、再现和记录视频，使得已捕获场景中的所有细节都在视频中被示出。例如，可以在高峰时段期间以30fps的速率流式传输、传送、再现和记录视频。

图3是根据所公开的实施例的用于基于视频中的运动级别来调整传送视频的帧速率的系统300的框图。如图3中所见，系统300可以包括视频源310、视频处理设备320、储存设备330和客户端设备340。视频源310可以以包括视频源310能够捕获的每秒最大帧数（fps）的帧速率捕获被监视区域中的场景的视频数据流。视频源310可以将已捕获的视频数据流传送到视频处理设备320，视频处理设备320可以根据上述和本文中的方法来处理视频，并经由可以包括例如互联网、lan或wan的网络350将经处理的视频传送到储存设备330和客户端设备340之一或两者。

如图3中所见，视频处理设备320可以包括第一和第二收发器设备322、324和存储器设备326，其每一个都可以与控制电路328、一个或多个可编程处理器328a和可执行控制软件328b通信，正如本领域普通技术人员将理解的那样。可执行控制软件328b可以存储在暂时或非暂时的计算机可读介质上，包括但不限于本地计算机存储器、ram、光储存介质、磁储存介质、闪速存储器等。在一些实施例中，控制电路328、可编程处理器328a和控制软件328b可以执行和控制上述和本文中的至少一些方法。

例如，在一些实施例中，收发器设备322可以接收由视频源310捕获的视频数据流，并且控制电路328、可编程处理器328a和控制软件328b可以分析所接收的视频数据流以便以周期性或规则的间隔（例如，每秒一帧）识别并且确定视频数据流的一个或多个帧中的运动敏感度级别，并且基于此来识别针对相应帧的帧速率。在一些实施例中，存储器设备326可以存储运动敏感度级别或其范围对fps值的映射，并且控制电路328、可编程处理器328a和控制软件328b可以访问存储器设备326中的映射以基于所识别的相应帧的运动敏感度级别来识别针对帧的帧速率。此外，在一些实施例中，控制电路328、可编程处理器328a和控制软件328b可以根据针对相应视频帧的所识别的帧速率来对视频数据流进行压缩，并且收发器设备324可以以针对视频数据流的各个帧的所识别的帧速率将视频数据流传送到储存设备330或客户端设备340。

虽然上面已经详细描述了几个实施例，但是其它修改是可能的。例如，上述逻辑流程不需要所描述的特定顺序或序列的顺序来获得期望的结果。可以从所描述的流程中提供其他步骤，或者可以从所描述的流程中消除一些步骤，并且可以向所描述的系统添加其他组件或从其中移除其他组件。其他实施例可以在本发明的范围内。

从前述可以看出，在不脱离本发明的精神和范围的情况下，可以实现许多变化和修改。应当理解，不意图或不应推断对于本文所描述的具体系统或方法的任何限制。当然，意图覆盖落入本发明的精神和范围内的所有这些修改。