用于在视频流中插入图形覆盖的方法和设备的制造方法
【技术领域】
[0001]本发明一般涉及视频通信系统，并且更具体地涉及用于在视频流中插入动画图形覆盖的方法和设备。
【背景技术】
[0002]数字视频系统通常将数字图像序列从诸如摄像机的源传递到诸如显示器的目的地。这种传递可以是直接从摄像机到实时显示器，或者这种传递可以通过存储视频并在稍后的时间显示视频而在时间上延迟。数字图像可以以其原本格式进行压缩或传递。
[0003]数字视频系统内的各种系统故障可使图像序列停止或锁定，导致处于帧冻结状态。例如，捕获实时视频流的摄像机和示出实时视频流的显示器之间的通信故障可引起这种冻结状态。在一些关键的应用中，快速了解视频系统已经发生故障对操作者是重要的。这在以下情况下可能尤其如此:当事实上视频系统未正确运行时，操作者的显示器上的静态图像可能使操作者错误地得出在源头的场景简单地没有改变的结论。关键应用的一些示例是安全监控、医疗监控、军事监视、导航或生产系统跟踪。
[0004]据称，US8165226 (波音公司)通过在视频流的每个帧中放入一编码解决了该问题。该编码从一个帧到下一个帧顺序地计数且被嵌入到每个帧的像素中。视频流的帧内的改变的编码在目的地处的验证或显示可确认视频流在显示之前不处于帧冻结故障状态。如果故障状态被编码验证过程检测到，则操作者可意识到故障。然而，这种系统是复杂的且要求显示器连接到运行编码验证过程的处理器。
【发明内容】
[0005]据此，本发明的目的是解决或至少减少上面论述的缺陷中的一个或几个。通常，上面的目的通过所附的独立专利权利要求实现。
[0006]根据第一方面，本发明通过一种用于在一时间段的视频期间的视频流上插入图形覆盖的方法来实现，其包括以下步骤:估计一时间段的视频流期间视频流的运动等级，基于所估计的运动等级针对该时间段的视频流确定图形覆盖的动画等级，在该时间段的视频流期间的视频流上插入图形覆盖。至少能够确定第一动画等级和第二动画等级，其中第一动画等级高于第二动画等级，其中第一动画等级是基于所估计的运动等级低于阈限，并且其中第二动画等级是基于所估计的运动等级高于该阈限。
[0007]术语“一时间段的视频流”将在本说明书的背景中被理解为视频流的至少一个视频帧。
[0008]图形覆盖可包括任何类型的图形对象，诸如标识或砂漏的表示。
[0009]可通过任何合适的视频运动检测(VMD)算法估计运动等级。VMD是通过分析图像数据和一系列图像中的差异而定义场景中的活动性的方法。在其最简单的形式中，VMD可通过将一个图像中的像素的值和前一图像中的对应像素的值进行比较来执行，并且对这两个图像之间已经改变的像素的数目进行计数。因此，这两个图像之间的差异越大，运动等级将越高。通过分析前一时间段的视频流(例如上一秒)来执行运动等级的估计，且假设视频流的当前时间段的运动等级是相同的。
[0010]本发明是基于这样的认识:通过插入具有基于图像覆盖所放置的视频流的运动等级的动画等级的图形覆盖，视频流的观看者能够容易地看出视频流所描绘的场景是简单的没有改变(因为在此情况下，即便图像的剩余部分是静止的，图形覆盖也将是活动的)，还是视频流处于帧冻结状态(因为在此情况下，图形覆盖也会被冻结)。
[0011]换句话说，由于动画等级被确定为使得较低运动等级(例如低于阈限)将导致较高动画等级，并且较高运动等级(例如高于阈限)将导致较低动画等级，与场景确实正在移动的情况相比，未改变的场景将导致图形覆盖具有较高的动画等级。
[0012]通过提供对一时间段的视频流执行的方法，实现了确定图形覆盖的动画等级的更灵活的方法。因此，动画等级针对每个时间段的视频流可单独分配。
[0013]换句话说，图形覆盖的动画等级可针对一时间段的视频流(例如1/30秒(I帧)、I秒、10秒、I分钟等)来确定。在确定动画等级时，可能还不知道该动画等级将应用多长的时间段。时间段的长度可基于例如视频流的属性或帧的阈限数目。
[0014]此外，通过由图形覆盖的动画等级在视频流中指示移动或缺乏移动，可实现显示视频流的客户端的复杂度降低，因为客户端仅必须以通常的方式显示视频流且仍然使观看者意识到因视频流的帧冻结状态而产生的故障状态。
[0015]根据一些实施例，升高的运动等级对应于的降低动画等级。这可能是有利的，因为具有高运动等级的视频流要求更高的比特率来传输包括该时间段的视频流的编码比特率。因此，通过降低图形覆盖的动画等级，可抵消由于视频流所描绘的场景的移动而导致的比特率升高。此外，通过在场景移动时降低图形覆盖的动画，包括图形覆盖的视频流的观看者的注意力可有利地被导向场景的实际移动而不被导向图形覆盖。
[0016]根据一些实施例，如果运动等级超过阈限值，则图形覆盖的动画等级被确定为零。这可进一步确保包括图形覆盖的视频流的观看者的注意力被导向场景的实际移动而不被导向图形覆盖。此外，包括该时间段的视频流和图形覆盖的编码比特流的传输所要求的比特率可保持在合理的水平。
[0017]根据一些实施例，降低的运动等级对应于升高的动画等级。根据一些实施例，图形覆盖的动画等级可升高至阈限动画等级。
[0018]根据一些实施例，该方法进一步包括以下步骤:将该时间段的视频流和图形覆盖编码成单个编码比特流，以及传输单个编码比特流。
[0019]根据一些实施例，视频流是实时视频流。实时视频流的帧冻结是尤其不利的，因为之后观看者可能漏掉场景中发生的重要事件，例如火情或盗窃的开始。通过使用根据上面描述的活动的图形覆盖，这种帧冻结状态可被迅速地察觉和处理。
[0020]根据一些实施例，该方法进一步包括以下步骤:通过以下至少之一确定该时间段的视频流的起始帧:
[0021]?计算从确定图形覆盖的动画等级所针对的前一时间段的视频流的起始帧开始的帧数，并且确定所计算的帧数是否大于阈限，
[0022 ] ?从获取视频流的PTZ视频摄像机接收到摇摄、倾斜和/或变焦(PZT)信号，
[0023]?通过在当前帧和确定图形覆盖的动画等级所针对的前一时间段的视频流的一帧之间执行块匹配操作，来确定当前帧和前一时间段的该帧之间的差异等级，并且确定差异等级是否大于阈限。
[0024]仅通过在上述条件中的至少一个条件已经满足之后确定图形覆盖的动画等级，可在有利的时刻确定图形覆盖的动画等级。例如，在接收到PZT信号时，视频流中所描绘的场景可能改变，并且可能需要调整图形覆盖的动画等级。
[0025]此外，仅通过在视频流中的当前帧中的场景明显地不同于确定动画等级时的前一时间段中描绘的场景的情况下确定新的动画等级，可避免动画等级的不必要的确定，例如调整。因此，可实现降低的计算复杂度。
[0026]而且，在从上次确定开始经过特定数目的帧之前不确定新的动画等级，可避免动画等级的不必要的调整。因此，可实现降低的计算复杂度。
[0027]根据一些实施例，估计该时间段的视频流的运动等级的步骤使用以下至少之一来执行:该时间段的视频流的数据的子集，以及前一时间段的视频流的数据的子集。
[0028]根据一些实施例，术语“数据的子集”在本说明书的背景中将被理解为仅包括在对应时间段中的帧的子集被用于估计，和/或仅每个帧的一部分在估计动画等级时被使用。这可降低估计的计算复杂度，并且进一步还减少了估计所要求的时间。
[0029]在第