高帧速率‑低帧速率传输技术的制作方法

本发明涉及用于在维持图像细节的同时发送高分辨率内容的技术。

背景技术：

此前，电视广播商将标清内容转换为高清(hd)内容，而如今，许多电视广播商将hd内容转换为分辨率高达4k且多达2160p画面线的超高清(uhd)内容。具有较高分辨率的uhd内容提供了静止场景上的更高的细节水平，但一旦存在运动(在场景本身中或由于相机的运动)，则会发生运动模糊，这大大地降低了对移动物体的细节的感知。在这些情况下，从细节渲染的角度来看，所述内容不再保持其4k特性。通过减少快门的打开时间量来补偿这种运动模糊并不会提供可行的解决方案，这是因为所引起的颤动在观看时会带来不适。当前，唯一的可行方案需要在保持合理的快门角度(180°或更大)的同时增加场景的采样频率。然而，以高分辨率和高帧速率(例如，4k/120fps)来拍摄和发送事件即使并非不可能也将变得很难，这是因为许多当期的传输设备并不支持这种格式。即使使用能够支持这种格式的设备，以这种格式发送内容在带宽方面的成本也很高。因此，广播商和有线运营商更愿意将固定带宽分配成多个(例如，四个)4k/30fps通道，而不是仅提供消耗相同带宽的一个4k/120fps通道。

从而，需要一种用于在保留细节渲染的同时发送高质量内容(4k)(即使对于移动物体也是如此)的技术。

技术实现要素：

本公开原理的目的在于提供一种用于在保留图像细节的同时发送高质量视频(尤其是针对移动图像)的技术。

本公开原理的另一个目的在于提供一种用于可互换地发送低帧速率视频内容和高帧速率视频内容的技术。

简言之，根据本公开原理的一个方面，用于发送视频内容的方法和装置和系统指定内容是包括具有高分辨率的静止场景还是具有运动的场景。根据指定对视频内容进行编码，使得以低帧速率(lfr)模式对具有静止场景的视频内容进行编码，而以高帧速率(hfr)模式对具有运动的视频内容进行编码。此后，发送经过编码的视频内容及内容指定，以使得能够由解码器获取并解码。

附图说明

图1示出了根据本公开原理的一个方面的系统的示意框图，所述系统用于根据本公开原理对视频内容进行编码、发送和解码；

图2示出了图1的系统以高帧速率(hfr)编码的具有运动的视频内容的一部分的图形描绘；

图3示出了图1的系统以低帧速率(lfr)编码的具有静止场景的视频内容的一部分的序列的图形描绘；

图4示出了分别以hfr模式和lfr模式编码的视频内容的交替序列的流，其中每个视频内容序列的指定指示编码模式；以及

图5示出了图4中以hfr模式和lfr模式编码的视频内容的交替序列的流根据与每个序列相关联的指示编码模式的指定而被解码。

具体实施方式

根据本公开原理的一个方面，混合内容传输技术在低帧速率(lfr)模式(即4k/30fps)中发送视频的具有高分辨率的静止场景。相反地，根据本公开原理的技术，视频内容中具有运动的场景以高帧速率(hfr)模式(即hd/120fps)进行传输，这些场景被封装在lfr图像块中(即4k/30fps)。图1示出了用于实践本公开原理的混合传输技术的系统10。系统10包括分别从多个视频源接收视频的编码器12，视频源包括一对电视相机(televisioncamera)14和16。尽管图1所示的系统10的说明性示例描绘了两个相机14和16，但是系统10可以容易地容纳更大量的相机。

在图1的说明性示例中，相机14和16中的每一个不仅产生视频信号，而且还产生指定，所述指定通常具有“标志”的形式，其指示相机视频输出信号是包括静止场景还是具有运动的场景。对于特定应用，例如广播体育赛事，举例来讲，一个相机(诸如相机14)通常仅提供相对静止的场景，例如人群的场景。另一个相机(例如相机16)通常提供具有运动的视频内容，例如该相机提供参与比赛(例如足球、棒球、橄榄球等)的玩家的视频输出信号。

如图1所示，由相机14和16中的每一个提供的指定通常采取与视频输出信号分离的信号的形式(例如，标志)。然而，每个相机的视频信号可以包括指示视频信号是静止图像或具有运动的图像的信息。因此，在视频信号本身内包括这样的信息将缓解对单独指定信号的需求。

编码器12从相机14和16中的每一个接收视频输出信号以及指示相机的视频输出包括静止场景或具有运动的场景的伴随指定信号。编码器12根据与该相机的视频输出信号相伴随的指定对相机14和16中的每一个的视频输出信号进行编码，所述指定关于视频信号包括静止图像或具有运动的场景。因此，举例来讲，当接收到相机14的视频输出信号时，如果伴随该视频信号的指定指示视频具有静止场景，则编码器12将以低帧速率(lfr)模式(例如，4k/30fps)对该视频信号进行编码。相反地，当从相机16接收到视频输出信号时，如果与该相机的视频信号相关联的指定指示场景具有运动，则编码器12将以高帧速率(hfr)模式(例如4k，120fps)对该视频信号进行编码。编码器12通过将视频信号的场景封装成lfr图像块来对来自相机16的视频信号进行编码，比如在2014年5月30日提交的美国临时专利申请no.62/005,397(其通过引用并入本文)中所述。

作为来自相机14和16的视频输出信号的补充或替代，编码器12还可以对来自一个或多个离线内容源的视频信号进行接收和编码，所述离线内容源为例如离线内容源18，其可以包括存储设备或一台电视演播室广播设备。除了向编码器12提供视频输出信号之外，每个离线内容源18还提供的指定，该指定指示来自离线内容源的输出视频信号是包括静止场景还是运动场景。与相机14和16中的每一个一样，离线内容源18的输出视频信号本身可以包括指定输出信号是包括静止场景还是具有运动的场景的信息，从而缓解了对单独指定的需求。

如上所述，相机14和16通常分别专用于静止场景和具有运动的场景，因此它们各自的指定信号可以是固定的。相反地，离线内容源18可以提供任一种视频输出信号。实际上，根据由在线内容源18输出的视频的性质，操作者可以基于操作者对离线源的视频输出信号的评估而手动地调整指定集。备选地，离线内容源18可以基于其使用例如运动分析算法对视频内容的分析来自动生成其指定。

编码器12对从相机14和16和/或离线内容源18接收的视频信号进行编码，以产生编码的输出信号以及如上所述的指示编码器的视频输出信号的性质的伴随指定。网络20将编码器12的视频输出信号以及该信号的指定一起发送到解码器22以进行解码，从而产生经解码的视频输出信号，以在显示设备24上呈现。在实践中，解码器22可以包括机顶盒等的一部分，以用于选择用于在显示设备24上显示的内容。在一些实例中，解码器22可以包括显示设备24的一部分。

如上面结合相机14和16以及离线内容源18讨论的那样，编码器12可以在其视频输出信号中包括指示编码器是以低帧速率(lfr)还是高帧速率(hfr)模式对该信号进行了编码的信息。在编码器视频输出信号中包括关于是以lfr还是hfr模式对信号进行编码的信息将缓解对产生单独指定的需要。

解码器22根据指示输入信号是被lfr编码还是被hfr编码的伴随指定对从编码器接收的视频信号进行解码。如上所述，由图1的解码器22接收的输入视频信号本身可以包括关于编码的类型(lfr或hfr)的信息，从而缓解对指示编码模式的单独指定的需要。通过使用编码指定，或者在不存在该指定的情况下通过使用来自输入视频信号本身的编码信息，解码器22可以基于输入信号是被lfr编码还是被hfr编码来正确地解码输入视频信号。在lfr编码的视频信号的情况下，每个高分辨率帧被包含在其自己的lfr图像块中，并且均以低帧速率传送到显示设备24。在hfr编码的视频信号的情况下，将多个帧封装到每个lfr图像块中，比如在2014年5月30日提交的美国临时专利申请no.62/005,397(其通过引用并入本文)中所述。解码器22将以高帧速率连续地提取多个帧中的每一帧，从而以高帧速率传送到显示设备24。在实践中，显示器24具有与编码器22的数字接口(例如高清多媒体接口(hdmi))，以使得显示设备能够接收单独的lfr模式视频信号和hfr模式视频信号。显示器24具有在lfr模式和hfr模式之间实时切换的能力，以在每种模式下适当地显示视频信号。在一些实施例中，所有的视频信号(高分辨率lfr帧和包括多个hfr编码的帧的lfr图像块两者)都用诸如hdmi的接口传送到包括解码器22和显示器24两者的监视器。

注意到，无论是原始以较高分辨率提供的lfr图像，还是编码到更高分辨率lfr块中的hfr图像，来自编码器12的所有输出都表现为较高分辨率的lfr流。优点在于，中间组件(例如可以包括通信链路和视频或流切换元件(未示出)的网络20)可以在不需要知晓来自编码器12的流的性质的情况下工作，特别是如果hfr/lfr模式指定被嵌入在流中的话。直到被解码器22接收到，任何元件才需要将流作为与普通较高分辨率lfr流不同的任何其他对象进行处理。

图2描绘了根据本公开原理的一个方面的示例性帧速率压缩过程200。如图2所示，类似于图1中的高帧速率(hfr)相机16的高帧速率相机205具有朝向(subtending)对象207的视场206。在操作中，相机205将输出包括对象的hfr图像的流的视频输出信号201。由相机205生成的hfr图像流的部分210出现在图2中，并由单独的连续帧211-226组成。

在图2所示的示例中，对象207包括骑马的男子。对象207的图像211-226以放大的时间尺度出现在图2中，使得各个图像呈现出明显的区别。所描绘的图像来自eadweardmuybridge在1887年的作品“jumpingahurdle，blackhorse”，之所以选择这一作品，是因为其为众人所熟悉且呈现出可识别的序列，这有助于理解本公开原理。

在步骤202期间，对hfr图像流的部分210的图像211-226进行捕获，此时图像积聚在通常位于相机205中(尽管与图2中的相机分开描绘)的捕获缓冲器230中。为了便于处理，图像211-226被分组成子序列231-234。在图2所示的编码处理203期间，由图1的编码器12对图像的子序列进行编码。根据本公开原理的一个方面，编码处理203将高帧速率(hfr)图像打包成低帧速率(lfr)图像块，如在2014年5月30日提交的美国临时专利申请no.62/005,397(其通过引用并入本文)中所述。例如，来自子序列231-234中的每一个子序列的第一图像被合并到单个lfr图像块241中。类似地，来自每个子序列的第二图像被合并到lfr图像块242中，并且来自每个子序列的第三图像和第四图像分别被打包到lfr图像块243和244中。除了生成lfr图像块之外，如上所述，图2的相机205还将产生指定，其指示相机输出信号是以hfr模式编码的。

在使用图像压缩的实施例中，lfr图像块241-244可以例如使用熟知的jpeg或jpeg-2000压缩方案来单独地压缩(例如，“编码”)。如果选择了基于运动的压缩方案，例如mpeg-2或h.264/mpeg-4，则lfr图像块241-244将形成编码的“图像组”(gop)240。在运动编码的视频中常常使用三种帧编码：i帧、p帧和b帧。i帧是“内编码”，即，帧在没有参考其他帧的情况下被编码，因此可以独立存在。p帧或“预测帧”相对于先前的参考帧进行编码，并利用它们之间的冗余来进行有效表示(通常是与i帧相比较小的表示)。b帧或“双向预测”帧通过利用先前的参考帧和稍后的参考帧之间的相似性进行编码。针对p帧和b帧的编码过程的重要部分是识别参考帧中的也存在于被压缩的帧中的区域以及估计这些公共区域的运动并将其编码为运动矢量。在一些实施例中，允许编码器不仅使用i帧作为参考，而且使用其他p帧或b帧作为参考。当合适时，当前帧的区域的运动矢量表示通常比该区域的像素的更明确的表示更紧凑。

注意，将hfr图像211-226分块(tile)成图2所示的lfr图像块241-244保留了子序列231-234的时间排序和顺序性质，其优点在于，在组成到lfr帧241-244中之后，连续hfr帧(例如在子序列232中)之间的差异得以维持。因此，由于hfr高于lfr，所以连续的hfr帧之间的预期运动矢量通常将小于在较低帧速率下传统捕获的序列(未示出)的运动矢量。类似地，连续拍摄的帧之间的对应相似区域与捕获帧速率较慢的情况相比通常将表现出更高的相似性，这是因为在hfr下对象的连续图像之间经过的时间较短。因此，预期的是，利用编码的gop240的合成图像中的运动的压缩方案将是特别有效的，这是因为在这些合成图像的每个象限内，连续lfr图像块241-244之间的明显时间增量对应于hfr，即使gop240的图像块241-244将以lfr传送也是如此。然而，当前编码的gop240的最后一个lfr帧244和下一个gop(未示出)的第一lfr帧(未示出)之间在每个象限内存在时间不连续性。图2的示例中的这种时间不连续性的大小是lfr间隔的3倍或hfr间隔的22倍。由于这种时间不连续性，尝试利用一个gop的结束与下一个gop的开始(即，使用b帧)之间的相似性的压缩方案并不是特别适合(fair)，相应地，本实施例中的传统的运动编码技术优选地限于i帧和p帧。

图3描绘了根据本公开原理的另一方面的示例性编码处理300。如图所示2，类似于图1的低帧速率(lfr)相机14的lfr相机305捕获大体静止的图像，示意性地描绘为人群307。在操作中，相机305将输出包括人群307的lfr图像流的视频输出信号301。相机305生成的lfr图像流的一部分310由lfr帧310-316的序列组成。根据本公开原理的教导，编码处理300以低帧速率生成整帧形式的较高分辨率lfr图像，而多个低分辨率hfr图像被封装到每个lfr图像块241-244中，如于2014年5月30日提交的美国临时专利申请no.62/005,397所述。除了生成lfr图像之外，如上所述，图3的相机305还将产生指示相机输出信号是以lfr模式编码的指定。

接收以lfr模式和hfr模式编码的视频信号的编码器(例如图1中的编码器12)将输出多帧输出流，如图4所示，其由lfr图像的单独序列(由lfr序列4021和4022示意性地描绘)和封装hfr图像序列的lfr图像块(示例性地由lfr图像块4041和4042描绘)组成。总的来说，lfr图像和lfr图像块包括视频内容分段。lfr帧序列和lfr图像块(即，视频内容分段)均具有分别由指示编码模式(即，分别为lfr和hfr)的标志406和408表示的相关联的指定。尽管图4以交替的方式示出了hfr图像块和lfr图像序列，但是编码器可以输出任意长的lfr图像序列后接任意数量的hfr图像块的序列，反之亦然。虽然图4将lfr图像序列和hfr图像块描绘为具有分别由标志406和408表示的单独指定，但是lfr图像序列和hfr图像块可以包括指示它们各自的编码模式的信息，从而避免与图像序列和图像块不同且分开的指定。

图5描绘了先前结合图4讨论的lfr图像序列4021和4022以及lfr图像块4041和4042的解码。解码器(例如图1的解码器22)将根据其伴随指定(或者在没有这种指定的情况下，通过在每个图像序列或图像块中检查其中包含的编码信息)来对每个输入的lfr图像序列和lfr图像块进行解码。在解码之后，lfr图像序列4021和4022中的每一个在图5中的画面5021(仅显示四个中的一个较高分辨率帧)和5022(仅显示四个中的一个较高分辨率帧)中进行显示。对lfr图像块4041和4042中的每一个进行解码以连续地剥离封装在每个lfr图像块内的各个低分辨率hfr图像，以便如显示屏5041(仅显示十六个中的一个较低分辨率帧)和5042(仅显示十六个中的一个较低分辨率帧)所示以高帧速率显示hfr图像。

前文描述了一种用于可互换地发送低帧速率视频内容和高帧速率视频内容以在保留图像细节的同时保持高质量视频的技术(尤其是针对运动图像)。