数字视频流传输中的特技播放的制作方法
【专利说明】
【背景技术】
[0001]本发明的各方面总体涉及视频显示领域，并且更具体地，涉及优化最终用户设备上显示的视频内容的回放。
[0002]当在显示设备上导航音频内容和视频内容时，特定的回放模式允许用户以预先确定的速度对视频内容进行快进或回退。通过视频内容进行导航的问题中的一个问题是难以在期望的精确时刻按下播放键，使得回放将在视频流中的期望位置处恢复。此外，常规的回放模式将常常以与正常回放相同的帧速率来显示帧，在此期间，快进回放模式可能导致视频序列闪烁并且难以观看或理解。另选地，常规回放模式将常常以更慢的帧速率来显示更少的帧，以避免闪烁。然而，帧之间的更大的跳跃可能会跳过包含期望停止点的帧。
[0003]因此，在本领域中需要这些系统和方法，以在快进和回退回放模式期间以更加用户友好的方式显示视频数据。
【附图说明】
[0004]结合附图，通过检查本发明的以下详细描述，本发明的各个实施例的前述内容和其他方面将是显而易见的，在附图中，类似的附图标号用于指示功能上类似的元件。
[0005]图1是示出了根据本发明的实施例的示例性视频显示设备的部件的简化框图。
[0006]图2是示出了根据本发明的实施例的示例性视频通信系统的部件的简化框图。
[0007]图3是示出了根据本发明的实施例的示例性编码器的部件的简化框图。
[0008]图4(A)_(C)示出了用于视频数据帧的子集的常规回放模式。
[0009]图5(A)_(D)示出了根据本发明的实施例的具有用于回放的固定间隔的示例性回放模式。
[0010]图6(A)_(C)示出了根据本发明的实施例的示例性回放模式。
[0011]图7㈧-(B)示出了根据本发明的实施例的示例性回退回放模式。
[0012]图8示出了根据本发明的实施例的用于选择用于回放的帧的示例性方法。
【具体实施方式】
[0013]在所公开的实施例中，对视频帧进行子采样以用于改善回放。并非一次回放一个隔离帧，而是回放若干个连续的或紧密隔开的帧。然后可在更高帧速率下回放，而不会导致闪烁。通过这种方式，观看者将看到连续运动，这是一种更令人愉悦的体验并且使得观看者更容易识别该内容。
[0014]可通过首先识别用于显示的片段来确定视频序列的回放。片段以选择用于显示的第一帧开始，接着是从视频流选择的以回放次序排在第一所选择的帧之后的若干个帧。片段可在视频流中均匀隔开。
[0015]片段的选择也可适应于内容。然后，可选择片段的第一帧作为场景的第一帧。场景检测、对象检测和/或运动检测可辅助进行适当的片段选择。例如，给定关于与可映射到该元数据以选择适当片段的数字媒体中的标记结合的程序之间的边界的元数据，可优化回放体验以通过允许观看者选择适当停止点的方式来显示视频数据的内容。
[0016]如果内容的质量差、如果场景中的帧数低于预先确定的阈值、如果在序列中检测到的运动过高而不能形成有意义的片段等等，则在回放期间可跳过场景或视频序列。
[0017]根据实施例，可将视频片段的第一帧或视频片段的最后一帧显示稍长时间。这为用户提供了更宽的时间范围来命中播放并停在他们希望的精确点上。
[0018]图1是示出了根据本发明的实施例的示例性视频显示设备100的部件的简化框图。如图1所示，显示设备100可从信道、从本地存储装置110 (作为由相机115捕获的源视频)、或从另一种视频通信方法接收视频数据，另一种视频通信方法例如是经由卫星连接或电视电缆供应商(未示出)。可根据预测编码技术或其他已知的编码方法来对编码视频数据进行编码。对于从信道接收的视频数据，显示设备100包括用于接收和存储信道数据的缓存105。
[0019]如图1所示，为了处理视频数据，显示设备100进一步包括:解码引擎125，该解码引擎用于接收编码视频数据并通过反转视频数据编码期间执行的编码过程来对编码视频数据进行解码；控制器130，该控制器用于识别编码视频数据的特性、为编码视频数据选择解码模式、并管理视频的显示；以及后期处理器135，该后续处理器拥有进一步处理视频以准备显示。后期处理操作可包括滤波、解交织、缩放或对视频数据进行的可提高所显示的视频的质量的其他处理操作。然后在屏幕或其他显示器上显示视频数据。
[0020]此外，在快进、回退或其他技巧回放模式期间，控制器130和/或后期处理器135可准备和管理视频数据的回放。此类准备可包括生成具有所选择的或经更改的帧的交替流，将在交替回放模式期间显示该交替流。显示设备100可包含用于存储经更改的视频数据的序列的缓存140，以根据本文所述的回放模式来显示视频。因此，可在本地存储器110中与视频数据一起存储先前生成的本文所述的交替，或者通过信道或其他通信流来与视频数据一起接收该交替。
[0021]图2是示出了根据本发明的实施例的示例性视频通信系统200的部件的简化框图。如图2所示，示例性视频编码系统可包括在经由信道230的通信中提供的编码器系统210和解码器系统220。编码器系统210可接受源视频201并可将源视频201编码成编码视频。编码器系统210可向信道230输出编码视频数据，该信道可以是存储设备诸如光学存储设备、磁存储设备或电存储设备，或由计算机网络或通信网络形成的通信信道。
[0022]解码器系统220可从信道230检索编码视频数据，反转由编码器系统210执行的编码操作，并向相关联的显示设备输出解码视频数据。视频显示设备可包括电视机、个人计算机(台式计算机和膝上计算机两者)、平板计算机、手持式计算设备、媒体播放器、专用视频会议设备等。如图所示，系统200仅在一个方向上支持视频编码和解码。然而，根据实施例，可在每个终端处捕获视频，并且可与在每个终端处实施的编码器和解码器实现双向通
?目Ο
[0023]图3是示出了根据本发明的实施例的示例性编码器300的部件的简化框图。如图3所示，编码器300可包括预处理器305、编码引擎310、解码引擎315、复用器320和控制器325。编码器300可从视频源诸如相机或视频存储器接收输入源视频序列301。预处理器305可将输入源视频序列301处理为一系列帧，并调节源视频以用于更有效的压缩。例如，可评估输入源视频序列的图像内容以为每个帧确定适当的编码模式。预处理器305可另外对帧执行视频处理操作，该视频处理操作包括滤波操作诸如降噪滤波、双侧滤波或改善由编码器300执行的编码操作的效率的其他种类处理操作。
[0024]常规编码器可将源视频序列301编码成解码表达，该解码表达的比特率比源视频的比特率小，由此实现数据压缩。编码引擎310可以从预处理器305接收处理过的视频数据并产生压缩视频。用于数据压缩的一种常见技术使用预测编码技术(例如，时间/运动预测编码)。例如，可独立地对视频流中的一些帧(I帧)进行编码，并且可使用其他帧作为参考帧来对一些其他帧(例如，P帧或B帧)进行编码。可参考单个先前编码帧(P帧)来对P帧进行编码，并且可参考一对先前编码帧来对B帧进行编码，该一对先前编码帧通常是按显示次序出现在B帧之前的一个帧，以及按显示次序出现于在B帧之后的另一个帧。
[0025]编码引擎310可根据预先确定的多级协议诸如Η.263、H.264或MPEG-2进行操作。因此，编码视频数据可符合由所使用的协议指定的语法。编码引擎可另外从多种编码模式中选择或被分配一种编码模式，以对视频数据进行编码，其中取决于源视频的内容，每种不同的编码模式产生不同水平的压缩。例如，编码引擎310可根据像素数据的规则阵列(例如，8X8块或16X16块)(这里称为“像素块”)来对源视频帧进行语法分析，并可根据块预测和预测残余的计算、量化和熵编码来对像素块进行编码。
[0026]编码器300还可包括解码引擎315，通过反转在编码引擎310中执行的编码操作来对从该编码引擎输出的编码像素块进行解码。解码引擎315可产生解码器系统将要产生的源视频数据的相同解码副本，可将其用作由编码引擎310执行的预测编码技术的依据。解码引擎315可访问参考帧高速缓存，以检索用于解码的参考数据，并存储可代表针对输入到视频编码系统中的稍晚接收的帧的预测源的解码帧数据。
[0027]然后可从编码引擎310输出编码帧或像素块并由MUX 320存储，其中可将它们组合成待由传输信道递送到解码器、终端或数据存储器的普通比特流。为了恢复视频数据，可在解码器处通过反转由编码器执行的编码过程来对比特流进行解压，从而产生所接收的解码视频序列。
[0028]根据该实施例的一个方面，在解码过程期间，编码器300可识别场景变化或与本文所述的调节视频数据的回放相关的其他信息。例如，预处理器305或控制器325可在上文所述的编码过程期间捕获这种信息。然后可与编码视频一起存储由编码器捕获或生成的此