生成用于包括在视频序列中的输出帧的制作方法
【专利摘要】本发明的各实施方式总体上涉及生成用于包括在视频序列中的输出帧。具体地，在帧速率转换中，生成用于包括在视频序列中的输出帧(例如插值帧)。可以例如通过使用基于视频序列的现有帧中的一个或者多个现有帧的运动估计来生成用于表示输出帧的第一运动补偿图像。平滑第一运动补偿图像的至少一部分，以确定平滑的运动补偿图像。信任指示可以被确定以用于第一运动补偿图像的像素，以指示像素值的信任水平。信任指示可以用来确定如何有选择地组合第一运动补偿图像的像素以及平滑的运动补偿图像的像素以由此生成输出帧。
【专利说明】生成用于包括在视频序列中的输出帧
【技术领域】
【背景技术】
[0001] 视频序列包括将依次播放出的多个帧。视频序列的帧速率指示一种速率，为了正 确地播放视频序列而将以该速率播放出帧。例如，视频序列可以是具有每秒24帧的帧速率 的电影。作为另一不例，视频序列可以具有每秒50巾贞或者60巾贞的巾贞速率（例如用于电视 广播）。其它视频序列可以具有其它帧速率。视频序列的每帧包括形成图像的多个像素。 例如，高清晰度视频序列的帧可以例如是由在1920x1080个可能像素位置中的每个可能像 素位置的像素值的阵列形成的图像。
[0002] 在其它示例中，像素值存在于可能像素位置中的一些但是并非所有可能像素位 置。例如，在隔行系统中，像素值可以对于可能像素位置的交替行存在，从而形成部分图像。 这些部分图像可以称为"场"，并且经常在不同时间采样的两个场包括完整帧。在这些其它 示例中，多个部分图像（或者"场"）可以用来例如通过称为解隔行（de-interlacing)的过 程确定完整图像（或者"帧"）。
[0003] 为了清楚起见，以下说明书描述对完整帧进行操作的系统。所有描述的方法可以 同样应用于包括场或者完整帧的视频序列，并且术语"帧"的使用应当酌情理解为指的是完 整帧或者场。
[0004] 帧速率转换器可以用来更改视频序列的帧速率。由帧速率转换器应用的帧速率转 换过程可以包括向视频序列中添加帧和/或从视频序列去除帧。在简单示例中，帧速率转 换器可以通过在视频序列中的每对现有帧之间插入帧来倍增视频序列的帧速率（例如从 每秒24帧倍增成每秒48帧）。在一个示例中，向视频序列中插入的帧中的每帧可以简单地 是现有帧之一的副本，例如从而在行中两次但是以原有视频序列的速度的两倍播放出现有 视频序列的每帧。在这一示例中，通过倍增帧速率可能未显著地提高视频序列的感知流畅 度，但是这一帧速率转换确实允许以不同帧速率输出原先具有一个帧速率的视频序列（例 如当电影在电视信号上被广播时）。
[0005] 更多复杂帧速率转换器尝试确定帧将在现有帧中的两帧之间的时间点看起来像 什么，以由此生成用于在两个现有帧之间、在视频序列中包括的新帧。例如，运动估计可以 用来跟踪图像的各部分在一帧与下一帧之间移动的方式。常见的运动估计器是基于块的 类型，其中视频序列的帧被划分成多个块，并且对于每个块，发现如下矢量（称为"运动矢 量")，该矢量表示在该块中的像素的运动。在一个示例中，为当前巾贞的块确定运动矢量包括 搜索在视频序列中的先前帧，以发现先前帧的具有与当前帧的块的内容最相似的内容的图 像数据区域。其它因素也可以参与确定用于块的运动矢量。运动矢量可以用来在视频序列 中的两个现有帧之间的中间位置（由时间相位〇给定）产生插值帧。例如，如果将在两个 相邻现有帧之间的中点包括插值帧（即如果插值帧的时间相位〇是〇. 5)，则在两个现有帧 之间确定的运动矢量可以被减半（即乘以时间相位〇)，并且然后用来确定在现有帧之一 中的图像应当如何改变以用于表示插值的帧。
[0006] 问题可能当使用运动矢量来预测插值帧时出现。具体而言，经常难以为插值帧的 封闭的和/或显露的区域确定准确的运动矢量。封闭的和显露的区域在不同对象在视频序 列的两个相继帧之间具有不同运动量值和/或方向的情况下出现。不准确的运动矢量然后 可能在像素数据被插值到插值帧中的不正确位置时产生可见的伪像（artefact)。这些伪 像在移动对象的边缘周围或者在有运动改变的位置附近的分布具有经常称为"晕圈"的特 殊表现。晕圈可以根据用来预测插值帧的确切过程而采用许多不同形式。例如，晕圈可以 包括具有锐边的锐利"裂口和破缝（rip and tear)"伪像，这些伪像可能在渲染的图像中给 定块状表现。在感知上，对视频序列的失真可以是累积的，从而如果视频序列的插值帧中的 许多插值帧（例如对于视频序列的现有原有帧中的每个现有原有帧可以有一个、两个、三 个或者更多个插值帧）包括晕圈伪像，则视频序列可以表现为具有比插值帧中的每个插值 帧当被分开查看时的明显失真更多的失真。晕圈伪像可以表现为随着播放出视频序列而移 动，并且晕圈伪像的明显移动可以吸引查看者对由晕圈伪像引起的失真的注意。
【发明内容】
[0007] 提供这一
【发明内容】
，以用简化形式介绍以下在【具体实施方式】中进一步描述的一系 列概念。这一
【发明内容】
不旨在于标识要求保护的主题内容的关键特征或者必需特征，它也 不旨在于用来限制要求保护的主题内容的范围。
[0008] 在帧速率转换中，生成输出帧（例如插值帧）用于包括在视频序列中。可以例如通 过基于视频序列的现有帧中的一个或者多个现有帧使用运动估计来生成第一运动补偿图 像以用于表示输出帧。平滑第一运动补偿图像的至少一部分以确定平滑的运动补偿图像。 可以对于第一运动补偿图像的像素确定信任指示，以指示像素值的信任水平。信任指示可 以用来确定如何有选择地组合第一运动补偿图像的像素和平滑的运动补偿图像的像素以 由此生成输出帧。例如，对于信任的像素，第一运动补偿图像的像素可以用于输出帧，但是 对于不信任的像素，平滑的运动补偿图像的像素可以用于输出帧。
[0009] 具体而言，提供一种生成用于包括在包括多个现有帧的视频序列中的输出帧的方 法，该方法包括：使用基于视频序列的现有帧中的至少一个现有帧的至少一个预测来生成 用于表示输出帧的第一运动补偿图像；确定用于第一运动补偿图像的像素的信任指示，所 述信任指示指示第一运动补偿图像的所述像素值的信任水平；平滑确定的第一运动补偿图 像的至少一部分以确定平滑的运动补偿图像；并且通过使用用于第一运动补偿图像的所述 像素的确定的信任指示以有选择地组合第一运动补偿图像和平滑的运动补偿图像来生成 输出帧。
[0010] 也提供一种被配置为生成用于包括在包括多个现有帧的视频序列中的输出帧的 帧生成器，该帧生成器包括：图像生成器模块，被配置为使用基于视频序列的现有帧中的至 少一个现有帧的至少一个预测来生成用于表示输出帧的第一运动补偿图像；信任指示模 块，被配置为确定用于第一运动补偿图像的像素的信任指示，所述信任指示指示第一运动 补偿图像的所述像素值的信任水平；平滑模块，被配置为平滑确定的第一运动补偿图像的 至少一部分以确定平滑的运动补偿图像；以及组合模块，被配置为通过使用用于第一运动 补偿图像的所述像素的确定的信任指示以有选择地组合第一运动补偿图像和平滑的运动 补偿图像来生成输出帧。
[0011] 也提供一种被配置为生成用于包括在包括多个现有帧的视频序列中的输出帧的 计算机程序产品，该计算机程序产品在计算机可读存储介质上被体现并且被配置以便当在 处理器上被执行时执行这里描述的方法中的任何方法。
[0012] 也提供一种计算机可读存储介质，该计算机可读存储介质具有在其上被编码的用 于生成处理器的计算机可读程序代码，该处理器被配置为执行这里描述的方法中的任何方 法。
[0013] 以上特征可以如本领域技术人员将清楚的那样被酌情组合，并且可以与这里描述 的示例的方面中的任何方面进行组合。
【专利附图】
【附图说明】
[0014] 现在将参照附图具体描述示例，在附图中：
[0015] 图1示出被配置为生成用于包括在视频序列中的输出帧的帧生成器；
[0016] 图2示出用于生成用于包括在视频序列中的输出帧的过程的流程图；
[0017] 图3a示出可以对于插值帧进行计算的运动矢量的第一示例；
[0018] 图3b示出可以对于插值帧进行计算的运动矢量的第二示例；
[0019] 图4示出对象如何可以在视频序列的帧之间移动的示例；
[0020] 图5表示对象在视频序列的两个相继帧之间的运动；
[0021] 图6表示用于表示插值帧的运动补偿图像；
[0022] 图7表示运动补偿图像的像素的信任指示；
[0023] 图8表示运动补偿图像的像素的平滑的信任指示；
[0024] 图9表示用于表示插值帧的平滑的运动补偿图像；
[0025] 图10表示输出帧；
[0026] 图11示出在示例中对信任指示执行侵蚀（erode)操作的效果；以及
[0027] 图12示出在该示例中执行侵蚀操作的结果的扩张（dilate)操作的效果。
[0028] 在适当情况下，贯穿各图使用共同的附图标记来指示相似的特征。
【具体实施方式】
[0029] 现在将仅通过示例描述实施例。
[0030] 如以上描述的那样，可能向由帧速率转换器使用运动估计生成的插值帧中引入晕 圈伪像。晕圈伪像经常在帧的一部分（该部分具有与帧的邻近部分比较不同的运动）周围 (例如在帧中相对于另一对象或者相对于背景正在移动的对象周围）出现。这里描述的示 例涉及一种可以在帧速率转换中用来生成用于包括在视频序列中的输出帧的帧生成器和 对应方法，据此减少输出帧中的晕圈伪像的感知失真。这通过基于确定的用于表示输出帧 的第一运动补偿图像的像素值的信任水平的指示确定晕圈伪像可能出现的像素位置来实 现。如果第一运动补偿图像的像素值的信任高，则可以在输出帧中使用该像素值。然而， 如果第一运动补偿图像的像素值的信任低，则运动补偿图像的平滑版本可以用来确定用于 输出帧的像素值。运动补偿图像的平滑减少了晕圈伪像中的边缘（例如"块状"）的锐度。 因此，通过使用平滑的运动补偿图像以对于可能具有晕圈伪像的像素（也就是说，第一运 动补偿图像的值的信任不高的像素）确定输出帧的像素值，减少由输出帧中的晕圈伪像的 "块状"引起的感知失真。另外，对于不可能具有晕圈伪像的像素（也就是说，第一运动补偿 图像的值的信任高的像素），第一运动补偿图像用来确定输出帧的像素值，从而那些像素的 细节不由于平滑而丢失。
[0031] 图1示出被配置为生成用于包括在视频序列中的输出帧（这里也可以称为"插值 帧"）的帧生成器100。帧生成器100包括：图像生成器模块102 ;第一平滑模块104,其包括 第一平滑滤波器106 ;信任指示模块108 ;第二平滑模块110,其包括第二平滑滤波器112 ; 以及组合模块114。图像生成器模块102被布置为接收包括多个现有帧的视频序列。图像 生成器模块102的第一输出耦合到：（i)第一平滑模块104的输入、（ii)信任指示模块108 的第一输入以及（iii)组合模块114的第一输入。图像生成器的第二输出耦合到信任指示 模块108的第二输入。第一平滑模块104的输出耦合到组合模块114的第二输入。信任指 示模块108的输出耦合到第二平滑模块110的输入。第二平滑模块110的输出耦合到组合 模块114的第三输入。组合模块114的输出被布置为提供输出巾贞。可以对输出巾贞执行进一 步处理和/或可以在视频序列内的适当位置包括输出帧。可以在硬件或者软件或者其组合 中实施图1中所示的帧生成器100的模块。可以在包括图1中未示出的其它部件（比如存 储器和其它处理模块）的设备内实施巾贞生成器100。
[0032] 现在参照示出用于生成用于包括在视频序列中的输出帧的过程的流程图的图2 描述帧生成器100的操作。在图像生成器模块102接收包括多个现有帧的视频序列。可以 例如从存储器或者从在其中实施帧生成器100的设备内的另一处理模块接收视频序列。视 频序列可以由相机捕获，从而视频序列的帧是现实场景的图像。备选地，可以人为地创建 或者更改视频序列的帧中的一些或者所有帧，例如视频序列可以是视频游戏的动画或者输 出。
[0033] 在步骤S202中，图像生成器模块102确定插值帧的一个或者多个预测。在步骤 S204中，图像生成器模块102使用（多个）预测以生成用于表示插值帧的第一运动补偿图 像。可以用任何适当方式执行生成第一运动补偿图像，该方式包括基于运动矢量和来自视 频序列的现有帧中的一个或者多个现有帧的像素数据区域来预测插值帧。
[0034] 可以用多种不同方式使用运动估计来确定插值帧的像素数据。例如，如图3a中所 示，视频序列包括在时间t n和tn+1出现的两个相继现有帧302和304 (帧n和帧n+1)，并且 将在中间位置（由时间相位〇给定）在两个现有帧302和304之间在时间&生成插值帧 306。帧304被划分成形成块网格的像素块的阵列，并且运动估计轮流对于每个块继续。图 3a示出用于帧304的块308的运动估计，该运动估计包括搜索在视频序列中的先前现有帧 (帧302)以发现具有与块308的内容最相似的内容的像素数据区域（即发现用于块308的 在帧302中的最佳匹配）。在图3a中示出三个候选运动矢量作为示例。运动矢量310表示 从在帧302中的像素区域312到在帧304中的像素块308的运动；运动矢量314表示从在 帧302中的像素区域316到在帧304中的像素块308的运动；并且运动矢量318表示从在 帧302中的像素区域320到在帧304中的像素块308的运动。如果发现用于块308的在帧 302中的最佳匹配来自像素区域312,则为块308选择运动矢量310。图3a中所示的运动矢 量可以称为"单端"运动矢量，因为它们在帧302开始而在帧304结束，从而穿过在插值帧 306中的像素区域（而不是在插值帧306中始发）。可见，运动矢量310穿过插值帧306的 像素区域322。因此，可以使用以下各项来发现用于在区域322中的像素数据的预测：（i) 运动矢量310、（ii)在帧302中的区域312中的像素值和/或在帧304中的块308中的像 素值以及（iii)时间相位在这一情况下，在区域312中的像素在时间上被向前投影基 于时间相位〇和根据运动矢量310的数量，以发现用于在插值帧306中的区域322中的像 素数据的预测，和/或在块308中的像素在时间上被向后投影基于时间相位〇和根据运动 矢量310的数量，以发现用于在插值帧306中的区域322中的像素数据的预测。在一些示 例中，用于在插值帧306的区域322中的像素数据的最终预测可以是在从帧302投影的像 素数据与从帧304投影的像素数据之间的混合。基于在帧302与304之间的正向运动矢量 (比如运动矢量310)的预测称为用于插值帧306的区域322的"正向"预测。时间相位〇 通常具有在〇〈〇〈1的范围中的值，并且由
【权利要求】
1. 一种生成用于包括在包括多个现有峽的视频序列中的输出峽的方法，所述方法包 括： 使用基于所述视频序列的所述现有峽中的至少一个现有峽的至少一个预测来生成用 于表示所述输出峽的第一运动补偿图像； 确定用于所述第一运动补偿图像的像素的信任指示，所述信任指示用于指示所述第一 运动补偿图像的所述像素的值的信任水平； 平滑确定的所述第一运动补偿图像的至少一部分，W确定平滑的运动补偿图像；W及 通过使用用于所述第一运动补偿图像的所述像素的确定的所述信任指示W有选择地 组合所述第一运动补偿图像和所述平滑的运动补偿图像，来生成所述输出峽。
2. 根据权利要求1所述的方法，其中所述至少一个预测包括多个预测，并且其中所述 预测中的每个预测包括用于在确定表示所述输出峽的像素中使用的预测像素。
3. 根据权利要求2所述的方法，还包括通过使用运动矢量和在所述现有峽中的一个或 者多个现有峽中的像素区域预测所述输出峽的像素区域来确定所述预测像素。
4. 根据任一前述权利要求所述的方法，其中根据所述至少一个预测的确定来确定所述 倍任指W。
5. 根据在从属于权利要求2时的权利要求4所述的方法，其中基于在用于所述预测中 的不同预测的对应预测像素的值之间的差值，所述信任指示被确定用于所述第一运动补偿 图像的所述像素。
6. 根据任一前述权利要求所述的方法，其中信任指示被确定用于所述第一运动补偿图 像的每个像素。
7. 根据任一前述权利要求所述的方法，其中所述信任指示中的每个信任指示是一位 值，所述一位值指示信任或者不信任所述第一运动补偿图像的像素值。
8. 根据任一前述权利要求所述的方法，还包括使用所述信任指示来确定所述第一运动 补偿图像的不信任区段的边缘的位置，其中根据所述第一运动补偿图像的所述不信任区段 的所述边缘的确定的所述位置，有选择地组合所述第一运动补偿图像和所述平滑的运动补 偿图像。
9. 根据任一前述权利要求所述的方法，其中所述第一运动补偿图像与所述平滑的运动 补偿图像的组合进一步基于所述第一运动补偿图像的不信任区段的大小。
10. 根据权利要求9所述的方法，其中： 如果所述不信任区段的大小小于口限大小，则使用所述第一运动补偿图像而不使用所 述平滑的运动补偿图像来生成在所述输出峽中、与所述不信任区段对应的所述像素，并且 如果所述不信任区段的大小大于所述口限大小，则使用所述第一运动补偿图像和所述 平滑的运动补偿图像的组合来生成在所述输出峽中、与所述不信任区段对应的所述像素， 其中，所述方法还包括： 通过对用于所述不信任区段的所述像素的所述信任指示执行一个或者多个侵蚀操作， 来确定所述不信任区段的大小是否小于或者大于所述口限大小；W及 对所述侵蚀操作的结果执行一个或者多个扩张操作，W由此形成指示区段的关键信 号，所述区段不邻近大于所述口限大小的不信任区段，从而使得可W使用所述第一运动补 偿图像而不使用所述平滑的运动补偿图像来生成在指示的所述区段中的所述像素。
11. 一种被配置为生成用于包括在包括多个现有峽的视频序列中的输出峽的峽生成 器，所述峽生成器包括： 图像生成器模块，被配置为使用基于所述视频序列的所述现有峽中的至少一个现有峽 的至少一个预测来生成用于表示所述输出峽的第一运动补偿图像； 信任指示模块，被配置为确定用于所述第一运动补偿图像的像素的信任指示，所述信 任指示用于指示所述第一运动补偿图像的所述像素的值的信任水平； 平滑模块，被配置为平滑确定的所述第一运动补偿图像的至少一部分，W确定平滑的 运动补偿图像；W及 组合模块，被配置为通过使用用于所述第一运动补偿图像的所述像素的确定的所述信 任指示有选择地组合所述第一运动补偿图像和所述平滑的运动补偿图像，来生成所述输出 中贞。
12. 根据权利要求11所述的峽生成器，其中所述平滑模块包括第一平滑滤波器，所述 第一平滑滤波器被配置为平滑确定的所述第一运动补偿图像，其中所述第一平滑滤波器的 滤波器内核的大小是可适配的。
13.根据权利要求11或12所述的峽生成器，还包括第二平滑模块，所述第二平滑模块 被配置为平滑所述信任指示，其中所述组合模块被配置为根据用于所述第一运动补偿图像 的所述像素的平滑的所述信任指示，有选择地组合所述第一运动补偿图像和所述平滑的运 动补偿图像。
14.根据权利要求13所述的峽生成器，其中所述第二平滑模块包括第二平滑滤波器， 所述第二平滑滤波器被配置为平滑所述信任指示，其中所述第二平滑滤波器的滤波器内核 的大小是可适配的。
15.根据权利要求13或14所述的峽生成器，其中所述组合模块被配置为通过对于所述 输出峽的多个像素中的每个像素，执行所述第一运动补偿图像和所述平滑的运动补偿图像 的所述对应像素的加权和来生成所述输出峽，其中所述组合模块被配置为从平滑的所述信 任指示推导所述加权和的权值。
16.根据权利要求15所述的峽生成器，其中平滑的所述信任指示中的至少一些平滑的 信任指示用于指示完全信任所述第一运动补偿图像的所述像素中的至少一些像素的值，并 且其中所述输出峽的所述多个像素包括所述输出峽中的除了被它们的对应平滑的信任指 示指示为完全信任的像素之外的所有像素。
17.根据权利要求16所述的峽生成器，其中所述平滑模块被配置为仅平滑所述运动补 偿图像的未被它们的对应平滑的信任指示指示为完全信任的部分。
18.根据权利要求11至17中的任一权利要求所述的峽生成器，其中所述组合模块还被 配置为使用所述信任指示W确定所述第一运动补偿图像的不信任区段的边缘的位置，其中 所述组合模块被配置为根据所述第一运动补偿图像的所述不信任区段的所述边缘的确定 的所述位置，有选择地组合所述第一运动补偿图像和所述平滑的运动补偿图像。
19. 一种被配置为生成用于包括在包括多个现有峽的视频序列中的输出峽的计算机程 序产品，所述计算机程序产品被体现于计算机可读存储介质上，并且被配置W便当在处理 器上被执行时执行根据权利要求1至10中的任一权利要求所述的方法。
20. -种计算机可读存储介质，具有在其上被编码的用于生成处理器的计算机可读程 序代码，所述处理器被配置为执行根据权利要求1至10中的任一权利要求所述的方法。
【文档编号】H04N19/513GK104469379SQ201410475349
【公开日】2015年3月25日 申请日期:2014年9月17日 优先权日:2013年9月18日
【发明者】J·迪金斯 申请人:想象技术有限公司