用于控制颤抖可见性的系统和方法

用于控制颤抖可见性的系统和方法
【专利摘要】公开了用于控制颤抖的方法和系统。颤抖可以在图片内被局部地引入以恢复通常在电影中预期的颤抖感觉。帧的捕获时间和显示时间可以被操纵以获得期望的颤抖量。帧可以被插入以获得具有较高帧速率和颤抖的局部控制的电影。
【专利说明】
用于控制颤抖可见性的系统和方法
[0001] 相关申请的交叉引用
[0002] 本申请要求2014年2月27日提交的美国临时专利申请No. 61/945，706和2014年9月 25日提交的美国临时专利申请No. 62/055，555的优先权，每一专利申请通过其整体引用而 特此并入。
技术领域
[000引本公开设及视频处理。更特别地，它设及用于控制颤抖可见性（judder visibility)的系统和方法。
【附图说明】
[0004] 并入到本说明书中并且构成本说明书的一部分的附图示出了本公开的一个或多 个实施例，并且与示例实施例的描述一起用于解释本公开的原理和实现。
[0005] 图1示出了处理24巧S传入素材(materia)的一个实施例的高层级框图。
[0006] 图2示出了由于对于不具有眼睛移动（即，注视）的世界坐标的情况（左半部）的平 滑运动（顶部）和跟踪眼睛移动的情况（右半部）下的视网膜运动的时间采样(底部）而造成 的失真。
[0007] 图3示出了 W48巧S采样并且在48巧S保持型显示器上显示的线段的运动。
[000引图4示出了根据本公开的实施例的具有24fps输入和48fps输出的颤抖减少的处 理。
[0009] 图5示出了根据本公开的实施例的作为速度的函数的示例性映射函数。
[0010] 图6-14示出了根据本公开的实施例的颤抖控制的不同可能的方法。
[0011] 图15示出了根据本公开的实施例的颤抖控制算法的实施例。
[0012] 图16示出了本公开的方法的硬件实现的实施例。
[0013] 图17示出了与颤抖控制有关的一些概念。
[0014] 图18-19示出了与颤抖控制有关的映射的一些示例。
[001引图20示出了具有120fps输入的输入时间和输出时间之间的示例性关系。
[0016] 图21示出了与颤抖控制有关的一些另外的概念。
[0017] 图22示出了对于无限帖速率示例的真实时间和显示时间之间的映射。
[001引图23示出了利用和不利用平滑追随对象眼睛跟踪的时间空间轨迹线。
[0019] 图24示出了本公开的颤抖控制的实施例的映射时间和真实时间。
[0020] 图25示出了根据本公开的实施例的扩宽的颤抖可见性控制流程图的示例。
[0021] 图26示出了根据本公开的实施例的用于高帖速率图像的扩宽的颤抖可见性控制 流程图的示例。该步骤一般在图像制作阶段(即，后期制作）由人操作者控制。

【发明内容】

[0022] 在本公开的第一方面中，描述了用于利用计算机控制颤抖可见性的方法，所述方 法包括:访问第一图像和第二图像;使用所述第一图像和第二图像来生成亮度变化图和对 比度变化图；使用所述亮度变化图和对比度变化图来生成颤抖图，其中，所述颤抖图包括所 述第一图像的颤抖信息；W及响应于所述颤抖图，向所述第一图像添加噪声和运动模糊W 生成输出图像。
[0023] 在本公开的第二方面中，描述了用于控制颤抖可见性的方法，所述方法包括:通过 计算机提供至少两个输入帖；通过计算机基于所述至少两个输入帖估计插入图 (interpolation map)，由此获得估计的插入图，其中，所述估计的插入图指定对于所述至 少两个输入帖的至少一个像素的时间插入位置；W及通过计算机基于所述至少两个输入帖 和估计的插入图插入至少一个另外的帖，由此获得至少一个插入帖，其中，所述至少一个插 入帖的至少一个像素与由至少一个像素的插入图指定的时间处的该至少一个像素对应。
[0024] 在本公开的第Ξ方面中，描述了用于控制高帖速率捕获和高帖速率显示的颤抖可 见性的方法，所述方法包括:利用非恒定的时间间隔捕获帖，由此获得捕获的帖；和利用恒 定的时间间隔显示所述捕获的帖，由此获得期望的颤抖可见性。
[0025] 在本公开的第四方面中，描述了用于控制高帖速率捕获和高帖速率显示的颤抖可 见性的方法，所述方法包括:利用恒定的时间间隔捕获帖，由此获得捕获的帖；和利用非恒 定的时间间隔显示所述捕获的帖，由此获得期望的颤抖可见性。
[0026] 在本公开的第五方面中，描述了用于控制颤抖可见性的方法，所述方法包括:利用 恒定的时间间隔捕获帖，由此获得捕获的帖;和利用恒定的时间间隔显示所述捕获的帖，其 中，所述捕获的帖中的至少一个帖被用其在前的捕获的帖替代，由此显示所述在前的捕获 的帖两次。
[0027] 在本公开的第六方面中，描述了用于控制颤抖可见性的方法，所述方法包括:利用 恒定的时间间隔捕获帖，由此获得捕获的帖;通过计算机基于期望的颤抖可见性处理所述 捕获的帖中的至少一个帖和其在前的捕获的帖中的至少一个，由此获得至少一个经处理的 捕获的帖；W及利用恒定的时间间隔显示所述捕获的帖和至少一个经处理的捕获的帖。
[0028] 在本公开的第屯方面中，描述了用于控制高帖速率图像序列的颤抖可见性的方 法，所述方法包括:通过计算机提供输入帖；通过计算机从所述输入帖去除噪声或胶片颗 粒，由此获得经处理的帖;通过计算机处理来自所述输入帖的所述噪声或胶片颗粒，由此获 得低帖速率噪声或胶片颗粒；W及通过计算机向所述经处理的帖添加所述低帖速率噪声或 胶片颗粒，由此获得输出帖。
[0029] 在本公开的第八方面中，描述了用于控制高帖速率图像序列的颤抖可见性的方 法，所述方法包括:通过计算机提供输入帖;通过计算机将所述输入帖分成至少两组帖;通 过计算机基于期望的颤抖可见性处理所述帖的组中的至少一组，由此获得经处理的至少一 组帖和未经处理的至少一组帖；W及通过计算机组合所述经处理的至少一组帖与未经处理 的至少一组帖。
[0030] 在本公开的第九方面中，描述了用于利用计算机控制颤抖可见性的方法，所述方 法包括:通过计算机提供至少两个输入帖;通过计算机基于所述至少两个输入帖估计插入 图，由此获得估计的插入图，其中，所述估计的插入图指定对于所述至少两个输入帖的至少 一个像素的时间插入位置；W及通过计算机基于所述至少两个输入帖和估计的插入图插入 至少一个另外的帖，由此获得至少一个插入帖，其中，所述至少一个插入帖的至少一个像素 与由至少一个像素的插入图指定的时间处的该至少一个像素对应，输出帖速率为输入帖速 率的整数倍，并且所述至少一个另外的帖被插入在所述至少两个输入帖之间。
[0031] 在本公开的第十方面中，描述了用于控制颤抖可见性的方法，所述方法包括:通过 计算机提供至少两个输入帖;通过计算机基于所述至少两个输入帖估计插入图，由此获得 估计的插入图，其中，所述估计的插入图指定对于所述至少两个输入帖的至少一个像素的 时间插入位置;计算基础(base)帖速率，所述基础帖速率为输出帖速率的偶数倍并且在值 上基本上接近于输入帖速率，由此类似于所述输入帖速率来显示颤抖，其中，输出帖速率为 所述输入帖速率的非整数倍；W及通过计算机基于所述至少两个输入帖、基础帖速率、输入 帖速率和输出帖速率W及估计的插入图插入至少两个另外的帖，由此获得至少两个插入 帖，其中，所述至少两个插入帖中的至少一个的至少一个像素与由至少一个像素的插入图 指定的时间处的该至少一个像素对应，其中，所述至少两个另外的帖被插入在所述至少两 个输入帖之间。
[0032] 在本公开的第十一方面中，描述了用于控制颤抖可见性的方法，所述方法包括：W 输入帖速率提供输入帖;通过计算机在每一时间段从所述输入帖捕获帖，由此获得捕获的 帖;在每一时间段中W低于所述输入帖速率的帖速率显示所述捕获的帖；W及在每一时间 段的结束使所述捕获的帖在时间上向前跳跃(jump)达赶上所述输入帖速率所需要的量，由 此获得期望的颤抖可见性。
[0033] 在本公开的第十二方面中，描述了用于控制高帖速率颤抖可见性的方法，所述方 法包括：W输入帖速率提供输入帖;通过计算机计算颤抖基础帖速率;选择颤抖控制速率； 在每一时间段从所述输入帖重采样帖，由此获得重采样的帖;在每一时间段中W不同于所 述输入帖速率的帖速率显示捕获的帖；W及在每一时间段的结束使所述捕获的帖在时间上 向前跳跃达赶上所述输入帖速率所需要的量，由此W等于所述输入帖速率的输出帖速率获 得期望的颤抖可见性。
【具体实施方式】
[0034] 运动图片(motion picture)中的颤抖可W简单地被描述为非平滑运动，但是该术 语也被用于一般描述视频记录中典型的24fps的相对低的帖速率的任何结果。由于24fps的 帖速率(或其它类似低的帖速率)产生的与真实世界中可见的运动相比的失真中的一些可 W被分解成四个主要成分(component): 1)非平滑运动(颤动），2)沿着移动边缘(edge)的闪 烁，3)移动对象上的空间模糊，W及4)虚假的多个边缘。
[0035] 运样的失真主要是由于相对于图像更新速率(帖速率）的高程度的运动，W及源自 空时混叠的结果。如本领域技术人员已知的，可W通过空时对比灵敏度函数(CSF)(称为ST- CSF)来描述运动失真的可见性。运动中的对象相对于其周围区域的对比度可W影响可见 性，因为对比度是向ST-CSF的主要输入变量，从而确定阔值和总的可见性。
[0036] 还存在基于视觉系统的亮度适应对运些失真的可见性的影响。对于较高亮度水 平，ST-CSF的空间和时间带宽增大，结果是所有四个成分的可见性也增大。用于影片的新投 影仪设计实现较高的最大亮度和较高的对比度。有时增大的最大亮度被用于提升平均亮度 水平，而其它时间它被用于仅增大对象的对比度。运两种改善具有负面影响，因为它们增大 了颤抖的所有四个成分的可见性。不幸的是，颤抖的W前可接受的水平现在变得令人反感。
[0037] 换言之，针对lOOnits标准动态范围显示器或48nits电影屏幕分级的内容在被重 新分级到扩展或可视动态范围显示器(例如，SOOnits TV显示器或llOnits电影屏幕)时示 出令人反感的颤抖。原因是，如屯、理物理实验中所示的那样，较高明亮度(bri曲tness)和较 高对比度增大了颤抖感知(perception)。
[0038] 屯、理物理实验已通过使用Gabor和自定义的对比度-频率测试图W及真实图像序 列作为刺激(stimuli),研究了不同的因素如何影响运动颤抖的感知。结果表明，颤抖与包 括帖速率、运动速度、明亮度、对比度、快口角度等的不同变量可W具有强的关系。对于颤抖 的感知存在截止帖速率:超过该帖速率，不存在颤抖感知，而低于该速率，颤抖感知在帖速 率降低时增大。因此，在相同帖速率处，颤抖感知随着运动速度、明亮度W及对比度增大而 增大，并且随着快口角度增大而降低。
[0039] 在许多成像应用中，运动质量的改善的目标是减少W上列举的所有四个颤抖成 分，并且可见性的窗口提供了朝着运样的改善的清晰路径。减少颤抖的一种方式是在捕获 或显示阶段减少空间和时间分辨率或者增大帖速率。然而，对于影片来说，运些成分中的一 些在某些幅值水平处实际是期望的，因为它们有助于通常由电影摄影师和电影行业中的其 它专业人员期望的"电影感(film look)"。它们在使影片看起来不同于视频时是重要的，视 频由于其相对较高的帖速率而具有平滑得多的运动和锐利的移动边缘。尽管电影感的偏好 背后的一些细节是未知的，但是已假设由于与电影从业者经常对于聚焦偏好浅的景深的事 实有关的那些原因类似的原因，运动模糊（由于在LCD显示器行业中经常讨论的保持型模糊 和平滑追随眼睛移动交互而造成)是被偏好的。它减少故事讲述不需要的可W被视为干扰 的可见细节。其它理论是，影片不应当太实际，因为运阻碍观看者的想象力。第Ξ个关键理 论是，影迷与朝着电影感的一些颤抖成分存在强的关联性，并且作为结果，电影观看者偏好 影片不具有视频的更实际的运动质量。作为运些复杂因素的结果，需要比简单地去除颤抖 (诸如通过增大捕获和显示的帖速率，或者通过使用运动插入W增大给定源的帖速率)做得 更多的方法。运样的方法必须管理颤抖；即，保持在感知上类似于传统影片的所期望的成 分，尽管对比度和亮度水平增大。运些颤抖管理的方法是本公开的主题。除了将来自影片的 颤抖成分水平保留在W前可接受的水平之外，本公开还描述了允许导演或电影摄影师全局 地和局部地控制颤抖显现(appearance)的方面(从传统感到更自然的"视频运动"感(包括 中间的各种状态)的范围）的系统和方法。
[0040] 处理运动伪像的另一种方法是通过记录处理的控制。美国电影摄影师协会已提供 了关于在场景中捕获运动的指导方针，诸如"7秒准则"（对象应当花费7秒跨过摄像机帖）。 运些准则是根据传统的投影仪针对亮度水平和对比度开发的。然而，给定新的显示技术，任 何现有的内容将需要针对颤抖的重新评估，并且在真实世界制作环境中，可能不可W在内 容创建期间先验地判断颤抖感知量。许多显示器具有足够高W致于决不存在颤抖的原生的 帖速率，并且适当的电影感不被自然地得到。因此，期望控制导演/电影摄影师/后期制作者 W及观看者对颤抖的感知的半自动化处理。
[0041] 掩蔽(mask)颤抖的常见的后期制作方法如下。
[0042] 1.降低总的图片明亮度水平直到颤抖可接受。该方法与对显示器中较高明亮度和 较高对比度的期望冲突，并且人为地约束艺术意图。
[0043] 2.添加运动模糊W伪造摄像机上较长的快口，运基于运动的量和方向巧污 (smear)像素。该方法对存在于场景中的细节具有负面的影响，其中所有移动的对象将丢失 细节。为了避免该潜在的问题，添加最小量的运动模糊，运可能对于将来的显示技术不起作 用。实际上，隐藏颤抖所需要的纯粹模糊量可能会如此大，W致于它违犯物理上似合理的摄 像机快口，从而向电影添加新的负面的显现。
[0044] 3.在图像之间插入到较高帖速率，或W较高帖速率捕获，其中帖与帖之间的运动 减少。该方法当前对于大多数解决方案而言是优选模式，然而，该方法也对场景具有负面的 屯、理影响，其中人们评论它不再"感觉"像电影。该方法对一些显示技术也是不可W的。
[0045] 本公开描述了可W允许导演或电影摄影师全局地和局部地控制颤抖显现的方面 (从传统感到更自然的"视频运动"感(包括中间的各种状态)的范围）的系统和方法。本公开 可W提供用户在特定位置可W感知到多少颤抖的成文的度量，并且提供仅在目标区域添加 适应性校正的方法。另外，可W修改校正W保留电影"感"的感知和明显的(apparent)细节。
[0046] 在2014年2月27日提交的美国临时专利申请No 61/945,706、"Systems and methods to con化〇1化dder vis化ility"中，已描述了不同的方法来控制低帖速率内容 的颤抖可见性，例如，通过W全局和局部可控制的颤抖可见性来使帖速率加倍。另外，对于 利用高帖速率捕获和显示来控制颤抖提议了若干方法。美国临时专利申请No 61/945，706 的公开通过其整体引用而并入本文。另外，处于参考的目的，本文再现了来自美国临时专利 申请No 61/945,706的若干概念。
[0047] 1.不变帖速率处理
[0048] 不变帖速率处理可W提供减少颤抖同时使帖速率不变的方式。图1示出了处理 24fps传入素材的一个实施例的高层级的框图，并可W是当由于显示限于24fps而时间插入 不可能时使用的最终输出。在较高输入帖速率处，将添加另外的处理W调整"电影感觉"。设 想诸如显著性或对象识别之类的另外的图像属性来增强结果。
[0049] 在图1中，在时间*(110)、*-1(105巧化+1(120)处的输入图像经受时间处理（115)。 视频处理（115)包括运动估计（130 )，其中运动矢量被估计。还针对亮度（121)和对比度 (125)或者帖与帖之间存在的变化量的其它度量计算输入图像（105,110,120)之间的时间 差异。可W通过并入更多周围帖（surrounding打ame)来改善运动估计及其它变化测量值。 运动估计（130)包括对两个运动矢量集(一个前向运动矢量集和一个后向运动矢量集)的估 计。该前向和后向集被单独地计算，并且使得能够W较高的精度计算运动估计。
[0050] 运动矢量估计包括确定矢量的方向（140)和矢量的幅度（135)。使用矢量的幅度 (135)、亮度变化图（121)和对比度变化图（125)来确定规范化的颤抖图（145)，其中每一像 素的颤抖值描述多少颤抖是明显的。该方法的一个简单实施例将是使用加权的方案对每一 成分求和（诸女曰w0*vector_ma邑1111：11(10+讯1水1111111]1曰]1〇0_〇11曰]1邑0+讯2水〇〇]1化曰81:_〇11曰]1邑0)为在〇 和1之间变化的单一数字，其中，0表示没有明显的颤抖，而1对应于最大量的颤抖。可W使用 其它统计度量来在相互关联的输入参数之间更准确地表决(vote)。在一些实施例中，可W 针对全部像素的子集计算颤抖值。也可W使用场景和显示器元数据（150)来确定颤抖图 (145)。例如，可W利用场景的明亮度和显示器的尺寸和亮度。如本领域技术人员已知的，屏 幕越大，颤抖就越可见。场景和显示器元数据(150)可影响对颤抖的感知。例如，感知的颤抖 随着明亮度增大而增大。总的场景明亮度可W被携载在场景元数据（150)中，并因此可W在 确定颤抖中被使用。显示器元数据（150)可包括显示器的最大明亮度，W及显示器的大小， 运两者可w影响感知的颤抖。
[0051] 可W基于每个像素的颤抖量（145)计算要被添加的噪声（160)。可W基于颤抖图 (145)缩放（155)矢量（135)的运动幅度。在缩放（155)之后，基于颤抖量将噪声（抖动 (jitter))添加（165)到运动幅度。噪声基于颤抖图（145)测量（160)。例如，颤抖的幅度越 大，将被添加的噪声就越高。
[0052] 在抖动（165)之后，使用运动幅度和方向来重构运动矢量（170)。运里使用抖动来 指示时间偏移。基于运些运动矢量运动模糊（175)被添加到图像。还基于要与原始图像混合 的噪声量添加伪胶片颗粒(grain) (180)使得运动模糊看起来好像原始捕获的一部分。可W 基于颤抖量调整噪声幅值、大小或分布。获得(185)最终输出图像。在一些实施例中，对图像 的一个或多个像素或W加权方式执行此处所描述的处理。
[0化3] 2.帖速率调整处理
[0054] 当替代的帖速率可能时，通过W较高帖速率捕获或插入较低帖速率并W较高帖速 率显示，使得能够进行另外的处理。运允许呈现具有增强的"电影感觉"，而不具有强颤抖的 负面影响。可W在具有令人反感的颤抖的区域中引入较高帖速率的非平滑运动，使得感知 的颤抖将被减少到可接受的范围而不被消除，同时不具有过度的颤抖的图像的大部分将被 W较低的帖速率更新。因此，整个图像序列当W较高帖速率播放时将保持本能的"电影感 觉"。换言之，在局部区域中减少过度的颤抖，而使其它区域未受影响。最终图像的一些区域 将基于较高帖速率图片，而其它区域将基于较低帖速率图片。
[0055] 例如，给定24fps的输入，为了抵消由于显示器/投影仪明亮度的增大而造成的增 大的颤抖感觉，一种选择是增大帖速率。所需的帖速率的增大(其可W有效地减少由明亮度 导致的相同量的增大的颤抖)可W通过屯、理物理实验来进行建模。然而，可调整的帖速率范 围可W被限制在24fps和48巧S之间，如在48fps中，通常不存在感知的颤抖。将24巧S序列插 入到低于48fps的任意帖速率并W该任意帖速率显示它可能是不实际的，尽管当帖速率转 换和显示技术进步时运可能更实际。该解决方案的正式描述可W是:给定针对第一显示明 亮度分级的24巧S图像序列/场景，找出最优第二帖速率，使得在将帖速率从24fps转换到该 第二帖速率之后，在具有第二显示明亮度的输出显示器上回放的内容将具有与当在具有第 一显示明亮度的显示器上播放原始的24巧S内容时相同量的感知的颤抖。
[0056] 更实际地，显示器和投影仪通常对于48fps、60fpsW及一些其它标准帖速率是可 用的。在该情况下，如果恰当地完成时间插入，使用帖速率转换可W消除所有颤抖感知，如 同在运样的高帖速率中没有颤抖被看见。
[0057] -种可能的方法试图识别具有过度的颤抖的区域，并且仅W较高帖速率更新运些 区域，同时使其它区域W较低帖速率回放。该方法示出了与将图片的每一部分更新到较高 帖速率的方法相比的改善的结果，因为颤抖感觉在大多数区域中被保持，尽管在具有过度 的颤抖的区域中它被消除。
[0058] 可W应用如此处所描述的解决方案W将过度的颤抖减少到可接受的水平，W便当 W较高帖速率回放24巧S内容时保持感知的颤抖。例如，可W W较高帖速率引入局部可变的 非平滑运动，W便引入局部可控制的颤抖感觉。利用该能力，适当量的颤抖可W在具有过度 的颤抖的区域中被打开(turn on)。还可W将其它区域中的颤抖打开到24巧S处的完全可能 的颤抖量，并在空间上和在时间上确保颤抖感觉的平滑变化。W下利用48巧S的示例性输出 帖速率解释此处所描述的方法，然而，本领域技术人员将理解其它输出帖速率可w是可能 的。
[0化9]可 W根据例如SID 2001 中J丄arimer等人的 "Judder-induced edge flicker in moving objects,"(其公开内容通过整体引用而包括于此)通过边缘闪烁解释来自平滑地 移动的对象的颤抖的人类感知。
[0060] 图2示出了与颤抖控制有关的一些概念。在图2中，假定线段跨屏幕从左到右移动， 并且观看者正在利用平滑追随眼睛移动（SPEM)跟踪该线段。顶部行（205,210)示出了真实 生活中的线(225，230)的空间时间轨迹，即连续的域，而底部行(215，220)示出了当W 24fps 采样并在保持型化old-type)显示器上回放时顶部行(205,210)的空间时间轨迹。
[0061] 在图2中，在左侧(205，215)，W世界坐标表示空间位置，而在右侧(210,220)，利用 S阳观看者的视网膜(retina)的坐标表示位置。中线（225,230,235,240)示出了当观看 者正在跟踪对象时眼睛凝视的空间时间轨迹。因此，面板(panel)(205)示出了线段从左到 右移动，并且在面板(210)中示出了视网膜坐标中的该运动。当移动的线被采样并在保持型 显示器上重构时，可W在面板(215)中看见阶梯状轨迹。当在观看者正在跟踪对象的同时W 视网膜坐标表示该轨迹时，可W在面板(220)中看见空间时间轨迹中的银齿状边缘。因此， 在线段的边缘，可W看见运动模糊，其中颜色从背景颜色斜升(ramp up)到线颜色。同时，还 可W看见闪烁，因为帖速率是24fps，远低于临界融合频率(CFF)的频率。闪烁和运动模糊通 常是在24fps回放中被看作为颤抖的东西。在面板（220)中，银齿形状的深度被标记为X (245)，其为对于线段的每个帖的位移，即线段的速度。从屯、理物理实验，已知感知的颤抖幅 度与运动速度正相关，因此当X增大时，感知的颤抖将增大，而当X减小时，感知的颤抖减小。
[0062] 图3示出了如果线段的运动被W48fps采样并显示在48fps保持型显示器上所发生 的事情。在图3中，顶部行(305,310)示出了保持型显示器(305)上W及利用SPEM看着显示器 的观看者的视网膜（310)上的平滑地移动的线段的空间时间轨迹。如在（310)中可W看见 的，边缘闪烁比图2的（220)中少得多，因为位移在值上大约是一半，并且更重要的是，频率 是接近CFF的48fps。在实际中，较锐利的图像可较少的运动模糊被观察到，并且通常没 有边缘闪烁。
[0063] 因此，如果利用帖速率控制(FRC)将输入的24fps内容插入到48fps(其中，插入帖 在时间上位于t+0.5处），则将不存在感知的颤抖。运不一定是有利的，因为预期的目的是减 少过度的颤抖，而不是消除它。
[0064] 图巧日3还示出了利用帖速率控制(FRC)将24巧S处的输入内容插入到48巧s(其中， 插入帖在时间上位于t+0.5处）的结果。
[0065] 在图3中，底部行（315,320,325,330)示出了利用48fps处的非平滑运动从左到右 移动的线段的空间时间轨迹。具体地，对于24fps时段的第一半（316)，线段(335)向左移动 小的间隙（gap),而对于第二半（317)，向左移动大的间隙。当眼睛正在跟踪运动时，中线 (335,:340)与顶部行（305，310)的线（345，350)保持相同。换言之，（315)也可W被阐释为 24fps输入内容到48fps的插入，其中插入帖在时间上位于t+dt处，其中dt< = 0.5。因此， (315)也可W被阐释为24fps输入内容到48fps的插入，其中插入帖在时间上位于两个连续 帖之间的时间化处，其中化= xl/(24x)秒。
[0066] 第一半（316)的小间隙和第二半(317)的大间隙还可W在图17中更详细地被看作 为xl(1705)和x2(1710)，其中，xl+x2 = x。
[0067] 返回参考图3,当（315)中的空间时间轨迹如在(320)中那样在观看者的视网膜上 被表示时，（320)中的轨迹可W被分解成两个成分:24fps成分(325)和48fps成分(330)。成 分(325)非常类似于将被感知为颤抖的图2的（220)中的轨迹，同时图3中的成分(330)非常 类似于示出没有颤抖的（310)中的轨迹。图3中的（325)和图2中的（220)之间的不同是(325) 中的位移x(355)小于（220)中的位移x(245)，因为x(355)=x2-xl = x(245)-2*xl。位移X (335)也可W称为X'。图2和图3相对于彼此不是要缩放，因此，图2和图3中的位移x(355， 245)的相对长度可能看起来不同于特此所陈述的。基于W上的分析，较小的位移x(355)对 应于较慢的运动速度，并因此导致较少的颤抖。同时，成分（330)将不具有颤抖，因为它是 48fps，并且具有与（310)相比甚至更少的运动速度。总体上，视网膜上的空间时间轨迹 (320)将示出与（310)相比减少的颤抖。
[0068] (320)中的位移是(325)中的位移(355)和(330)中的位移的和。因此，位移(355)将 小于(320)中的位移。
[0069] 位移x(355)是可控制的，因为可W在不同的时间位置dt处插入48fps流的中间帖。 用于计算插入位置化的公式是
[0070]
[0071] 如果化=0(并且x'=x)或化=1，则获得与图2中的（220)中相同的效果，具有原始 颤抖。如果dt = 0.5(并且x'=0)，则获得与图3中的（310)中相同的效果，其中不具有颤抖。 对于0和1之间的其它值(0和X之间的X'值），可W将感知的颤抖控制到对于dt = 0和化= 0.5 的两种情况之间的期望的程度。经由dt'=l-dt处的插入也可W获得非平滑运动，dt' = l- 化处的插入将具有与化处的插入相同量的颤抖。
[0072] 在一些实施例中，dt< = 0.5被选择用于颤抖减少，同时0.5的另一侧的值将具有类 似的效果。可W使用相同技术来对基本(organic)高帖速率内容引入颤抖感知，其中，颤抖 可W利用非平滑运动注入。
[0073] 对于具有24fps输入和48fps输出的颤抖减少，可W利用图4所示出的示图实现算 法。可W生成(430)插入位置图M(425)，使得对于每一像素(X，y)，像素将在时间位置化=M (x，y)处被插入。
[0074] 在该实施例中，输出的帖速率是输入的帖速率的两倍。为了简单化，每一输入帖 (405)可W被直接拷贝作为输出帖(410)，并且可W在每一对相邻的原始输入帖之间（455) 插入一个帖，W获得输出帖(460)。
[0075] 可W分析(440)帖，W确定它包含多少颤抖。在实施例中，可W如在图1中所描绘的 颤抖控制处理中所讨论的那样执行颤抖分析(440)。在另一个实施例中，接下来参考图4讨 论替代的颤抖分析技术。
[0076] 为了获得插入帖，首先使用输入帖（405)来估计（415)每一像素的运动矢量场 (420)。对于每一像素(x，y)，获得前向运动矢量mvf(x，y)和后向运动矢量mvb(x，y)。基于运 两个运动矢量，可W通过比较前向和后向运动矢量来定义像素（x，y)的时间运动一致性 ((3011313*611〇7)。^，7)，并且可^通过与其相邻像素比较前向和后向运动矢量来定义空间 运动一致性Cs(x，y)。另外，可W使用每一像素(x，y)的前向运动矢量mvf(x，y)来找到下一帖 中的对应像素(x'，y'），使得可W将像素的前向运动矢量mvf(x，y)与下一帖中的其对应像 素的后向运动矢量(即，mvbiy，/ ))进行比较，W确定前向运动一致性Cf(x，y)。
[0077]类似地，可W通过比较像素的后向运动矢量mvb(x，y)与其前一帖中的其对应像素 (X"，y")的前向运动矢量（即，mvf (X"，y")(其中，对应像素 (X"，y")通过像素(x，y)的后向运 动矢量mvb(x，y)来确定)来确定后向运动一致性Cb(x，y)。在一个实施例中，运些运动矢量一 致性被定义为运动矢量的和的幅度除W运动矢量的平均幅度。例如，
[007引
[0079] 其中，|u|是U的幅度。在一个实施例中，修改的运动幅度m(x，y)对于每一个像素 (x，y)可W被定义为前向运动幅度乘W前向运动一致性和后向运动幅度乘W后向运动一致 性中的较大者。该修改的运动幅度被进一步乘W时间运动一致性，例如：
[0080] s(x，y)=max( |mvf(x，y) |*Cf(x，y)，|mvb(x，y) |*Cb(x，y))*Ct(x，y).
[0081] 高斯滤波器被应用于该修改的运动幅度sW获得运动速度s'的平滑映射。在实际 中，将通过运动速度s'（x，y)确定像素(x，y)的映射的插入位置M(x，y)。该映射的插入位置 也可W基于颤抖分析结果修改，并且可W通过用户交互来控制。例如，后期制作的用户 (435)可W确定场景的哪一部分包含过度的颤抖并且可W调谐位移图，使得结果将包含适 当的颤抖。
[0082] 在一个实施例中，可W基于之前获得的平滑的运动速度s'计算插入图M(425)。例 如，像素(X，y)的运动速度S '（ X，y)和插入位置Μ(X，y)之间的关系可W是两个速度阔值T1和 T2之间的软切换（soft switching)函数，具有最小插入位置0, W及最大插入位置0.25,如 图5所示。
[0083] 在图5中，TU505)和Τ2(510)是速度阔值，同时M(x，y)=0(515)是最小插入位置， 并且M(x，y) =0.25(520)是最大插入位置。
[0084] 给定一对原始输入帖和插入位置图M，可W在每一像素(x，y)处应用标准帖速率转 换方法，W获得对应的插入位置M(x，y)处的插入结果。还可W基于运动估计结果模拟运动 模糊，其中，在一个实施例中，运动模糊的量与插入位置成比例，即，插入位置与其最接近的 原始输入帖越远离，越多的运动模糊被应用。可W例如通过沿运动方向应用方框(box)滤波 器或高斯滤波器获得运动模糊。在另一个实施例中，通过对第一输入帖和插入帖之间的采 样帖进行平均来模拟运动模糊。在该情况下，可W基于插入位置图Μ对于每一个像素首先计 算并平均所有采样的插入帖。
[0085] 对于W上的实施例的颤抖管理方法存在若干应用情景。首先，作为用于后期制作 的工具，工作室可W直接W48fps生成去颤抖的输出内容，并且然后通过兼容的投影仪来回 放该内容。后期制作处理也可W针对具有实时去颤抖的数字影片投影仪生成元数据。该元 数据还可W被用于在消费者设备中引导FRC。元数据可W呈现多种形式，包括针对其场景需 要颤抖减少的指示符，W及定义如何针对特定场景生成插入位置图的参数映射函数。
[0086] 在本公开中所描述的方法也可W直接应用在投影仪和消费者设备两者中W用于 实时全自动的颤抖减少。本公开描述了可W在诸如编码器、解码器、投影仪和消费者设备之 类的硬件设备中实现的算法。
[0087] 3.高帖速率和颤抖控制处理
[0088] 在与W上所描述的方法有关的一些实施例中，可W跳到其中48fps或更高的流已 经可用的步骤。如W上假定的，运可W通过插入来完成。可替代地，它可W通过首先利用高 帖速率摄像机捕获内容来完成。然后，关屯、的事变为如何最佳地显示可用的图像，使得存在 合适水平的颤抖W便保留电影感。
[0089] 3.1.使用非平滑运动来模拟颤抖
[0090] 主要思想是在高帖速率内容中引入非平滑运动，因此它将示出类似颤抖的感知， 即使W高刷新速率播放内容。
[0091] 可W在捕获端在后期制作期间或者在投影仪/显示器端引入非平滑运动。在W下 的小节，将基于非平滑运动在何处被引入到高帖速率系统中来描述Ξ种方法。
[0092] 3.1a
[0093] 在一些实施例中，运动图片将W非平滑方式捕获，即，在捕获每一帖之间具有非恒 定的时间间隔。W该非平滑方式捕获到的运动图片然后可W被投影在利用恒定的时间间隔 投影连续帖的投影仪上。因此，感知的内容将具有被引入的非平滑运动，运在回放高帖速率 内容中提供颤抖感觉。
[0094] 例如，令帖索弓li为i = 0，l，2,….，并且捕获每一帖时的时间被记为t(i)。对于具 有恒定时间间隔化的正常捕获，捕获时间t(i) = i*化，其中，dt是两个帖之间的时间。例如， 当帖速率是120fps时，化= 1/120 = 8.333ms。对于非平滑捕获，可W改变帖的子集的捕获时 间W使捕获时间在时间上移动早一点或晚一点（例如，对于120fps捕获每第5帖，使得可W W24化频率引入一些东西）。在数学上，可W设置t(i) = i*化+δ，其中，如果mod(i，n)=0,那 么S为非零，否则，δ = 〇。如果对于120fps捕获η被设置为5,那么运意味着，对于每五个帖，帖 中的一个W不同的时间戳捕获。运在图6中示出。在显示器侧仍将在恒定间隔回放中示出在 该方法中捕获到的帖。在图6中，可W看见，在显示器上呈现的第5(605)和第10(610)图像将 在较早的时间处被捕获。如果假定存在在显示器上W恒定的速度从左(615巧Ij右(620)移动 的对象，则对象然后将从帖1到帖4W恒定的速度移动，在帖4和帖5之间减速，并且从帖5到 帖6加速。该非平滑运动将被感知为一种类似于颤抖的运动伪像。
[00M]图7示出了具有180度快口捕获的示例。对于每第5帖，捕获时间被移位dt的一半， 即，第5帖（705)在第4帖（710)之后被立即捕获。类似地，在显示器侧，W化的恒定时间间隔 投影捕获到的运动图片。
[0096] 当前摄像机可能不支持在捕获视频时改变捕获时间。实现运里所描述的实施例的 一种方式是使用能够捕获较高帖速率的视频摄像机。例如，使用具有240fps和360快口度的 摄像机，可W捕获如图7所示的序列。
[0097] 3.1b
[0098] 类似于W上的实施例，可W改变投影仪系统使得它将W非恒定时间间隔投影帖。 图8中示出了示例。考虑捕获的180度快口角度和显示器的全时段保持时间，可W看见每一 帖的实际捕获和显示如图9中那样。
[0099] 在该示例中，改变每一帖的呈现时间戳。然而，该实施例可能不被某些显示系统支 持。可W使用较高帖速率投影仪/显示器来模拟效果，如图10所示。
[0100] 可W将W上的两个实施例结合起来W具有颤抖感知的更灵活的控制，例如，如图 11和图12所示。
[0101] 3.1c
[0102] 在一些实施例中，不改变捕获时间和显示时间，因此运动图片利用恒定时间间隔 捕获并且利用相同时间间隔呈现。代替的是，在后期处理/制作步骤中操纵捕获到的运动图 片。通常，使用在时间t2(t)处捕获的帖，在时间t处呈现该帖。例如，当输入是120fps内容 时，可W将时间函数设计为
[0103]
[0104] 基本上，该时间函数将在每五帖时段中重复第4帖，并且丢弃原始第5帖。在图13中 示出了该特定实施例，其中，还对于第5(1315)和第10(1320)帖使用第4(1305)和第9(1310) 帖。
[0105] 也可W设计其它时间函数t2(t)。不仅数字5可W改变，而且它不需要是整数。当t2 (t)不是整数时，不在t2(t)处捕获帖。在该另一实施例中，可W使用视图插入技术来生成模 拟在时间floor(t)和floor(t)+l处捕获的两个帖中间的帖的帖。在图14中示出了示例。
[0106] 在图14中，使用第4(1405)和第5(1410)捕获的帖来生成第5(1415)显示的帖。视图 插入的可能的处理将是首先找出帖和UJ + 1之间的运动矢量，并且对于插入帖中的每 一个像素，使用运动矢量来得到两个相邻帖中的对应像素，并且基于那些对应像素和它们 的相邻像素获得像素值。
[0107] 3.2将24化内容添加到高帖速率
[0108] 二十四赫兹内容将是为什么我们感知到颤抖的本质原因，并且该特定频率的内容 在历史上已有助于颤抖感知的形成。为了注入颤抖，将24化内容引入到高帖速率内容中可 W是可能的。然而，不应当将全部内容全部地转换为24巧S，否则，高帖速率的益处将丢失。
[0109] 3.2a添加24Hz噪声/胶片颗粒
[0110] 尽管感兴趣的内容本身W高帖速率更新，但是可W在内容上面添加低帖速率噪声 或胶片颗粒(模拟或实际捕获到的）。可W首先使用噪声减少方法（1505)来减少原始高帖速 率内容中的噪声或胶片颗粒，并且去除的噪声或胶片颗粒(1510)将被处理(1515)?生成具 有类似的空间特征的24化噪声或胶片颗粒（1520)。然后可W将该24化重新生成的噪声或胶 片颗粒(1520)添加回（1525)高帖速率内容中。该处理可W在图15中看见。
[0111] 生成24fps噪声和胶片颗粒的一种方式可W是对于120fps内容重复地使用一个帖 的噪声/胶片颗粒，并且将它应用在所有的其相邻五个帖中。因此，每5帖将具有相同噪声/ 胶片颗粒，尽管内容本身W120f PS改变。
[0112] 3.化改变原始高帖速率的24化内容
[0113] 可W通过重复地改变将W 24化示出的帖来改变原始高帖速率内容的24化内容。例 如，对于120fps内容，可W根据其帖索引被五除的余数将帖分成五个不同的组。因此，每一 组实际是24化内容。可W更改组中的一个或多个内的帖，因此24化信号将被添加到原始内 容中。存在更改内容的许多方式，例如，通过在具有或者不具有在空间上移位的中屯、的情况 下对组的每一帖应用空间滤波器。具体地，可W使用平滑滤波器(高斯、Sigma、双边等等)或 锐化滤波器(类似于反锐化掩蔽)来改变该组中的图像，因此它具有与其它组中的图像相比 不同的特征。同时，该组中的帖可W基于内容本身的某些特征(例如，运动矢量)经受非均匀 变换或抖动。另外，每一组高帖速率内容也可W被在时间上滤波，W便添加24化内容。
[0114] 4.更宽泛的颤抖可见性控制
[0115] 可不同的方式扩宽W上详述的方法。
[0116] 用于颤抖可见性控制的扩宽的方法的第一示例考虑输入帖速率Rin(输入内容的帖 速率）（具有两个连续帖之间的对应的时间段Tin,其中，Tin=l/Rin)，并且输出帖速率是Rout (即，显示帖速率）（具有对应的时间段Tout)。在W上的示例中，运些方法可W例如应用于Rout =巧Rin的情况。运里如下的扩宽的方法可W针对输出帖速率不是输入帖速率的两倍的情 况。
[0117] 例如，第一一般化可W是针对情况R〇ut = 2*n*Rin，其中，〇=1，2，一，是自然数。在该 情况下，基础帖速率(BFR)可W被保持为输入帖速率，并且可W使用本公开中W上所描述的 方法W通过基于局部改变的位移图dt(x，y，t)在每两个连续输入帖之间插入帖来使帖速率 加倍。输出然后将具有双倍帖速率，即2*Rin，其可显示速率Rout显示，其中每一输出帖被 显示η次。
[0118] 图 18示出 了针对η = 2并且R〇ut = 4*Rin的特定情况（其中，dt(x,y, t) = 0.25*Tin = Tnut)的W上所讨论的实施例的示例。黑色线（1805)示出了输入帖，灰色线（1810)是插入帖。 每一帖（1805，1810)被示出达2T〇ut的持续时间。
[0119] 对于当Rout不是Rin的偶数倍、Tin不是Tout的偶数倍时的实施例，保持原始输入帖并 在每一对连续帖中间插入一个帖的W上方法需要被修改。例如，可W在与W上使用的时间 位置（即，原始帖之间的半途化alf way))不同的时间位置处示出插入帖。例如，当Tin=5Tnut 时，原始帖可W被示出达等于3T〇ut的持续时间，并且插入帖可W被示出达等于2T〇ut的持续 时间，如在图19中可见的。
[0120] 在图19中，黑色线（1905)示出了被示出达3T〇ut的持续时间的输入帖，同时灰色线 (1910)是被示出达2T〇ut的持续时间的插入帖。
[0121] 然而，该解决方案可能引入类似于技术3:2下拉(pull down)中众所周知的伪像信 号，并且运可能不是所期望的。
[0122] 为了避免3:2下拉类型伪像，可W将基础帖速率改变为接近于Rin的帖速率。换言 之，可W找到自然数k，并且可W使BFR等于R〇ut/(2*k)，使得BFR接近于Rin，并且仍然是颤抖 帖速率。
[0123] 例如，如果Rcmt= 120fps，则k可W被选择为例如k = 2或k = 3，并且W运种方式，BFR 可W等于120/(2*2) =30fps或BFR= 120/(2*3) = 20fps。为了简单并且不失一般性，利用k =2并且BFR = 30fps进行W下的示例。如果输入帖速率Rin = 30fps，则可W应用W上所描述 的双倍帖速率方法，并且可W利用双倍帖速率W60巧S获得输出信号。输出然后可W通过重 复每一帖2次在120fps显示器上被示出。如果输入帖速率Rin是24巧S而不是30fps，则可W使 用时间插入来获得所有需要的帖。假定例如dt = 0.25*TBFR = Tout，则可W在图20中示出输 出时间和输入时间之间的关系，其中，黑色线(2005)示出了输入帖，并且灰色线(2010)是插 入帖。
[0124] 另外，由于W上的方法改变BFR，所W需要相应地改变时间位移化W便保持相同的 颤抖感知。
[0125] 用于颤抖可见性控制的扩宽的方法的第二示例考虑如图2所描述的线段运动模 型。已知视网膜图像(220)将具有颤抖效果，并且(220)中的位移x(245)确定感知的颤抖的 幅度。可运样的方式布置要移动的线段：该方式使得SPEM下的其视网膜图像将具有 (220)的相同形状，但是具有可控制的位移X。
[0126] 如图21的（2105)所示，线段(2110)?较慢速度向右移动达时间T=1/BFR，然后W 距离X (2115)向右跳跃。实际上，一个帖的倾斜(2110似速度T = 1/BFR向右移动。由于BFR通 常足够高，所W跟踪线段的眼睛总体上仍然遵循直线，如(2120)所示。在(2125)中示出了视 网膜上的投影的轨迹，（2125)与图2的（220)的形状类似，但是具有不同的X。
[0127] 假定无限（infinite)帖速率显示和向无限帖速率在时间上插入输入图像序列的 可能性，图像序列可W被获得，具有与图2的（205)中相同的空间时间轨迹。对于该无限帖速 率示例，真实时间和显示时间之间的映射可W被表示为图22中的（2205)中所示出的灰色线 (2210)。
[0128] 随后，无限帖速率输入可基础帖速率(BFR)(具有对应的时间段T)被采样，并 且被显示在BFR的保持型显示器上。真实时间和显示时间之间的映射将被示为图22中的黑 色线段(2215)。在W上的示例中，为了简单，快口角度的影响未被考虑。
[0129] 随后，类似于图21，可W引入非平滑运动。即，可W在每一时间段T中W较慢速度回 放无限帖速率输入，并且在每一个T的结束，存在向前跳跃W赶上真实的回放时间。映射曲 线然后将被变为点线段(2220)，如图22所示。在该情况下，在现实中平滑地移动的对象在时 间段T内被显示为W较慢速度移动，并且然后在下一时间段的开始被显示为跳跃到新的位 置。该跳跃引入了将被感知为颤抖的WR的信号，同时由点线段(2220)的斜率确定的跳跃量 将影响感知的颤抖的幅度。换言之，感知的颤抖可W被控制在两个极值之间，即，完全没有 颤抖和基础帖速率处的正常量的颤抖之间。
[0130] 因此，可W使用点线段(2220)的斜率作为颤抖控制速率(JCR)来控制输出的颤抖。 当斜率等于1时，不存在跳跃，因此不存在颤抖，而当斜率等于0时，发生最大量的跳跃。该 JCR具有与W上所描述的示例中的化类似的效果，在W上所描述的示例中帖速率被加倍，然 而在本示例中考虑了无限帖速率。
[0131] 在若干实施例中，对应于基础帖速率(BFR)的时间段T是对应于显示帖速率的时段 Td的倍数。例如，显示帖速率可W是120fps，并且BFR可W是24fps。图22示出了其中显示帖 速率是BFR的值的五倍的实施例的映射(2225)。线(2210)的完美采样将导致类似于图2中的 (210)中的线(230)的映射。
[0132] 因此，假定显示帖速率足够高，对象将仍然平滑地移动，而没有任何颤抖感知。如 果使用相同的线段运动模型，则对于真实空间情况(2305)和视网膜投影情况(2310)，时间 空间轨迹可W被示为如图23中那样。如果与图22中的线段(2215)类似地采样具有颤抖感知 的输入，则获得的映射可W通过如图22所示的点线段(2230)表示。换言之，可W将输入图像 序列插入到那些离散时间戳，其中，点线(2230)被投影到垂直的真实时间轴(2235)上。在图 23的（2315，2320)中示出了线段运动模型的对应的空间时间轨迹。
[0133] 如果BFR的时间段T是对应于显示帖速率的时间段Td的值的多倍，并且颤抖控制速 率(JCR)被表示为r(其为图22中的线（2220)的斜率），则每一显示时间t的采样时间f(t)可 W被计算为：
[0134]
[0135] 其中，巧二U/rj。由于我们知道Τ是Td的多倍，令T = kTd，我们具有
[0136] f(t) = (l-r) · η · k · Td+r · m · Td,
[0137] 其中，洗=U/7\|并且化-。
[0138] 在当Τ不是Td的值的多倍时的实施例中，可W选择值使得r >Τ，其中Τ'是Td的倍 数，并且随后可W使用W上的等式来计算f(t)。也许可W的是，在BFR改变时JCR可能需要被 调整W便保留相同量的颤抖可见性。
[0139] 不需要改变BFR的另一种可能的方法可W被描述如下。首先，考虑无限帖速率显 示，因此采样时间将遵循如图22中那样的斜线（2220)。在图24中，斜线(2405)被示出达每一 基础时间段T。斜线(2405)表示无限帖速率情况，并且然后可W利用采样速率1/Td采样无限 帖速率序列，如水平线(2410)所示。对于斜线(2405)的时间映射的公式是
[0140] f' (t) =n · T+r · (t-n · T)
[0141] 其中，^^ = U-/7?。对于采样的水平线（2410)的公式然后是f(t)=f/(Td·m)， 其中，m == 并且通过组合两个等式，可W获得下列公式
[0142] f(t) = (l-r) ·η· T+r · m · Td,
[01创其中，蛛=U/'厂饼且二U/TdJ。
[0144] 可W看见，如果Τ是Td的值的多倍，即T = kTd，则关于W上在第20页第7段中所描述 的情况将获得相同的公式。因此，该公式是进一步的一般化。
[0145] 类似于W上所描述的实施例，该JCR或r可W是空间上和时间上变化的函数r(x，y， t)，即，颤抖控制速率对于不同的空间时间位置可W不同，使得可W在不同的时间对不同的 区域不同地应用颤抖可见性控制。
[0146] 总之，在本公开中所描述的颤抖可见性控制方法已被扩宽，W便在给定颤抖控制 速率(JCR)和基础帖速率(BFR)的情况下能够控制任何输入帖速率Rin到任何输出帖速率Rnut 的颤抖感知。总的流程图如图25中所示。
[0147] 如在图25中可见的，通过使用颤抖控制速率处理(2510)和基础帖速率(2010),? 上所描述的扩宽的颤抖可见性方法(2515)可W被应用到输入图像序列(2505)，由此获得输 出图像序列(2520)。
[0148] 5.对于高帖速率和多个帖速率的电影感体验
[0149] 可W在高帖速率(HFR)图像序列中应用W上所描述的扩宽的颤抖可见性控制方 法，W获得电影感体验。高帖速率图像序列通常具有较锐利的图像和较少的运动模糊，并且 立体高帖速率将具有与传统的24fps图像序列相比更好的3D效果。然而，高帖速率中的平滑 运动有时被批评为"视频感"，因为不存在颤抖感知。可W使用W上所描述的方法来将颤抖 引入到高帖速率图像序列中。引入的颤抖可W帮助提高内容的电影感体验。图26示出了用 于向tFR输入内容添加电影感体验的示图。
[0150] 在该情况下，输入和输出图像序列两者将具有相同帖速率，即，RDut = Rin。例如，输 入和输出两者可W是48fps、60fps、120fps等。因为输入序列W高帖速率对场景进行采样， 所W当它W相同帖速率Rin被显示时，在输入序列中不存在颤抖感知。为了引入颤抖感知，第 一步骤是选择颤抖基础帖速率BFR，并且选择适当的颤抖控制速率r，使得可W利用如参考 图24所描述的处理重采样输入图像序列，其中，T=1/BFR，并且Td=l/Rin。如W上所描述的， 可W确定颤抖控制速率JCR=r，使得当WRout回放时，适当量的颤抖即电影感可W被添加到 输出图像序列中。另外，该r可W是r(x，y，t)的空间上和时间上变化的函数。
[0151] 因此，可W在后期制作端逐像素地控制电影感体验(颤抖）。不同的像素在不同的 时间可W具有不同的JCR。在该情况下，通常JCR函数r(x，y，t)在一个镜头（shot)内将是局 部平滑的。
[0152] 在简化的实施例中，可W在后期制作端逐帖地控制电影感体验。不同的帖可W具 有不同的JCR。在该情况下，JCR函数r(t)在一个镜头内将是局部平滑的。
[0153] 在一些实施例中，还可W在后期制作端逐镜头地控制电影感体验(颤抖）。不同的 镜头可W具有不同的JCR，因此当存在需要时，将向不同的镜头添加不同量的颤抖。
[0154] 在后期制作端，一个实施例包括使用专业的工具来识别需要颤抖感知的局部区 域。随后，可W确定添加适当量的颤抖所需要的JCR。在下一步骤中，可W在镜头边界内在空 间上和时间上平滑JCR。
[0155] 对于如参考文献[2]、[3]中提到的在序列中或者甚至在帖内具有多个帖速率的混 合帖速率内容，存在不同的方法。快速运动帖/对象可W从较高帖速率受益，同时较慢运动 帖/对象可W被保持在较低帖速率。W上所描述的扩宽的颤抖可见性控制方法也可W被应 用到具有多个帖速率的运些内容。
[0156] 在低帖速率帖/区域中，可能存在需要被减少的过度的颤抖，而在高帖速率帖/区 域，颤抖感知需要被添加回来。W上和W下所描述的方法可W被结合起来W控制多帖速率 内容中的颤抖的可见性。
[0157] 因此，在本公开中描述了包括W下的方法:通过计算机提供至少两个图像;通过计 算机计算颤抖图，其中，该颤抖图包括所述至少两个图像的至少一个像素的颤抖信息；W及 基于所述颤抖图处理所述至少一个像素。
[0158] 所述至少一个像素的处理可W包括由若干像素形成的图像的区域的处理。处理可 W包括基于关于颤抖图中所包含的像素的颤抖信息，应用不同的视频处理技术，和不同的 技术或具有可W应用到不同像素的不同参数的相同技术。
[0159] 图16是用于实现图1-15的实施例的目标硬件（10)(例如，计算机系统）的示例性实 施例。该目标硬件包括处理器（15)、存储体(20)、本地接口总线(35)和一个或多个输入/输 出设备(40)。处理器可W执行与图1-15的实现有关的并且由操作系统(25)基于存储在存储 器(20)中的一些可执行程序(30)提供的一个或多个指令。运些指令被经由本地接口（35)并 且如由处理器（15)和本地接口特定的某一数据接口协议所规定的那样被携载到处理器 (15)。应当注意，本地接口（35)是一般旨在在基于处理器的系统的多个元件之间提供地址、 控制和/或数据连接的诸如控制器、缓冲器(高速缓存）、驱动器、中继器和接收器之类的若 干元件的符号表示。在一些实施例中，处理器(15)可W提供有一些本地存储器(高速缓存）， 其中，它可W存储要被执行的一些指令W用于一些增加的执行速度。由处理器对指令的执 行可能需要使用某一输入/输出设备(40)，诸如从存储在硬盘上的文件输入数据、从键盘输 入命令、从触摸屏输入数据和/或命令、向显示器输出数据、或向USB闪存驱动器输出数据。 在一些实施例中，操作系统(25)通过作为用于收集程序的执行所需要的各种数据和指令并 将运些提供到微处理器的中屯、元件而促进运些任务。在一些实施例中，操作系统可W不存 在，并且所有任务在处理器（15)的直接控制下，尽管目标硬件设备（10)的基本架构将保持 与图16中所描绘的相同。在一些实施例中，可WW并行配置使用多个处理器W用于增加的 执行速度。在运样的情况下，可执行程序可W被特别地修改为并行执行。此外，在一些实施 例中，处理器（15)可W执行图1-15的实现的一部分，并且某一其它部分可W使用被放置在 可由目标硬件（10)经由本地接口（35)访问的输入/输出位置处的专用硬件/固件来实现。目 标硬件（10)可包括多个可执行程序(30)，其中，每个可执行程序可W独立地或彼此相结合 地运行。
[0160] 在本公开中所描述的方法和系统可硬件、软件、固件或其任何组合来实现。作 为块、模块或组件所描述的特征可W-起(例如，在诸如集成逻辑器件之类的逻辑器件中） 或单独地(例如，作为单独的连接的逻辑器件)实现。本公开的方法的软件部分可W包括计 算机可读介质，该计算机可读介质包括指令，所述指令当被执行时至少部分地执行所描述 的方法。计算机可读介质可W包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令 可W由处理器（例如，数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程逻辑阵列 (FPGA)、图形处理单元(GPU)或通用GPU)执行。
[0161] 本公开的许多实施例已被描述。尽管如此，将理解的是，在不背离本公开的精神和 范围的情况下，可W进行各种修改。相应地，其它实施例也在随附的权利要求的范围内。
[0162] W上阐述的示例作为对如何作出并使用本公开的实施例的完整公开和描述被提 供给本领域普通技术人员，并且不意图限制发明人视为其公开的内容的范围。
[0163] 对于本领域技术人员显而易见的用于执行本文中所公开的方法和系统的上述模 式的修改意图处于随附的权利要求的范围内。在说明书中所提及的所有专利和出版物指示 本公开所属于的领域中的技术人员的技能水平。在本公开中引用的所有参考文献通过如同 每一参考文献已单独地通过其整体引用而并入的相同程度的引用而被并入。
[0164] 要理解的是，本公开不限于特定方法或系统，运些特定方法或系统当然可W变化。 还要理解的是，本文中所使用的术语仅出于描述特定实施例的目的，而不意图是限制性的。 如在本说明书和所附权利要求书中所使用的，单数形式"一"、"一个"W及"所述"包括多个 所指对象，除非内容另外明确地指定。术语"多个"包括两个或更多个所指对象，除非内容另 外明确地指定。除非另外定义，否则本文中所使用的所有科技术语具有与本公开所属于的 领域中的普通技术人员通常所理解的相同的含义。
[0165] 在W下的参考文献列表中所示出的本申请中的参考文献通过其整体引用而并入 本文。
[0166] 参考文献
[0167] [ 1 ]2014年2月27日提交的美国临时专利申请序列号61/945，706。
[016 引[2]2012年 5 月 24 日提交的 PCT 序列号PCT/US2012/039338。
[0169] [3]美国专利 No.8,363，117。
[0170] [4]Watson,Andrew B.、A]_be;rt J.Ahumada JrW及Joyce E.Farrell的 "Window of visibility:a psychophysical theory of fidelity in time-sampled visual motion displays/'JOSA A 3.3(1986):300-307〇
[0171] [ 5 ] Tyler , Chri stopher W .和Russel 1 D . Hamer的''Analysis of visual modulation sensitivity.IV.Validity of the Ferry-Porter law/'JOSA A 7.4(1990): 743-758〇
[0172] [6]2013年11月22日提交的美国临时专利申请序列号61/907,996。
【主权项】
1. 一种用于利用计算机控制颤抖可见性的方法，所述方法包括： 访问第一图像和第二图像； 使用所述第一图像和第二图像来生成亮度变化图和对比度变化图； 使用所述亮度变化图和对比度变化图来生成颤抖图，其中，所述颤抖图包括所述第一 图像的颤抖信息；以及 响应于所述颤抖图，向所述第一图像添加噪声和运动模糊以生成输出图像。2. 如权利要求1所述的方法，其中，生成所述颤抖图包括： 通过计算机对于至少一个像素估计所述第一图像和所述第二图像之间的运动矢量，由 此获得估计的运动矢量，其中，所述运动矢量包括运动幅度和运动方向。3. 如权利要求2所述的方法，进一步包括访问第三图像，其中： 访问所述第一图像、第二图像以及第三图像包括通过计算机在时间t处访问第一图像， 在时间t_l处访问第二图像以及在时间t+Ι处访问第二图像； 通过计算机对于所述至少一个像素估计运动矢量包括通过计算机对于所述第一图像、 第二图像以及第三图像的至少一个像素估计所述第一图像、第二图像以及第三图像之间的 运动的运动矢量，由此获得估计的运动矢量，其中，所述运动矢量包括运动幅度和运动方 向； 生成所述亮度变化图包括通过计算机测量所述第一图像、第二图像以及第三图像之间 的亮度的差异；以及 生成所述对比度变化图包括通过计算机对于所述至少一个像素测量所述第一图像、第 二图像以及第三图像之间的对比度的差异。4. 如权利要求2所述的方法，进一步包括通过计算机提供场景和显示器元数据，并且其 中，生成所述颤抖图部分基于所述场景和显示器元数据。5. 如权利要求2所述的方法，进一步包括通过计算机基于所述颤抖图缩放所述运动幅 度，由此获得缩放的运动幅度。6. 如权利要求1所述的方法，其中，添加所述噪声包括通过计算机基于所述颤抖图计算 对于至少一个像素的噪声。7. 如权利要求6所述的方法，进一步包括通过计算机基于对于所述至少一个像素的噪 声向所述缩放的运动幅度应用抖动，由此获得抖动的运动幅度。8. 如权利要求7所述的方法，进一步包括通过计算机基于所述抖动的运动幅度和运动 方向重构运动矢量，由此获得重构的运动矢量。9. 如权利要求8所述的方法，进一步包括通过计算机向所述重构的运动矢量应用运动 模糊，由此获得运动模糊的图像。10. 如权利要求9所述的方法，进一步包括通过计算机基于对于所述至少一个像素的噪 声向所述运动模糊的图像添加伪胶片颗粒，由此获得输出图像。11. 如权利要求4所述的方法，其中，所述场景和显示器元数据包括场景的明亮度以及 显示器的尺寸和亮度。12. -种用于控制颤抖可见性的方法，所述方法包括： 通过计算机提供至少两个输入帧； 通过计算机基于所述至少两个输入帧估计插入图，由此获得估计的插入图，其中，所述 估计的插入图指定对于所述至少两个输入帧的至少一个像素的时间插入位置;以及 通过计算机基于所述至少两个输入帧和估计的插入图插入至少一个另外的帧，由此获 得至少一个插入帧，其中，所述至少一个插入帧的至少一个像素与由至少一个像素的插入 图指定的时间处的该至少一个像素对应。13. 如权利要求12所述的方法，进一步包括通过计算机对于所述至少两个输入帧的所 述至少一个像素识别颤抖量，并且其中，通过计算机估计插入图还基于所述颤抖量。14. 如权利要求12所述的方法，进一步包括通过计算机提供关于所述至少两个输入帧 的至少一个像素的期望的颤抖量的用户输入，并且其中，通过计算机估计插入图还基于所 述用户输入。15. 如权利要求12所述的方法，进一步包括通过计算机向所述至少一个插入帧应用运 动模糊。16. 如权利要求12所述的方法，其中，至少一个输入帧没有修改地被插在输出流中。17. 如权利要求12所述的方法，进一步包括： 通过计算机识别所述至少两个输入帧的至少一个区域，所述至少一个区域具有比期望 的颤抖量高的颤抖量，其中，仅向所述至少一个区域应用插入。18. 如权利要求17所述的方法，其中，所述至少一个区域通过计算机更新到比所述至少 两个输入帧的帧速率高的帧速率。19. 如权利要求12所述的方法，其中，通过计算机估计插入图包括估计前向运动矢量、 后向运动矢量、时间运动一致性、空间运动一致性、前向运动一致性以及后向运动一致性。20. 如权利要求12所述的方法，其中，通过计算机估计插入图使用两个速度阈值之间的 软切换函数、基于所述至少一个像素的速度。21. 如权利要求12所述的方法，其中，所述插入基于帧速率转换。基于运动补偿。22. 如权利要求1或12所述的方法，其中，颤抖的规范化度量被预先计算并且与原始内 容一起递送，使得目标设备能够决定如何在稍后的时间调整颤抖。23. -种用于控制高帧速率捕获和高帧速率显示的颤抖可见性的方法，所述方法包括： 利用非恒定的时间间隔捕获帧，由此获得捕获的帧;和 利用恒定的时间间隔显示所述捕获的帧，由此获得期望的颤抖可见性。24. -种用于控制高帧速率捕获和高帧速率显示的颤抖可见性的方法，所述方法包括： 利用恒定的时间间隔捕获帧，由此获得捕获的帧;和 利用非恒定的时间间隔显示所述捕获的帧，由此获得期望的颤抖可见性。25. -种用于控制颤抖可见性的方法，所述方法包括： 利用恒定的时间间隔捕获帧，由此获得捕获的帧;和 利用恒定的时间间隔显示所述捕获的帧， 其中，所述捕获的帧中的至少一个帧被用其在前的捕获的帧替代，由此显示所述在前 的捕获的帧两次。26. -种用于控制颤抖可见性的方法，所述方法包括： 利用恒定的时间间隔捕获帧，由此获得捕获的帧； 通过计算机基于期望的颤抖可见性处理所述捕获的帧中的至少一个帧和其在前的捕 获的帧中的至少一个，由此获得至少一个经处理的捕获的帧；以及 利用恒定的时间间隔显示所述捕获的帧和至少一个经处理的捕获的帧。27. -种用于控制高帧速率图像序列的颤抖可见性的方法，所述方法包括： 通过计算机提供输入帧； 通过计算机从所述输入帧去除噪声或胶片颗粒，由此获得经处理的帧； 通过计算机处理来自所述输入帧的所述噪声或胶片颗粒，由此获得低帧速率噪声或胶 片颗粒；以及 通过计算机向所述经处理的帧添加所述低帧速率噪声或胶片颗粒，由此获得输出帧。28. -种用于控制高帧速率图像序列的颤抖可见性的方法，所述方法包括： 通过计算机提供输入帧； 通过计算机将所述输入帧分成至少两组帧； 通过计算机基于期望的颤抖可见性处理所述帧的组中的至少一组，由此获得经处理的 至少一组帧和未经处理的至少一组帧；以及 通过计算机组合所述经处理的至少一组帧与未经处理的至少一组帧。29. 如权利要求28所述的方法，其中，所述处理包括应用平滑滤波器和/或锐化滤波器。30. 如权利要求29所述的方法，其中，所述平滑滤波器为高斯滤波器、双边滤波器或 Sigma滤波器。31. 如权利要求29所述的方法，其中，所述锐化滤波器为反锐化掩蔽滤波器。32. -种用于利用计算机控制颤抖可见性的方法，所述方法包括： 通过计算机提供至少两个输入帧； 通过计算机基于所述至少两个输入帧估计插入图，由此获得估计的插入图，其中，所述 估计的插入图指定对于所述至少两个输入帧的至少一个像素的时间插入位置;以及 通过计算机基于所述至少两个输入帧和估计的插入图插入至少一个另外的帧，由此获 得至少一个插入帧，其中， 所述至少一个插入帧的至少一个像素与由至少一个像素的插入图指定的时间处的该 至少一个像素对应， 输出帧速率为输入帧速率的整数倍，并且 所述至少一个另外的帧被插入在所述至少两个输入帧之间。33. 如权利要求32所述的方法，进一步包括通过计算机对于所述至少两个输入帧的所 述至少一个像素识别颤抖量，并且其中，通过计算机估计插入图还基于所述颤抖量。34. 如权利要求32所述的方法，进一步包括通过计算机提供关于所述至少两个输入帧 的至少一个像素的期望的颤抖量的用户输入，并且其中，通过计算机估计插入图还基于所 述用户输入。35. -种用于控制颤抖可见性的方法，所述方法包括： 通过计算机提供至少两个输入帧； 通过计算机基于所述至少两个输入帧估计插入图，由此获得估计的插入图，其中，所述 估计的插入图指定对于所述至少两个输入帧的至少一个像素的时间插入位置； 计算基础帧速率，所述基础帧速率为输出帧速率的偶数倍并且在值上基本上接近于输 入帧速率，由此类似于所述输入帧速率来显示颤抖，其中，输出帧速率为所述输入帧速率的 非整数倍；以及 通过计算机基于所述至少两个输入帧、基础帧速率、输入帧速率和输出帧速率以及估 计的插入图插入至少两个另外的帧，由此获得至少两个插入帧，其中，所述至少两个插入帧 中的至少一个的至少一个像素与由至少一个像素的插入图指定的时间处的该至少一个像 素对应，其中，所述至少两个另外的帧被插入在所述至少两个输入帧之间。36. 如权利要求35所述的方法，进一步包括通过计算机对于所述至少两个输入帧的所 述至少一个像素识别颤抖量，并且其中，通过计算机估计插入图还基于所述颤抖量。37. -种用于控制颤抖可见性的方法，所述方法包括： 以输入帧速率提供输入帧； 通过计算机在每一时间段从所述输入帧捕获帧，由此获得捕获的帧； 在每一时间段中以低于所述输入帧速率的帧速率显示所述捕获的帧；以及 在每一时间段的结束使所述捕获的帧在时间上向前跳跃达赶上所述输入帧速率所需 要的量，由此获得期望的颤抖可见性。38. 如权利要求37所述的方法，其中，显示所述捕获的帧以及向前跳跃由具有0和1之间 的值的颤抖控制速率确定。39. 如权利要求37所述的方法，进一步包括通过计算机计算每一显示时间t的采样时间 f (t)，其中，/W H + r · [(? - η r)/Tdj &，n = [t/rj，r为颤抖控制速率，Ι/Td为采样速 率，并且T为基础时间段。40. 如权利要求39所述的方法，其中，T是Td的整数倍。41. 如权利要求39所述的方法，进一步包括，如果T不是Td的整数倍，则选择基本上接近 于T同时是Td的整数倍的值Τ'。42. 如权利要求37所述的方法，其中，颤抖控制速率是时间和像素位置的函数，由此在 不同的时间向不同的区域应用不同的颤抖可见性控制。43. 如权利要求37所述的方法，进一步包括通过计算机计算每一显示时间t的采样时间 f(t)，其中，f(t) = (l-r) · η · T+r · m · Td，.fl. = [?/Γ|，Μ == 为颤抖控制速率， 1 /Td为采样速率，并且T为基础时间段。44. 一种用于控制高帧速率颤抖可见性的方法，所述方法包括： 以输入帧速率提供输入帧； 通过计算机计算颤抖基础帧速率； 选择颤抖控制速率； 在每一时间段从所述输入帧重采样帧，由此获得重采样的帧； 在每一时间段中以不同于所述输入帧速率的帧速率显示捕获的帧；以及 在每一时间段的结束使所述捕获的帧在时间上向前跳跃达赶上所述输入帧速率所需 要的量，由此以等于所述输入帧速率的输出帧速率获得期望的颤抖可见性。45. 如权利要求44所述的方法，进一步包括通过计算机计算每一显示时间t的重采样时 间f(t)，其中，f(t) = (l-r) · η · T+r · m · Td，?t = [t/rj，饥=[t/rdj，r为颤抖控制速 率，1 /Td为重采样速率，并且T为基础时间段。46. 如权利要求45所述的方法，其中，逐像素地控制颤抖可见性。47. 如权利要求45所述的方法，其中，逐镜头地控制颤抖可见性。48. 如权利要求44所述的方法，进一步包括通过计算机选择至少一个帧中的至少一个 区域，其中，在所述至少一个区域上与所述至少一个帧的剩余部分不同地控制颤抖可见性。49. 如权利要求44所述的方法，进一步包括通过计算机选择至少一个帧中具有过度的 颤抖的至少一个区域和至少一个帧中具有不足的颤抖的至少一个区域，其中，颤抖可见性 在具有过度的颤抖的所述至少一个区域中被减小，而在具有不足的颤抖的所述至少一个区 域中被增大。50. 如权利要求49所述的方法，其中，具有过度的颤抖的所述至少一个区域为低帧速率 区域，而具有不足的颤抖的所述至少一个区域为高帧速率区域。
【文档编号】H04N5/14GK106063242SQ201580010829
【公开日】2016年10月26日
【申请日】2015年2月23日
【发明人】徐宁, K·D·瑟斯顿三世, S·戴勒, J·E·克兰肖, A·舍
【申请人】杜比实验室特许公司