用于对视频进行编码的系统和方法

专利名称：用于对视频进行编码的系统和方法
技术领域：
本发明公开总体上涉及计算机图形处理和显示系统，更具体地，涉及一种用于对 视频进行编码并减少编码视频中的视频伪像的系统和方法。
背景技术：
过去，基于影带的标清视频的重编码一直是机械过程，在该过程中，压缩师或视频 质量工程师验证源的视频质量、基于他们的视觉发现进行编码或重编码(修补(fixes))、 以及请求视频伪像修补。参照图1，示出了用于对视频进行编码的传统影带工作流。通常，获 取包含视频10的影带。然后将该影带加载到影带驱动12上，以由编码系统摄取(ingest)。 各种编码/重编码参数应用于视频14，对该视频进行编码16，以产生编码文件18。实质上， 压缩师通过可用的滤波、数字视频降噪器、压缩以及其他硬件/软件来重新运行(例如，多 次迭代20)基于影带的内容，以获得期望的重编码的视频输出结果22。重编码的多次迭代 可以是编码器驱动的重编码或QC (质量控制)驱动的重编码。编码器驱动的重编码是基于 比特率分配、视频质量/伪像、峰值信噪比或这些共同的任何组合的某些统计分析的自动 (也可以是手动)重编码。QC驱动的编码是压缩师或视频质量工程师驱动的重编码，以提高 由于正被编码的视频内容的高度随机本质而可能已被以上统计分析过程错失的视频质量。 不管是什么驱动该过程，传统工作流需要繁重的来回反复工作，来解决视频伪像，而没有任 何机制来捕获适合于特定类型的伪像的重编码参数。这期间使用的压缩编解码简单并易于理解。这对于标清盘格式而言是足够的，这 是因为由于较早的光学存储介质的物理限制，已编码的视频特征的容量是非常适中的。同 样，基于影带的分发(例如，VHS影带、DLT等)是摄入到标清产品的视频的不同方法中的优 选手段，这是由于对于这种特定产品，资产较少、易管理并工作良好。然而，该过程是耗时的 并易于出错。此外，传统影带工作流不会保持除了最后修补以外的其他修补的历史。因此， 不允许修补版本之间的比较。随着支持高级编解码(例如，H. 264(AVC))以及视频质量的更好压缩比的新近的 光学存储空间增大的介质的出现，使得利用该附加磁盘空间用于其他增值内容(例如游 戏、奖励视频内容、会谈、音乐会、画中画以及当今客户/消费者需求的事件)变为可能。这 实质上还已增加了高清视频内容的纯粹容量、增加了复杂性(多系统、软件等)以及成功 编码所需的时间、增强了对更好管理/理解数字内容的需求、以及增加了增值内容素材，但 是，却使得完成该附加内容素材的周转时间缩短了。使用较早的传统标清产品工作流不再 是可行的方案。这需要将高清产品朝着无影带分发发展，以使得该过程在成本上更有效，这 是由于需要跟踪和存储的物理资产(D5影带、DLT等)更少，并更容易进行数字化操纵/操 作。
因此，需要技术来克服传统无影带数字工作流的缺点并更好管理重编码过程，其 通过实现压缩师的学习的可再用性、允许多个重编码属性/工具的应用、以及允许使用和 控制的便利性，来提高压缩师的效率。

发明内容
提供了一种用于对视频进行编码以及减少编码视频中的视频伪像的系统和方法。 本发明的系统和方法使用户能够简单选择预先设置(例如，一组编码或重编码参数)来修 补在编码视频中存在的视频伪像，或提供开始点来修补视频伪像。此外，本发明的系统和方 法提供了一种根据视频伪像的复杂性来创建新的预先设置库的机制。这些用户产生的编码 参数集合或编码参数的预先设置能够容易地应用在多个场景或不同特征上，并在不同用户 之间共享。此外，本发明的系统和方法标记、分类以及组织潜在的后编码相关的视频质量问 题，例如，在编码过程期间检测到的视频伪像，例如，条带化、暗噪声等。通过对视频伪像进 行识别和分类，本发明的系统和方法使这些视频伪像的修补更容易并更精确，从而提高质 量、节省时间、以及提高性能。该系统和方法还允许用户提供视频伪像特定的解决方案，以 通过采用用户产生的编码参数集合或编码参数的预先设置，来解决这些视频编码异常。根据本发明的一个方面，提供了一种用于减少视频伪像的方法，所述方法包括以 下步骤接收源视频、对所述源视频进行编码、在编码视频中检测不同的至少两个伪像、以 及基于至少一个第一用户产生编码参数集合，对所述编码视频进行重编码，以便移除所述 至少两个伪像。在另一方面中，所述方法还包括确定至少两个伪像中的每一个的类别，以及基于 所确定的类别之一，来选择至少一个第一用户产生编码参数集合。在另一方面中，所述方法包括确定至少两个伪像中的每一个的严重性，以及基于 具有所确定的最高严重性的伪像，来选择至少一个第一用户产生编码参数集合。根据本发明的另一方面，一种实现编码视频中伪像减少的方法，包括接收源视 频，所述源视频具有多个帧；对所述源视频进行编码，确定编码视频的所述多个帧的一部分 是否包含第一类型的伪像；显示具有所述第一类型伪像的视频帧；以及使用户能够从多个 编码参数集合中选择编码参数集合，以在对编码视频进行重编码时减少伪像。在另一方面中，所述方法还包括确定编码视频的所述多个帧的第二部分是否包 含第一类型的伪像，以及如果确定编码视频的所述多个帧的第二部分包含第一类型的伪 像，则将第一和第二部分分组到单个伪像类别中。根据本发明的另一方面，一种用于对视频进行编码的系统包括用于源视频的编 码器，所述源视频具有多个帧；用于在编码视频中检测不同的至少两个伪像的伪像检测器； 以及多个用户产生编码参数集合，其中，所述编码器基于至少一个第一用户产生编码参数 集合对所述编码视频进行重编码，以便移除所述至少两个伪像。在各个方面中，该系统包括用于确定检测到的伪像的类别的分类器，，并且伪像 检测器确定检测到的伪像的严重性。该系统基于检测到的伪像的所确定的类别或严重性来 解决伪像。


根据参照附图阅读的优选实施例的以下详细描述，对本发明的这些和其他方面、 特征以及优点进行描述并使其变得显而易见。在附图中，类似的附图标记表示类似的元件图1示出了根据现有技术的用于对来自影带的视频进行编码的工作流；图2示出了根据本发明方面的用于对视频进行编码的无影带工作流；图3是根据本发明方面的用于对视频进行编码的系统的示例图不；图4是根据本发明方面的用于对视频进行编码的示例方法的流程图；图5示出了根据本发明方面的用于选择要重编码的视频的镜头/场景的示例屏幕 截图；图6示出了根据本发明另一方面的用于选择要重编码的视频的镜头/场景的另一 示例屏幕截图；图7-10示出了根据本发明方面的用于控制视频的重编码、控制视频重编码的版 本化、以及向视频应用至少一个重编码参数的若干示例屏幕截图；图11是用于创建重编码参数的预先设置并将其应用于视频内容以减少伪像的示 例方法的流程图；图12示出了用于选择要应用于包含在视频内容中的特定类别的伪像的重编码参 数的预先设置的界面；图13是根据本发明方面的用于识别并分类伪像的示例方法的流程图。应当理解，附图是为了示意本发明的构思的目的，并不必是用于示出本公开的唯 一可能的配置。
具体实施例方式应当理解，图中所示的元件可以以各种形式的硬件、软件或其组合来实现。优选 地，这些元件可以以一个或多个适当编程的通用设备上的硬件和软件的组合实现，该通用 设备可以包括处理器、存储器和输入/输出接口。本说明书示意了本发明的原理。因此将认识到，本领域技术人员能够设想各种布 置，这些布置尽管在这里没有显式描述或示出，但体现本发明的原理并包括在本发明的精 神和范围内。这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明 的原理以及发明人对现有技术做出贡献的构思，应看作不会被限制为这里具体引述的示例 和条件。此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在 包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来 开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的 示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实 质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否 明确示出该计算机或处理器。
可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而提供图中所 示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享 处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控 制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括 (不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存 取存储器(“RAM”)以及非易失性存储器。还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念 上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是 手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功 能的任何方式，例如包括a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固 件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限 定的本发明原理在于如下事实将各个引述的装置所提供的功能以权利要求所要求的方式 组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。提供了一种用于对视频进行编码的系统和方法。本发明的系统和方法为重编码提 供版本化，以允许控制、管理场景/镜头、以及在重编码过程期间呈现重编码历史，这些在 所有质量提高的重编码工作期间都是必需的。参照图2，示出了根据本发明的用于对视频 进行编码的无影带工作流。在图2的工作流中，经由影带驱动来播放视频影带，并且捕获该 影带并将其转换成数字格式13。在捕获了内容并将其转换成数字格式之后，在完全的数字 工作流中(例如，在计算机上)中进行处理变得很容易。所有图像滤波器要么是软件驱动 的，要么利用专用硬件加速来执行。这允许压缩师或视频质量工程师容易地使用专用软件 或硬件来向视频内容应用修补。如下所述，本发明的系统具有专用软件和/或硬件以允许 用户(例如，压缩师或视频质量工程师)选择特定的镜头/场景或特定的输入/输出帧，来 进行重编码；允许用户指定所应用的重编码参数；以及允许使用集成视频播放器进行内容 回放。该系统和方法允许重编码的多次迭代，并使得粒度改进成为可能。本发明的系统和方 法可以保存每次迭代，并编译修补的历史，从而允许多次重编码(修补)、编码与其源之间 的比较。此外，该系统和方法包括预先设置修补(例如，用户产生的编码参数集合)的库， 极大减少执行修补的时间。现在参照附图，在图3中示出了根据本发明的实施例的示例系统100。可以提供扫 描设备103来将影片胶片104(例如，摄像机原始影片底片)扫描成数字格式，例如Cineon 格式或SMPTE DPX文件。例如，扫描设备103可以包括，电视电影机或根据影片产生视频输 出的任何设备，例如具有视频输出的Arri LocPro 0备选地，可以直接使用来自后期制作 过程或数字电影106的文件(例如，已经是计算机可读形式的文件)。潜在的计算机可读文 件的源是AVID 编辑器、DPX文件、D5影带等。将扫描后的影片胶片输入至后处理设备102，例如，计算机。计算机在具有硬件的 各种已知计算机平台中的任何平台上实现，该硬件例如是一个或多个中央处理单元(CPU)、 诸如随机存取存储器(RAM)和/或只读存储器(ROM)等存储器110、以及诸如键盘、光标控 制设备等输入/输出(I/O)用户接口 112 (例如，鼠标或操纵杆)以及显示设备。该计算机 平台还包括操作系统和微指令代码。这里描述的各种过程和功能可以是经由操作系统执行的微指令代码的一部分或软件应用程序的一部分(或其组合)。在一个实施例中，在程序 存储设备上有形地体现软件应用程序，该软件应用程序可以上载到诸如后处理设备102等 任何适合的机器上并由该机器执行。此外，各种其他外围设备可以通过各种接口和总线结 构(例如，并行端口、串行端口或通用串行总线(USB))连接至计算机平台。其他外围设备 可以包括附加的存储设备124和印片机128。印片机128可以用于印制影片126的修改版 本，例如，影片的重编码版本，其中，由于以下描述的技术，可能已经代替或修补了某个场景 或多个场景。备选地，可以直接将已经是计算机可读形式106的文件/影片(例如，可以存储在 外部硬盘驱动127中的数字电影)直接输入到计算机102中。注意，这里使用的术语“影 片”可以指代影片胶片或数字电影。软件程序包括存储在存储器10中并用于对视频进行编码/重编码的编码版本化 模块114。编码版本化模块114包括相互作用以执行本发明中提供的各种功能和特征的各 种模块。编码版本化模块114包括被配置为确定视频(例如，影片或电影)的至少一个镜头 或场景的镜头/场景检测器116。编码模块114还包括被配置为选择编码/重编码参数并 将其应用于检测到的镜头/场景的重编码参数118。示例的重编码参数包括改变特定镜头 /场景的比特率的DeltaRate，将成块伪像从镜头/场景中移除的去块滤波器等。提供了编 码器120，用于将摄取的视频编码成至少一个数字格式。示例编码器包括MPEG-4(H.264)、 MPEG-2、QuickTime等。编码版本化模块114向编码后的视频的每个版本分配版本编号或 指示。提供预先设置修补库122，用于基于给定条件将至少一个或多个修补应用于视频 镜头或场景。预先设置修补库122是解决特定伪像的重编码参数的集合。用户能够通过首 先选择镜头/场景，然后基于在镜头/场景中找到的伪像来选择已经创建的现有预先设置， 来应用特定的预先设置。也能够基于用户创建的类别，来应用预先设置。此外，如果必要， 可以保存这些预先设置，以供今后用于类似的视频编码项目。编码版本化模块114还包括视频播放器124，用于对视频镜头/场景进行解码，并 向用户可视化该视频。提供了比较器126，用于比较相同镜头/场景的至少两个版本的数 据，并用于向用户显示比较数据。此外，编码版本化模块114包括伪像检测器125，用于经由多个编码伪像检测算法 或函数，来在视频的镜头/场景中检测视频伪像。示例检测器检测诸如暗噪声、条带化等伪 像，并且还可以考虑基于暗噪声和条带化两者的组合检测器。伪像检测器125还确定检测 到的伪像的严重性，并向该伪像分配严重性的值。提供了分类器129，用于对检测到的伪像 进行分类。分类器129基于镜头/场景中伪像的类型或基于检测到的伪像的严重性、以及 用户或系统设置的阈值，来对镜头/场景进行分组。图4是根据本发明方面的用于对视频进行编码的示例方法的流程图。首先，后处 理设备102获取或导入视频内容(步骤202)。后处理设备102可以通过获得计算机可读格 式的数字主图像文件，来获取视频内容。可以通过利用数字摄像机捕获运动图像的时间序 列，来获取数字视频文件。备选地，传统胶片类型的摄像机可以捕获该视频序列。在这种情 况下，经由扫描设备103来扫描影片。应当认识到，无论对该影片进行扫描还是该影片已经为数字格式，影片的数字文件包括与帧的位置有关的指示或信息，例如，帧编号，影片开始的时间等。数字图像文件的 每个帧包括一个图像，例如，I1, I2,... In。在导入视频之后，摄取视频并产生视频内容数据(步骤204)。引入该步骤以准备 将来自不同源的视频数据转换成编码器可接受的格式，例如从10比特DPX格式到8比特 YUV格式。这要求根据需要丢弃图像的比特深度，保存在编码过程内可能使用的附加的颜色 元数据信息等。根据摄入的视频，将若干算法或函数应用于视频，以导出内容数据，例如元 数据。例如，经由镜头/场景检测器116应用场景/镜头检测算法，来将完整的视频分割成 场景/镜头；也可以使用淡入淡出/溶解检测算法。所产生的其他内容数据包括直方图、 基于颜色的分类、类似场景检测、比特率、帧分类、缩略图等。接着，在步骤206中，编码器12对视频进行编码。第一编码产生版本0或基本/ 参考编码版本。根据需要或在相应镜头/场景的版本之间，将所有其他版本与该版本进行 比较，以用于视频质量提高。在步骤208中，确定是否有任何镜头/场景能够进一步提高或需要重编码。在第一 编码期间能够自动提高视频镜头/场景的质量。压缩师能够在视觉上检查镜头/场景，以 确定是否需要进一步重编码。如果确定不需要进一步重编码，则在步骤220输出最终的编 码视频。否则，如果需要进一步重编码，则该方法通过应用预先设置或单独的重编码参数， 继续至步骤210。在步骤210中，镜头/场景由用户选择，自动分配版本编号或指示，并且从重编码 参数列表118中分配或选择新的重编码参数。备选地，用户或压缩师可以从预先设置修补 库122中进行选择，该预先设置修补库122可以包括一个或多个重编码参数。应当认识到， 用户可以在镜头/场景内选择一个帧或多个帧，用于重编码过程。然后对所选镜头/场景执行重编码(步骤212)，然后经由视频播放器124播放重 编码版本，并经由比较器126将该重编码版本与所选镜头/场景的先前版本进行比较(步 骤214)，以验证视频或重编码质量。在一个实施例中，通过经由视频播放器124，在分屏中 显示这些视频，来在视觉上比较重编码版本和先前版本。如以下关于图6和7所描述的，还 能够通过选择/检查特定版本，以及视觉上区分该镜头/场景版本的数据，来简单地对比较 数据(或元数据)进行比较，例如，比较数据(或元数据)是平均比特率等级、编码帧类型、 峰值信噪比等。连续地，一直选择每个镜头/场景的一个版本。可以显示其他比较数据，例 如，在视频的编码和重编码版本中检测到的视频伪像的列表、视频文件大小、以及用于所选 版本的具体的编码参数。在基于步骤210中选择的重编码参数来执行重编码之后，确定针对镜头/场景的 重编码是否令人满意，或者确定是否应当应用其他不同的重编码参数(步骤216)。这种确 定是使用分离的视频或对比较数据可视化的视觉/手动过程。在一个实施例中，用户或压 缩师基于比较数据(例如，峰值信噪比)的可视化，选择若干产生的版本中相对而言无伪像 的那个版本，作为编码视频的最终版本。在其他实施例中，用户或压缩师基于通过视频播放 器124的至少两个所选版本的分离的可视化，来选择若干产生的版本中相对而言无伪像那 个版本，作为编码视频的最终版本。如果镜头/场景的重编码不令人满意，则过程返回至步 骤210，应用其他重编码参数。否则，过程转向步骤218。在步骤218中，针对与完整的视频剪辑或电影相关联的所有镜头/场景，确定编码和重编码是否令人满意。如果存在要重编码的其他镜头/场景，则过程返回至步骤210，选 择另一镜头/场景。否则，如果对于所有镜头/场景，编码和重编码是令人满意的，则在例 如存储设备127中存储最终编码视频，并可以获取该最终编码视频用于回放(步骤220)。 此外，能够将运动画面或视频剪辑的镜头/场景存储在代表运动画面或剪辑的完整版本的 单个数字文件130中。数字文件130可以存储在存储设备127中以供后续获取，例如用于 印刷编码视频的影带或影片版本。图5-10示出了根据本发明方面的用于控制视频的重编码并向视频应用至少一个 重编码参数的若干示例屏幕截图。参照图5，示出了选择特定镜头/场景用于重编码的第一表示。提供界面500，其示 出了全部特征的缩略图呈现的一部分，其中已经对该全部特征执行了镜头/场景检测。能 够选择缩略图来标记入(例如，开始)和标记出(例如，结束)用于重编码的区域。能够在 场景级别或帧级别上执行这些选择，并确定用于重编码的具体区域。在图5中，检测到的视 频镜头/场景由缩略图502来表示。在选择具体镜头/场景缩略图504时，向用户显示作 为缩略图506的与所选镜头/场景相关联的帧。界面500包括区段508，用于通过拖动和放入重编码类别中、或通过点击缩略图本 身来使用上下文菜单，来添加用于重编码的镜头。能够简单地将场景502放入用户定义的 有色类别508中。在一个实施例中，类别的颜色表示视频伪像、复杂度、镜头/场景闪烁等。 界面500还包括示出了属于以上所选类型508中的各个单独场景的区段510。这些缩略图 示出了属于所选/高亮类别内的镜头/场景的第一帧。参照图6，示出了在帧级别上选择用于重编码的具体镜头/场景的第二表示。提供 另一界面600，其代表了(重)编码视频流的附加属性或元数据。例如，比特率图能够用于 基于编码流的属性，来标记入和标记出需要质量增强的区域。这里，标记入/标记出由标志 602,604以及阴影区域606来表示。提供区段608，以在进行添加以用于重编码之前，应用 用于重编码的附加参数。图7-10示出了根据本发明方面的使压缩师或视频质量工程师能够控制视频的重 编码、并向视频应用至少一个重编码参数、以及允许压缩师或视频质量工程师挑选相对而 言无视频伪像的重编码版本的若干示例屏幕截图。根据本发明的各个方面，压缩师或视频质量工程师能够提供多个附加的重编码参 数，可以在相同场景内低至各个单独帧的更小粒度级别上应用这些参数。图7示出了用于在类别级别上选择附加的重编码设置属性的界面700。区段702 示出了包含用户使用以上选择组件而请求的重编码区域(例如，关于图5和6描述的镜头/ 场景或帧)的树状列表。该树包括1.)类别-对重编码场景是部分的进行分组，即，允许类 似的重编码属性应用于作为该类别的一部分的所有场景；2.)场景编号的范围-包括部分 重编码的场景的开始和结束；3.)版本-正在执行的重编码的版本，具有进度状态信息(复 选框提供了用于选择在压缩师看来适合或解决所有视频伪像的版本的方法)；以及4.)帧 范围_在该范围中应用重编码属性。这样，用户界面700显示针对镜头/场景或帧的版本 指示的历史。区段704示出了随时间发展的、用于解决共同的重编码问题的的预先设置的 列表，例如，预先设置修补库122。这些预先设置用作可以与其他压缩师/用户一同使用或 共享来加速解决问题的重编码工具箱。区段706示出了能够分配的类别名称，以及能够与类别相关联以更好理解类别的作用的附加文本数据。区段708示出了能够应用于解决视频 伪像的重编码参数名称的列表。在区段708中示出的滤波器或重编码参数属于在区段704 中选择的预先设置，并且随着选择不同的预先设置，该列表会改变。区段710是用户能够选 择正在应用的重编码参数的强度的区段。区段712包括开始所选重编码或开始迄今还没有 进行的所有重编码的按钮。使用图6和7的界面600、700，对在区段702中选择的镜头/场景执行重编码(如 以上步骤212所述)，并且然后经由视频播放器124来回放重编码版本，并经由比较器126 将该重编码版本与所选镜头/场景的先前版本进行比较(如以上步骤214所述)，以验证视 频或重编码质量。在一个实施例中，经由视频播放器124，通过在分屏中显示这些视频，来 在视觉上比较重编码版本和先前版本。在另一实施例中，还能够通过选择/检查具体版本 702，以及在视觉上区分针对该镜头/场景版本的、图6的阴影部分606中的数据，来对比较 数据(也称作元数据)进行比较，例如，比较数据(也称作元数据)是平均比特率级别、编 码帧类型、峰值信噪比(PSNR)等，界面600可以用作比较器126。这里，通过在视频版本之 间进行选择，界面600在针对每个版本的元数据之间来回切换，以用于用户或压缩师的视 觉检查。例如，用户能够在视频的两个不同版本之间来回切换，观察每个视频的PSNR数据， 其中，PSNR越高，视频质量越好。图8示出了用于在场景级别上选择附加的重编码设置属性的界面800。在区段802 中，选择场景级别节点。示出了正被重编码的场景的场景编号。区段804示出了对关于正 被重编码的场景的文本数据进行关联的区域。区段806提供所有选项的列表，以在具体场 景的不同阶段或版本之间进行选择和比较。该列表包括源版本-这是场景的实际源摄取版本_这是场景的摄取版本编码版本一这是场景大的第一编码版本重编码版本X. YY-这些是压缩师请求的重编码。X. YY示出了重编码的产生和历 史。X是主要版本，而YY示出了次要版本。使用X.YY版本指示，用户能够得出重编码的进 度。例如，版本化学的一种表示如下版本1. 00-利用特定重编码参数来重编码的第一尝试。版本1. 10-利用以上参数并具有一些附加或其他改进的重编码的第二尝试。版本 1. 00是父辈，提供了开始重编码的实际参数集合。版本1. 11 一尝试利用一些附加参数进一步改进版本1. 10。版本2. 00-利用不同的重编码参数集合的重编码新尝试。以上示例还示出了用户如何能够推断随后的重编码进度，以提高编码质量。这允 许用户更好地理解重编码过程，并通过针对相同场景同时尝试不同的重编码集合，来快速 缩小范围到质量编码，从而提高压缩师生产率并提高质量。选择版本中的任意两个版本，允 许压缩师使用分屏集成视频播放器124，来一起比较重编码版本。这样，能够容易发现和选 择版本之间的质量提高，从而提高最终编码视频流。再次参照图8，区段808提供发起分屏模式的视频播放器的按钮，该分屏模式用于 比较在区段806中选择的两个版本。区段810中提供的按钮发起全屏模式的视频播放器， 播放所选场景的摄取或重编码视频流。
11
图9示出了用于在版本级别上选择附加的重编码设置属性的界面900。区段902 提供各种镜头/场景的版本(例如，版本X. YY)的列表。这些是压缩师要求的重编码。X. YY 示出了重编码的产生和历史。X是主要版本，而YY示出了次要版本。使用X.YY，用户能够 得出重编码的进度。图9的区段904允许用户将附加文本数据与所选版本相关联。图10示出了用于在帧范围级别上选择附加重编码设置属性的界面1000。区段 1002示出了会利用所选的具体场景来重编码的帧编号。使用如关于图5和6描述的选择 用于重编码的镜头/场景的以上表示之一，来确定该选择。区段1004示出了预先设置的列 表，例如预先设置修补库122，这些预先设置随时间发展并能够用于应用到帧以解决共同的 重编码伪像。这些预先设置能够与其他用户共享。区段1006允许用户添加附加的帧范围。 这使得压缩师能够定制不同的重编码参数并将其应用到原始所选范围选择内的特定帧。区 段1008使得用户能够将当前所选的重编码参数集合应用(拷贝)至类别级别。这样，压缩 师能够容易地将修补的测试版本应用于类似问题的镜头/场景的整个类别。区段1010提 供能够应用于帧范围级别的重编码参数的列表，并且区段1012使得压缩师能够选择场景 类型。压缩师能够选择或改变重编码参数的强度。参照图11，示出了用于创建和应用用户产生的编码参数集合或编码参数的预先设 置。首先，在步骤1102中，如以上关于图4所述，导入视频内容。接着，在步骤1104中，伪像 检测器125确定视频内容中是否存在视频伪像。如果视频内容中不存在伪像，并且对于所 有镜头/场景编码和重编码是令人满意的，则将无视频伪像的最终编码视频存储在例如存 储设备127中，并可以获取该最终编码视频用于回放(步骤1118)。否则，在步骤1106中， 通过确定的伪像的类别/严重性，对镜头/场景进行分组。如上关于图5所述，镜头/场景 的分组可以是手动的，或者如下关于图13所述可以是自动的。在步骤1108中，确定是否对 所有伪像进行了分组或分类，并且如果为否，则方法返回步骤1106，以尝试对剩余的伪像进 行分组，或者为剩余伪像创建新分类。一旦对伪像进行了分组或分类，在步骤1110中，确定针对伪像的特定组或分类 是否存在重编码参数的预先设置。参照图12，示出了界面700的另一视图，以说明用户 或压缩师如何从伪像的类别中进行选择，并应用针对该类别的预先设置。如上所述，用 户或压缩师能够在区段704中查看现有的预先设置。这里，将存储在预先设置修补库 122中的预先设置列表1202显示为来自区段704的下拉菜单。根据用户经验、分类的镜 头/场景的视觉或分析(元数据)图6确认，压缩师可以基于例如如列表1202中所示 的 LightBlockingArti fact λ MediumBlockingArtifact 或 SevereBlockingArtifact 等 较轻、中等或严重伪像(或任何其他强度类别)，来选择预先设置的强度。压缩师还可以 使用特定的预先设置作为开始点，并适当调整所应用的预先设置，来显著减少伪像的出 现，提高视频的质量。如果确定能够使用现有的预先设置，用户在区段702中选择要修补 的分类，例如，Dark Noise Scenes (暗噪声场景)、Banding Scenes (条带化场景)、Dark Noise+BandingSceneiK暗噪声+条带化场景)等，然后从在区段704中提供的列表1202 中选择并应用适当的预先设置(步骤1114)。在图12所示的示例中。已经选择预先设置 MediumBandingArtifact (中等条带化伪像)，并且在区段708中列出了与所选预先设置 1204相关联的重编码参数。如果不存在针对具体分组或分类的预先设置，则在步骤1112中，用户能够创建新的视频伪像预先设置。在图7的区段706中，能够分配分类名称，并将附加文本数据与新的 预先设置相关联。在区段708中，用户从将被分配至新创建的预先设置的重编码参数的列 表中进行选择。在步骤1116中，确定是否解决了伪像。如果视频内容中不存在伪像，并且对于所 有镜头/场景的编码和重编码是令人满意的，则将无视频伪像的最终编码视频存储在例如 存储设备127中，并可以获取最终编码视频用于回放(步骤1118)。否则，该方法返回至步 骤1106，以尝试分类和解决任何剩余的伪像。现在参照图13，描述用于伪像分类的方法。首先，在步骤1302中，如上关于图4所 述，导入视频内容。然后，在步骤1304中，产生视频编码/重编码伪像数据。在编码过程期 间，经由伪像检测器125，使数字视频内容经历一系列编码伪像检测算法或函数。这些伪像 检测算法或函数专用于找到在高清视频编码中找到的最显著的视频伪像，例如，条带化、暗 噪声或同时具有条带化和暗噪声。在整个编码/编码后的视频上完全运行了这些伪像算法 或函数之后，基于找到的伪像的严重性，向在编码镜头/场景中找到的伪像分配一定范围 的值。这些值可以是对伪像的存在的显著性进行量化的值。此时，系统100能够基于伪像 的严重性，例如较轻、中等或严重的暗噪声伪像，确定相对于为伪像设置的阈值的伪像的程 度、相对于其他类型伪像的权重，然后适当地将它们分类到预定类型中，以用于进一步视觉 改善以及解译。尽管为了视频内容的简单性和连续性，一个镜头/场景可能仅属于一个伪 像类别，即，例如，条带化等特定伪像类别，然而镜头/场景可以包含若干类型的伪像。换言 之，当考虑分类时，一个伪像的显著性可以使镜头/场景中的其他伪像相形见绌。备选地， 例如，基于修补的预先设置或一些其他用户定义参数，可以将镜头/场景分类到在支持多 个伪像的类别下，这多个伪像在逻辑上是分组到一起的。在步骤1306中，确定针对所选镜头/场景的伪像值是否大于预定阈值。如果针对 特定镜头/场景的伪像值在预定阈值以下，则在步骤1310中通过类型对伪像进行分类。否 则，在步骤1308中，首先基于伪像阈值对伪像进行分类，然后在步骤1310中通过伪像类型 对伪像进行分类。基于以上分类规则，自动对镜头/场景进行分类，以提醒用户注意，并在 图5的区段508的适当类别中显示镜头/场景。应当认识到，压缩师也可以向这些伪像类 别手动追加适合逻辑类别描述的镜头/场景。此外，一旦对镜头/场景进行了分类，则图5 的界面500允许压缩师通过选择区段512中的适当的单选按钮，容易地在不同工作流的类 别之间切换，例如，不同工作流是编码、重编码等。应当认识到，在步骤1308中，分类器129可以按照字面确切地考虑阈值，并且通过 基于单个最严重伪像(例如，条带化)对镜头/场景进行分类，来标记镜头/场景，以用于 分类。然而，在特定实施例中，根据镜头/场景具有不同级别的严重性和权重的多个伪像的 可能性，分类器129可以在基于伪像的最终分类之前，考虑所有数据的显著性。例如，步骤 1308的分类还能够基于总伪像严重性的百分比，例如，在视频内容中具有暗噪声和条带化 的最差场景的前5%，从而允许压缩师在必要时快速缩小范围和提高质量。一旦对伪像进行了分组或分类，在步骤1312中对镜头/场景进行修补或重编码。 可以通过如上关于图11所述的选择预先设置，或者通过选择单个重编码参数，来完成重编 码。在步骤1314中，确定是否存在要修补或重编码的剩余镜头/场景。如果针对所有镜头 /场景，编码和重编码是令人满意的，则将无视频伪像的最终编码视频存储在例如存储设备127中，并获取该最终编码视频用于回放(步骤1316)。否则，方法返回值步骤1312，以尝试 分类和解决任何剩余的伪像。已经描述了利用版本化对视频进行重编码的系统和方法。该系统和方法实现和理 解起来简单且直观；提高并增加了对编码和重编码过程的控制，并允许递增的视频质量提 高/增强、洞察力；以及提供与重编码修补有关的历史。此外，该系统和方法允许用户随时 间保存和开发库/知识库，并且针对快速吞吐量实现了多个编码工作上的可再用性或与其 他用户的可再用性；以及提供对数字工作流/工具过程的效果(例如，摄取、滤波、编码或重 编码)的更好理解，以及对比较和解决压缩的视频输出内的质量问题/伪像的理解。此外， 本发明的系统和方法减少了完成固定的特征编码所需的用户时间/工时，并获得增加的生 产率和吞吐量。尽管这里详细示出并描述了结合本发明教导的实施例，但是本领域技术人员可以 容易设想仍结合这些教导的许多其他变化的实施例。已经描述了用于对视频进行编码并减 少编码视频中的伪像的系统和方法的优选实施例(意在示意而非限制)，但是注意，本领域 技术人员可以根据以上教导进行修改和变型。因此应当理解，可以在根据权利要求概括的 本发明范围内所公开的本发明具体实施例中进行改变。
权利要求
一种用于减少视频伪像的方法，所述方法包括以下步骤接收源视频(1102)；对所述源视频进行编码；在编码视频中检测不同的至少两个伪像(1104)；以及基于第一用户产生编码参数集合，对所述编码视频进行重编码，以便移除所述至少两个伪像(1114)。
2.根据权利要求1所述的方法，还包括确定所述至少两个伪像中的每一个的类别 (1106)。
3.根据权利要求2所述的方法，还包括基于所确定的类别之一，选择第一用户产生编 码参数集合(1110)。
4.根据权利要求1所述的方法，还包括确定所述至少两个伪像中的每一个的严重性 (1106)。
5.根据权利要求4所述的方法，还包括基于所确定的具有最高严重性的伪像，选择第 一用户产生编码参数集合(1110)。
6.根据权利要求1所述的方法，其中，如果第一用户产生编码参数集合未移除所述至 少两个伪像，则产生第二用户产生编码参数集合(1112)，所述第二用户产 生编码参数集合 的编码参数与所述第一用户产生编码参数集合的编码参数不同。
7.一种用于实现编码视频中的伪像减少的方法，所述方法包括以下步骤接收源视频(1302)，所述源视频具有多个帧；对所述源视频进行编码(1304)；确定编码视频的所述多个帧的一部分是否包含第一类型的伪像(1310)；显示具有所述第一类型的伪像的视频帧；以及使用户能够从多个编码参数集合中选择编码参数集合，以在对编码视频进行重编码时 减少伪像(1312)。
8.根据权利要求7所述的方法，还包括确定编码视频的所述多个帧的第二部分是否包含第一类型的伪像；以及如果编码视频的所述多个帧的第二部分包含第一类型的伪像，则将第一和第二部分分 组到单个伪像类别中(1310)。
9.根据权利要求7所述的方法，还包括针对编码视频的所述多个帧，确定第一类型伪 像的严重性(1304)。
10.根据权利要求9所述的方法，其中，如果针对所述多个帧的一部分的严重性的值大 于预定阈值(1306)，则显示严重性比所述预定阈值大的该部分(1308)。
11.一种用于对视频进行编码的系统(100)，包括用于源视频的编码器(120)，所述源视频具有多个帧；用于在编码视频中检测不同的至少两个伪像的伪像检测器(125)；以及多个用户产生编码参数集合(122)，其中，所述编码器基于至少一个第一用户产生编码参数集合对所述编码视频进行重编 码，以便移除所述至少两个伪像。
12.根据权利要求11所述的系统(100)，还包括用于确定所述至少两个伪像中的每一个的类别的分类器(129)。
13.根据权利要求12所述的系统(100)，还包括用户接口，用于基于所确定的类别之 一，选择至少一个第一用户产生编码参数集合。
14.根据权利要求11所述的系统(100)，其中，伪像检测器(125)确定所述至少两个伪 像中的每一个的严重性。
15.根据权利要求14所述的系统(100)，还包括用户接口，用于基于所确定的具有最 高严重性的伪像，选择至少一个第一用户产生编码参数集合。
16.根据权利要求11所述的系统(100)，还包括用户接口，用于产生至少一个第二用 户产生编码参数集合，所述至少一个第二用户产生编码参数集合的编码参数与所述至少一 个第一用户产生编码参数集合的编码参数不同。
17.根据权利要求11所述的系统(100)，还包括分类器(129)，确定编码视频的所述多个帧的一部分是否包含第一类型的伪像；以及用户接口，用于显示具有所述第一类型伪像的视频帧，并且使用户能够从多个编码参 数集合中选择用户产生编码参数集合，以在对编码视频进行重编码时减少伪像。
18.根据权利要求17所述的系统(100)，其中，分类器(129)确定编码视频的所述多个 帧的第二部分是否包含第一类型的伪像，以及，如果编码视频的所述多个帧的第二部分包 含第一类型的伪像，则将第一和第二部分分组到单个伪像类别中。
19.根据权利要求17所述的系统(100)，其中，伪像检测器(125)针对编码视频的所述 多个帧，确定第一类型伪像的严重性。
20.根据权利要求19所述的系统(100)，其中，如果针对所述多个帧的一部分的严重性 的值大于预定阈值，则用户接口显示具有比所述预定阈值大的严重性的该部分。
全文摘要
提供了一种用于对视频进行编码并减少编码视频中的视频伪像的系统和方法。本发明的系统和方法使得用户能够简单选择预先设置(例如，一组编码或重编码参数)来修补或者提供开始点以修补在编码视频中出现的视频伪像(1114)。此外，本发明的系统和方法标记、分类以及组织潜在的与后编码有关的视频质量问题(1306、1308、1310)，例如在编码过程期间检测(1304)的诸如条带化、暗噪声等视频伪像。通过识别和分类视频伪像，该系统和方法使得这些视频伪像的修补(1312)更容易和更精确，从而提高质量、节省时间、以及提高性能。
文档编号G06T5/00GK101884221SQ200880115841
公开日2010年11月10日 申请日期2008年11月12日 优先权日2007年11月16日
发明者阿南德·卡普尔 申请人:汤姆森许可贸易公司