使用感兴趣对象的数据对视频成码的比特率控制的制作方法

使用感兴趣对象的数据对视频成码的比特率控制的制作方法
【专利摘要】本发明描述了包括使用感兴趣对象数据的对视频成码的比特率控制的系统、制品和方法。
【专利说明】使用感兴趣对象的数据对视频成码的比特率控制
[0001] 背景
[0002] 网际协议语音（VoIP)提供各种数据传输服务，包括诸如视频会议等具有双向或 广播视频和音频传输的多媒体会话。随着质量的提高和成本的下降，视频会议已经变得非 常流行。这已经提高了诸如视频会议等允许共享和传送大量多媒体数据的应用的比特率效 率的重要性。这些传输使用视频编码器，该视频编码器压缩视频信息以使得能够通过给定 带宽发送更多信息。经压缩的信号然后可被传送到在显示之前对该信号进行解码或解压缩 的接收器。具有较低带宽的一些网络需要降低总比特率以便甚至在维持视频中关键内容的 视觉质量的同时接收和显示视频数据。对于具有相对较大带宽的网络，在维持视频中关键 内容的视觉质量的同时降低比特率提供了供其它传输（无论与正在传送的视频的显示或 音频有关的传输还是其它无关的网络传输）自由使用的更多带宽。

【专利附图】

【附图说明】
[0003] 本文中所描述的内容通过示例而非限制地在附图中示出。为说明的简单和清楚起 见，在附图中示出的元素不一定按比例绘制。例如，为清楚起见，某些元素的尺寸可能相对 于其它元素被放大。此外，在认为合适的地方，在附图中重复附图标记以指示相应或相似的 元件。在附图中：
[0004] 图1是示例视频成码（coding)系统的示图；
[0005] 图2是图1的示例视频成码系统的一部分的示图；
[0006] 图3是替换视频成码系统的示图；
[0007] 图4是根据一个示例视频成码系统的视频帧的示图；
[0008] 图5是示出图4的视频帧的映射的示图；
[0009] 图6是示出图4的视频帧的另一映射的示图；
[0010] 图7是不出不例视频成码过程的流程图；
[0011] 图8是操作中的示例视频成码过程的示图；
[0012] 图9是示例视频成码系统的示图；
[0013] 图10是用于操作示例视频成码系统的示例系统的示图；以及
[0014] 图11是完全根据本公开至少一些实现安排的示例系统的示图。

【具体实施方式】
[0015] 现在参考附图描述一个或多个实现。尽管讨论了特定配置和构造，然而应当理解 这样做只是为了解说目的。相关领域内技术人员应当理解，可使用其它配置和安排而不背 离说明书的精神和范围。相关领域内技术人员将显而易见，也可在本申请所描述内容以外 的多种其它系统和应用中采用本文所述的技术和/或安排。
[0016] 尽管以下描述陈述了可在诸如片上系统（SoC)架构之类的架构中出现的多个实 现，但是本文所述的技术和/或安排的实现不限于特定的架构和/或计算系统并且可由用 于类似目的的任何架构和/或计算系统所实现。例如，使用例如多个集成电路（1C)芯片 和/或封装的多种架构、和/或多种计算设备和/或诸如机顶盒、智能电话等的消费者电子 (CE)设备可实现本文所述的技术和/或安排。此外，尽管下列描述可能陈述了诸如逻辑实 现、系统组件的类型和相互关系、逻辑划分/集成选择等的诸多具体细节，但是可在不具有 此类具体细节的情况下实现所要求保护的主题。在其它实例中，诸如例如控制结构和全软 件指令序列之类的某些内容可能并未详细示出以避免模糊本文所公开的内容。
[0017] 本文所公开的内容可实现在硬件、固件、软件或它们的任意组合中。本文所公开的 内容还可被实现为存储在机器可读介质上的指令，其可由一个或多个处理器读取和执行。 机器可读介质可包括用于存储或传送机器（例如，计算设备）可读形式的信息的任何介质 和/或机制。例如，机器可读介质可包括只读存储器（ROM);随机存取存储器（RAM);磁盘存 储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号（例如，载波、红外信号、 数字信号等）等等。在另一形式中，诸如非瞬态计算机可读介质等非瞬态制品可以与上述 示例或其它示例中的任一个联用，不同之处在于它本质上不包括瞬时信号。它本质上包括 除了信号之外的可以按诸如RAM等"瞬时"方式临时保存数据的那些元件。
[0018] 在说明书中对"一个实现"、"实现"、"示例实现"等的引用表明所描述的实现可包 括特定特征、结构或特性，但不一定每个实现均包括该特定特征、结构或特性。此外，这样的 短语不一定是指同一个实现。此外，当结合一个实现描述特定特征、结构或特性时，认为在 本领域技术人员学识范围内，可以与其他实现一起实施这样的特征、结构或特性，不论本文 是否有明确描述。
[0019] 以下描述了包括使用感兴趣对象数据的对视频成码的比特率控制的系统、制品和 方法。
[0020] 经编码的比特流可使用从编码器到解码器的具有最大带宽或比特率能力的传输 路径，并且这些传输路径可以与或不与其它数据流共享。解码器也可以对比特率施加其它 限制。因此，降低视频或诸如视频会议传输等VoIP传输的比特率可以在较低带宽网络上提 供高质量视频传输或者为其它网络传输提供可用带宽。
[0021] 一种用于降低视频会议的比特率的方法包括对显示器上的诸如人脸等感兴趣对 象特征进行参数建模。参数模型提供用于渲染检测到的对象的参数。有了这些模型，编解 码器系统仅仅向接收器传送检测到的对象的基础网格或线框以及用于重建对象的参数。接 收器或解码器然后使用渲染参数来重建图像上的感兴趣对象并重新使用先前提供的背景 数据。然而，该方法受到接收器侧的特定动画能力的限制，这可导致不现实的或降级的图像 以及对象的不自然移动。
[0022] 对于许多视频或VoIP传输，诸如在视频会议期间，用户经常将他们的注意力集中 在正在前景中说话的人，而较少关注周围的背景。人眼以与用于数码相机的视场焦点概念 相似的方式运作，其中所聚焦的项目通常在清晰的焦点中，而前景和/或背景中的其它次 要项目可能是模糊的或者具有较低质量。如将在下文描述的，现在有可能通过在维持图像 中感兴趣对象的高质量图像的同时降低图像中背景的质量来传送具有较低比特率的经编 码比特流以便进行视频传输。这可以在宏块级基础上执行，其中宏块所提供的图像质量依 赖于该宏块到图像上由对象位置定义的点的距离。
[0023] 用于该系统的成码标准可以是具有高级视频编解码器（AVC)和SVC扩展（诸如 H. 264/MPEG-4AVC - SVC)等的H. 264,诸如MPEG-2或VCI等，但在所公开的视频成码系统的 情况下许多其它版本或标准可以适当地操作。高效率视频成码（HEVC)也可以与本系统中 的SVC联用。可以使用的其它标准包括来自谷歌的VP8/WebM等。
[0024] SVC是用于应对现代视频服务环境中的网络和设备的异质性的重要工具。SVC比 特流包含可以独立解码的若干子集比特流，这些子流表示具有不同分辨率、帧率、质量、位 深等的源视频内容。通过使用多层成码结构来实现可缩放性。一般而言，通常存在一个基 础层，可以首先对该基础层进行编码，然后对SVC系统中的若干增强层进行编码。本公开允 许维护高质量图像，并因此可能更适于增强层之一，但可用于包括基础层在内的任一层。可 以在单个层、所有层或仅仅特定层提供本系统，诸如允许某一最低质量图像的那些层。
[0025] 参考图1，根据本公开的至少某些实现来安排示例视频成码系统100。在各种实现 中，视频成码系统1〇〇可被配置成根据上述一个或多个标准来承担视频编码和/或实现视 频编解码器。此外，视频成码系统100能够以各种形式被实现为图像处理器、视频处理器和 /或媒体处理器的一部分，并且可承担帧间预测、帧内预测、预测性成码和/或残余预测。
[0026] 如此处所使用的，术语"成码器（coder) "可以指编码器和/或解码器。类似地，如 此处所使用的，术语"成码"可以指经由编码器编码和/或经由解码器解码。成码器、编码 器或解码器可具有编码器和解码器两者的组件。
[0027] 在一些示例中，视频成码系统100可包括为了清楚起见未在图1中示出的附加项。 例如，视频成码系统100可包括处理器、射频型（RF)收发机、显示器和/或天线。此外，视 频成码系统100可包括诸如扬声器、话筒、加速计、存储器、路由器、网络接口逻辑等为了清 楚起见未在图1中示出的附加项。
[0028] 在一些示例中，视频成码系统100可执行SVC操作。例如，示出了两个空间分辨率 层（例如，基础层10Γ和增强层101);然而，除了基础层10Γ之外还可以利用任何数量的 增强层。基础层10Γ可经由H. 264/AVC (和/或HEVC)兼容编码器来处理。与基础层相关 联的信息（例如，诸如预测模式、重构的像素等）可用于增强层101的成码。
[0029] 例如，在视频成码系统100在增强层101上操作期间，，当前视频信息可以按视频 数据帧的形式被提供给内部位深增加模块102,并由变换和量子化模块108来进行视频变 换和量子化过程。变换和量子化模块108的输出可被提供给熵成码模块109以及去量子化 和逆变换模块110。去量子化和逆变换模块110可实现变换和量子化模块108承担的操作 的逆。本领域技术人员可以认识到，如此处所使用的变换和量子化模块和去量子化和逆变 换模块可采用缩放技术。去量子化和逆变换模块110的输出可被提供给包括以下组件的 环路：去块化（de-blocking)过滤器114、样本自适应偏移过滤器116、自适应环路过滤器 118、缓冲器120、运动估计模块122、运动补偿模块124以及帧内预测模块126。如图1所 不，运动补偿模块124或巾贞内预测模块126的输出与去量子化和逆变换模块110的输出相 组合以作为对去块化过滤器114的输入。
[0030] 例如，在视频成码系统100中，当前视频帧可被提供给运动估计模块122。系统100 可以按光栅扫描次序以图像宏块（以下描述）为单位处理当前帧。当视频成码系统100以 帧间模式操作时，运动估计模块122可响应于当前视频帧和参考视频帧而生成残余信号。 运动补偿模块124然后可使用参考视频帧和运动估计模块122所提供的残余信号来生成预 测帧。
[0031] 预测帧然后被从当前帧中扣除并且结果被提供给宏块（或Μ块或MB)分配器106。 宏块分配器106可通过分成一个或多个几何宏块来划分预测帧以便进行压缩。宏块分配器 还可将宏块分配给各个片和/或定义形成宏块的更小的分块。结果可被提供给变换和量子 化模块108以生成一组量子化变换系数，这组量子化变换系数可由熵成码模块109来进行 重排序和熵成码以生成视频成码系统100所提供的经压缩比特流（例如，网络抽象层（NAL) 比特流）的一部分。在各种实现中，视频成码系统100所提供的比特流可包括除了用于对 每一块进行解码的辅助信息（例如，预测模式、量子化参数、运动向量信息等）之外的经熵 编码的系数，并且可被提供给如此处所描述的其它系统和/或设备以便传输或存储。
[0032] 变换和量子化模块108的输出还可被提供给去量子化和逆变换模块110。去量子 化和逆变换模块110可实现变换和量子化模块108承担的操作的逆，并且去量子化和逆变 换模块110的输出可以与预测帧进行组合以生成重构帧。当视频成码系统100以帧内预测 模式操作时，帧内预测模块126可使用重构帧来执行此处将不会更详细地描述的帧内预测 模式。
[0033] 以一种形式，对于H. 264/AVC标准等，宏块与多个像素（通常是16X 16)相关联。 宏块还可以是其它大小（诸如8X8)或者自身可以被进一步分成4X4或8X8块以便压缩。
[0034] 当使用HEVC标准时，宏块已经被成码单元（⑶）（也被称为大成码单元（LCR)) 替代。对于该标准，可通过分成成码树块的一个或多个片（例如，具有对应的色度样本的 64X64亮度样本）来划分当前帧以供宏块分配器106进行压缩。在四分树拆分模式中，每 一个成码树块还可以分成成码单元（CU)。此外，四分树上的每一个叶CU可被分成分区单元 (PU)以便进行运动补偿预测。在根据本公开的各种实现中，⑶可具有各种大小，包括但不 限于64x64、32x32、16xl6和8x8,而对于2Nx2N CU，对应的PU也可具有各种大小，包括但不 限于 2Νχ2Ν、2ΝχΝ、Νχ2Ν、ΝχΝ、2Νχ(λ 5N、2NxL 5Ν、0· 5Nx2N 和 L 5Nx2N。然而，应当注意，上述 只是示例CU分区和PU分区形状和大小，本公开不限于任何特定CU分区和PU分区形状和 /或大小。
[0035] 此处，术语"宏块"通常被用来意指用于成码的像素块。因此，此处的宏块对于HEVC 等可以指视频数据的CU或PU，或者对于H. 264/AVC等可以指作为视频或像素数据的分区 的8x8或16x16或其它形状的块，除非另外定义。应理解，宏块大小在每一帧上可以是统一 的，但在帧之间可以不是统一的，并且在单个帧上可以不是始终统一的。
[0036] 在各种实现中，并且对于上述两个标准，片可被指定为1(内）、P(预测）、B(双向 预测）、SP(切换P)、SI (切换I)型片，等等。一般而言，帧可包括不同的片类型。此外，帧 可被指定为非参考帧或可用作对帧间预测的参考的参考帧。在I片中，使用空间预测，并且 以一种形式，仅仅来自帧本身中的数据。在P片中，可通过估计帧之间的运动来进行时间 (而不是空间）预测。在B片中，表示每一个PU的两个运动估计的两个运动向量可用于进 行时间预测或运动估计。换言之，例如，可以从帧上的相对于B片的过去、将来或两者的片 预测B片。另外，可以从在相对于显示次序的过去或将来出现的多个图片中估计运动。在 各种实现中，可以按对应于上述大小的各种CU或PU级估计运动。
[0037] 类似地，在基础层10Γ上的视频成码系统100的操作期间，当前视频信息可以 按视频数据帧的形式提供给空间抽取或位深减小模块103,并且然后被传递至宏块分配器 106'。宏块分配器106'通过分成宏块来执行对帧的划分以便进行压缩，并且可将帧分成一 个或多个片或块或两者，并且结果可被提供给变换和量子化模块108'。变换和量子化模块 108'可执行视频变换和量子化过程。变换和量子化模块108'的输出可被提供给去量子化 和逆变换模块110'。去量子化和逆变换模块110'可实现变换和量子化模块108'执行的操 作的逆，以便向包括以下组件的环路提供输出：去块化过滤器114'、样本自适应偏移过滤 器116'、自适应环路过滤器118'、缓冲器120'、运动估计模块122'、运动补偿模块124'以 及帧内预测模块126' Z。本领域技术人员可以认识到，如此处所使用的变换和量子化模块 和去量子化和逆变换模块可采用缩放技术。如图1所示，运动补偿模块124'或帧内预测模 块126'的输出都与去量子化和逆变换模块110'的输出相组合以作为对去块化过滤器114' 的输入。
[0038] 在操作中，在解码期间，两层SVC比特流可被解复用成两个单独的比特流（例如， 基础层10Γ比特流和增强层101比特流）以便解码。基础层101'比特流可被独立解码以 重构基础层输出视频。对于基于HEVC的SVC，基础层10Γ比特流可被独立解码，而增强层 101比特流无法被独立解码以重构输出视频。增强层101比特流可以与基础层重构视频一 起解码，因为层间预测可用于某些增强层块的编码。基础层10Γ重构视频可以在被应用于 层间预测之前处理。可选地执行对针对空间可缩放性上采样的图片的附加操作、用于位深 可缩放性的图片色调映射、用于交织渐进可缩放性的去交织、或者某个其它种类的处理。
[0039] 如将在下文更详细地描述的，本公开提供了用于本系统的多个可能的实现。在视 频成码系统100 (图1-2)的情况下，比特率控制可由可集成特定映射任务的视频速率控制 器150来执行。视频速率控制器150可被认为是编码器的一部分或者可以是与编码器分开 或远离编码器的。或者，视频成码系统300(图3)具有映射控件302,该映射控件在视频速 率控制器310外部或远程执行特定任务，然后将数据传送到视频速率控制器310以便降低 比特率。视频速率控制器310可以是或不是编码器308的一部分。构想许多其它组合和示 例。
[0040] 参考图1-2,视频速率控制器150可接收视频帧数据，并且可以通信地连接到宏块 分配器106和106'以及变换和量子化模块108和108'。虽然视频速率控制器150被示为 改变基础层10Γ和增强层101两者的比特率，视频速率控制器150可以只对一层、对至少 一层、对多个特定层或所有层起作用。视频速率控制器150改变正在编码的视频数据的比 特率以便为所得的经编码比特流提供较低的比特率。
[0041] 一般而言，视频速率控制器150确定形成帧或图像的宏块中的哪一些也显示图像 中的诸如脸部等感兴趣对象的至少一部分。视频速率控制器150还确定那些宏块显示诸如 背景的一部分等非对象图像的部分。如此处所使用的，术语"背景"可以指视频图像中的未 被定义为感兴趣区域或对象（或被简称为非对象）且不引起用户的密切关注的区域。背景 可包括位于所确定的感兴趣对象的后面或前面（例如，前景）的图像部分。这与引起用户 关注的对象或感兴趣对象形成对比。显示背景且在一种形式中仅仅显示背景或非对象的宏 块由指示从该宏块到相对于对象定义的点（诸如对象的中心点）的距离的水平来映射或标 记。用于非对象宏块的图像数据然后可依据宏块的水平来减少。在一种形式中，这可通过 使用QP缩放因子或内容知晓过滤器或两者来执行。
[0042] 关于这些方法以及视频成码系统100或300的其它方面的附加和/或替换细节可 以在以下参考图2-6更详细地讨论的一个或多个示例实现中示出。如以下将更详细讨论 的，视频成码系统100可用于执行以下结合图7和8讨论的多种功能中的部分或全部。
[0043] 参考图2,在一种示例形式中，视频成码系统100的层101和10Γ中的任一个或 两者可具有逻辑模块200。某些逻辑模块可被包括在视频速率控制器150中。视频速率控 制器150可具有对象检测模块252、宏块水平图生成器模块（或MB级生成器或简称为生成 器）254、内容知晓过滤器256和/或量子化参数（QP)控制模块258。对象检测模块252和 宏块水平图生成器254可以分别连接或通信地或操作地耦合到图像数据202和宏块分配器 模块106 (或106'）。内容知晓过滤器256和QP控制模块258连接或通信地或操作地耦合 到变换和量子化模块108 (或108'）。
[0044] 参考图3,在一个示例替代配置中，单独的映射控件302提供对象检测模块252和 宏块水平图生成器模块254,而不是视频速率控制器。在该示例中，编码器308包括具有内 容知晓过滤器模块256和/或QP控制模块258的视频速率控制器310。映射控件302还可 包括图像捕捉设备304或可以与图像捕捉设备306通信。在一种形式中，映射控件302可 以是或者可以链接到相机，诸如网络摄像头或其它数字或模拟相机或摄像机。在一些示例 中，视频数据可经由网络摄像头传感器等来捕捉（例如，互补金属-氧化物半导体图像传感 器（CMOS)或电荷耦合器件图像传感器（CCD))，而不使用红-绿-蓝（RGB)深度相机和/或 话筒阵列来定位谁正在说话。在其它示例中，作为网络对摄像头传感器的补充或替换，可使 用RGB深度相机和/或话筒阵列。许多不同类型的相机可以与此处描述的本系统联用。
[0045] 对于视频成码系统300,映射控件302可以与同一设备中同一编码器内或作为其 一部分的视频速率控制器310分开，诸如具有照片或视频捕捉能力的相机或设备。作为另 一替代实施例，映射控件302可以位于视频控制器310和编码器308的远程。在这些情况 下，宏块水平以及对应的图像数据可被传送到视频速率控制器310或者以其它方式变得对 于视频速率控制器310是可访问的，这些宏块水平以及对应的图像数据可以被或不被存储 在诸如服务器或其它网络设备处的存储器等其它地方。否则，水平图和比特率降低与以下 描述的系统100执行的相同或相似地操作。
[0046] 再次参考图2,更详细地，图像数据202接收至少包括关于每一个像素的亮度和色 彩的细节的图像数据帧。图像数据最初可以从此处描述的图像捕捉设备接收，或者可包括 来自量子化模块并经由过滤器、运动和/或预测环路204的循环数据，以添加例如预测帧的 编码。每一帧（也被称为图像或图片）可以包括或不包括具有诸如关于视频会议的脸部等 对象或感兴趣对象和背景的图像。然而，将会理解，系统100或300可以在图像包括除了脸 部之外的对象（诸如动物、机器，诸如车辆等）的情况下并因此在许多不同的对象是可能的 焦点的情况下操作。对于H. 264/AVC示例，图像数据然后被传送到对象检测模块252和宏 块分配器106。宏块分配器106可将巾贞分成8x8、16x16或其它大小的宏块以及其它分区，以 便进行更高效的编码。
[0047] 参考图4,对象检测模块252检测或跟踪对象并确定是否可以在每一帧I_in中 找到一个或多个对象，并且如果是，则检测该帧中的一个或多个对象的僵化或捕捉到的位 置。在一些示例中，将脸部检测为对象可包括至少部分地基于Viola-Jones型框架的检 测（参见例如 Paul Viola、Michael Jones 的 Rapid Object Detection using a Boosted Cascade of Simple Features (使用提升的简单特征级联的快速对象检测），CVPR2001和/ 或 Yangzhou Du、Qiang Li 的 2010 年 12 月 10 日提交的题为 TECHNIQUES FOR FACE DETECTION AND TRACKING(用于脸部检测和跟踪的技术）的PCT/CN2010/000997)。这些脸部检测技术 可允许相对累积，以包括脸部检测、陆标检测、脸部对准、微笑/眨眼/性别/年龄检测、脸 部识别、检测两个或更多脸部等。存在检测脸部和其它对象的许多其它示例，并且本对象检 测模块252可使用这些示例。
[0048] 在所示示例中，帧或图像400包括矩形404中标记的对象402。为了确定和设置对 象在一种示例形式的图像400中的排列或位置，对象检测模块252可将矩形的左上角指派 为（ Xi，yi)，且该对象的大小可包括如由矩形表示的对象的宽度（指派为^)和对象的高度 (指派为h)。对于不规则形状的对象，（ Wi，可测量该对象的最大维度，但构想其它维度 (诸如平均宽度和高度）。将理解，存在定义可以在此处使用的对象的位置的许多其它不同 的方式。如由等式（1)示出的检测到的一个或多个对象〇i的位置数据可被提供给宏块水 平图生成器254:
[0049] 0 - {〇" 〇2，· · · oM} - {(xi, Yi, w1； hj), (x2, y2, w2, h2), . . . (xji，Ym，wm, hM)} (1)
[0050] 其中等式（1)中的M是图像I_in内的感兴趣对象的数量。
[0051] 宏块水平图生成器254或其它模块然后可计算点P相对于对象位置的位置。该点 可以是由矩形的中心表示的对象的中心点，或者对于例如非对称或不规则形状可以是考虑 对象区域的确切位置的对象或矩形的质心。存在关于使用哪一点（诸如外边界点或对象或 矩形的角等）的许多其它示例，并且在一个示例中，可以使用任何点，只要对于整个帧中的 宏块持续使用该点。当单个帧中存在多个对象时，可确定该组对象（此处被称为全体）的 单个中心点或质心以便进行比特率控制。在所示示例中，一个或多个对象的中心点的位置 c。= (X。，y。）可通过下式来确定：

【权利要求】
1. 一种用于视频成码的计算机实现的方法，包括： 接收指示在要显示的图像上至少一个对象的位置的图像数据； 确定形成所述图形的至少一部分且与所述对象的位置相关的多个宏块中的各个宏块 的位置；以及 由视频编码器至少部分地依据宏块中的至少一个相对于所述对象在所述图像上的位 置的位置，来调整由所述至少一个宏块提供的图像部分的质量。
2. 如权利要求1所述的方法，其特征在于，包括确定哪些宏块是不形成所述对象的一 部分的非对象宏块，并且其中调整包括调整所述非对象宏块的图像质量。
3. 如权利要求1所述的方法，其特征在于，调整包括至少部分地依据从宏块到相对于 所述对象定义的点的距离来调整对应于该宏块的图像部分的质量。
4. 如权利要求1所述的方法，其特征在于，调整包括至少部分地依据从宏块到所述对 象的中心点和质心中的至少一个的距离来调整所述图像部分的质量。
5. 如权利要求1所述的方法，其特征在于，包括将所述多个宏块中的各个宏块与多个 水平中的至少一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离 相关联。
6. 如权利要求1所述的方法，其特征在于，包括将所述多个宏块中的每一个与多个水 平中的至少一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离相 关联，并且其中提供用于标记非对象宏块的至少两个水平。
7. 如权利要求1所述的方法，其特征在于，包括将所述多个宏块中的每一个与多个水 平中的至少一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离相 关联，并且其中至少一个水平被置于具有所述对象的外边界的宏块附近，并且至少一个其 它水平与显示所述对象的宏块隔开。
8. 如权利要求1所述的方法，其特征在于，调整包括调整用于减少与宏块相关联的比 特数的过滤强度。
9. 如权利要求3所述的方法，其特征在于，调整包括设置用于计算分配给宏块的量子 化参数（QP)的缩放因子。
10. 如权利要求1所述的方法，其特征在于，调整质量至少部分地依据从至少一个宏块 到所述图像上的对象组的中心点的距离。
11. 如权利要求1所述的方法，其特征在于，所述对象是人脸。
12. 如权利要求1所述的方法，其特征在于 包括确定哪些宏块是不形成所述对象的一部分的非对象宏块，并且其中调整包括调整 所述非对象宏块的图像质量， 其中调整包括至少部分地依据从宏块到相对于所述对象定义的点的距离来调整对应 于该宏块的图像部分的质量， 其中调整包括至少部分地依据从宏块到所述对象的中心点和质心中的至少一个的距 离来调整所述图像部分的质量， 包括将所述多个宏块中的各个宏块与多个水平中的至少一个相关联，每一个水平与离 相对于所述对象定义的点的至少一个不同距离相关联， 其中提供用于标记非对象宏块的至少两个水平， 其中至少一个水平被置于具有所述对象的外边界的宏块附近，并且至少一个其它水平 与显示所述对象的宏块隔开， 其中调整包括调整用于减少与宏块相关联的比特数的过滤强度， 其中调整包括设置用于计算分配给宏块的量子化参数（QP)的缩放因子， 其中调整质量至少部分地依据从至少一个宏块到所述图像上的对象组的中心点的距 尚，并且 其中所述对象是人脸。
13. -种用于在计算机上进行视频成码的系统： 显示器； 通信地耦合到所述显示器的至少一个处理器； 通信地耦合到所述处理器的至少一个存储器； 通信地耦合到所述处理器的宏块水平图生成器，被配置成： 接收指示在要显示的图像上至少一个对象的位置的图像数据，以及 确定形成所述图形的至少一部分且与所述对象的位置相关的多个宏块中的各个宏块 的位置；以及 通信地耦合到所述处理器的视频速率控制器，视频速率控制器被配置成至少部分地依 据宏块中的至少一个相对于所述对象在所述图像上的位置的位置来调整由所述至少一个 宏块提供的图像部分的质量。
14. 如权利要求13所述的系统，其特征在于，所述宏块水平图生成器被配置成确定哪 些宏块是不形成所述对象的一部分的非对象宏块，并且其中所述视频速率控制器被配置成 调整所述非对象宏块的图像质量。
15. 如权利要求13所述的系统，其特征在于，所述视频速率控制器被配置成至少部分 地依据从宏块到相对于所述对象定义的点的距离来调整对应于该宏块的图像部分的质量。
16. 如权利要求13所述的系统，其特征在于，所述视频速率控制器被配置成至少部分 地依据从宏块到所述对象的中心点和质心中的至少一个的距离来调整所述图像部分的质 量。
17. 如权利要求13所述的系统，其特征在于，所述宏块水平图生成器被配置成将多个 宏块中的各个宏块与多个水平中的至少一个相关联，每一个水平与离相对于所述对象定义 的点的至少一个不同距离相关联。
18. 如权利要求13所述的系统，其特征在于，所述宏块水平图生成器被配置成将多个 宏块中的各个宏块与多个水平中的至少一个相关联，每一个水平与离相对于所述对象定义 的点的至少一个不同距离相关联，并且其中提供用于标记非对象宏块的至少两个水平。
19. 如权利要求13所述的系统，其特征在于，所述宏块水平图生成器被配置成将所述 多个宏块中的各个宏块与多个水平中的至少一个相关联，每一个水平与离相对于所述对象 定义的点的至少一个不同距离相关联，并且其中至少一个水平被置于具有所述对象的外边 界的宏块附近，并且至少一个其它水平与显示所述对象的宏块隔开。
20. 如权利要求13所述的系统，其特征在于，所述视频速率控制器被配置成至少部分 地通过调整用于减少与宏块相关联的比特数的过滤强度来调整所述图像质量。
21. 如权利要求13所述的系统，其特征在于，所述视频速率控制器被配置成至少部分 地通过设置用于计算分配给宏块的量子化参数（QP)的缩放因子来调整所述图像质量。
22. 如权利要求13所述的系统，其特征在于，所述视频速率控制器被配置成至少部分 地依据从至少一个宏块到所述图像上的对象组的中心点的距离来调整所述图像的质量。
23. 如权利要求13所述的系统，其特征在于，所述宏块水平图生成器确定哪些宏块是 不形成所述对象的一部分的非对象宏块。 其中所述视频速率控制器被配置成调整所述非对象宏块的图像质量， 其中所述视频速率控制器被配置成至少部分地依据从宏块到相对于所述对象定义的 点的距离来调整对应于该宏块的图像部分的质量， 其中所述视频速率控制器被配置成至少部分地依据从宏块到所述对象的中心点和质 心中的至少一个的距离来调整所述图像部分的质量， 其中所述宏块水平图生成器被配置成将多个宏块中的各个宏块与多个水平中的至少 一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离相关联， 其中所述宏块水平图生成器被配置成将多个宏块中的各个宏块与多个水平中的至少 一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离相关联， 其中提供用于标记非对象宏块的至少两个水平， 其中至少一个水平被置于具有所述对象的外边界的宏块附近，并且至少一个其它水平 与显示所述对象的宏块隔开， 其中所述视频速率控制器被配置成至少部分地通过调整用于减少与宏块相关联的比 特数的过滤强度来调整所述图像质量， 其中所述视频速率控制器被配置成至少部分地通过设置用于计算分配给宏块的量子 化参数（QP)的缩放因子来调整所述图像质量， 其中所述视频速率控制器被配置成至少部分地依据从至少一个宏块到所述图像上的 对象组的中心点的距离来调整所述图像的质量，并且 其中所述对象是人脸。
24. -种设备，包括： 用于执行如权利要求1-12中的任一项所述的方法的装置。
【文档编号】H04N19/176GK104219524SQ201410235369
【公开日】2014年12月17日 申请日期:2014年5月29日 优先权日:2013年5月30日
【发明者】彭雅蒂, 邱怡仁, 江宏 申请人:英特尔公司