用于管理视频流播的技术的制作方法
【专利摘要】设备可包含存储视频帧的存储器、处理器电路、和选择性编码部件，该选择性编码部件用于在处理器电路上的执行来执行视频帧的选择性编码，该选择性编码将视频帧分类为主要对象区域和背景区域，并且以第一质量级别编码主要对象区域并以背景质量级别编码背景区域，第一质量级别包括比背景质量级别高的质量级别。
【专利说明】用于管理视频流播的技术
【技术领域】
[0001]本文描述的实施例通常涉及图像处理，并且更特别地涉及视频流播。
【背景技术】
[0002]由于数据存储能力、处理器能力和通信基础结构已经得到提升，因此跨通信网络(例如，因特网和移动无线网络)的视频流播已经变得普遍存在。应用(例如，运动事件、视频会议的实况流播、以及其它实时流播应用)正在变得越来越流行。此外，录制的内容(例如，电影和用户生成的视频)的视频流播也正在变得越来越流行。
[0003]由于表示视频帧所需的大的数据量和帧速率(其可超过每秒24帧)，大多数这样的应用消耗很大的带宽。已经观察到的一个技术趋势是视频流播的使用需求超过数据网络(例如，因特网和无线网络冲的带宽增长。此外，在这样的网络上的带宽可以按不可预料的方式波动。
[0004]由于带宽限制，视频流播应用可能在视频流播期间经历帧损耗、缓冲或抖动。另一方面，一些现代应用可响应于低的带宽状况而自动地降低正在流播的视频内容的分辨率以便减少数据率。在所有这些示例中，视频流播应用可能无法在视频流播期间给予可接受的用户体验。
[0005]关于这些和其它考虑，需要本改进。
【专利附图】
【附图说明】
[0006]图1描绘根据各实施例的用于流播视频的一个布置。
[0007]图2示出与各实施例一致的用于操作设备的布置。
[0008]图3示出与附加实施例一致的用于操作设备的布置。
[0009]图4示出与附加实施例一致的用于操作设备的另一布置。
[0010]图5描绘选择性编码部件的一个实施例。
[0011]图6A到图6C描绘与本实施例一致的视频流播的选择性编码的一个示例。
[0012]图7A-图7E图示根据另外的实施例的生成选择性编码的视频流的一个示例。
[0013]图8A-图8C描绘与各实施例一致的选择性编码的视频内容的解码的场景。
[0014]图8D描绘在非选择性编码之后的视频帧解码的示例。
[0015]图9A-图9D图示主要对象区域和背景区域的示例。
[0016]图1OA到图1OC描绘视频流播的动态选择性编码的一个场景。
[0017]图11描绘示范性第一逻辑流程。
[0018]图12描绘示范性第二逻辑流程。
[0019]图13图示一个系统实施例。
[0020]图14图示另一系统实施例。
[0021]图15图示根据本公开的实施例来安排的示例装置。【具体实施方式】
[0022]本实施例提供改进的视频流播，并且特别地通过选择性编码视频内的感兴趣的对象来增强流播的视频图像的质量。这样的感兴趣的对象可分类为图像质量在流播的视频中被保持的对象区域，并且组成流播的视频的视频帧的其它部分可不那么重要并且因此可与主要对象区域不同地编码。在本文中，术语“质量”和“图像质量”同义地用来指代在视频帧的一部分的编码之前、编码期间和解码之后的那部分的信息内容的级别或分辨率。因此，以较高质量编码的视频帧的一部分可保持更多的信息并且在解码之后可呈现比较低质量部分更清晰的图像。此选择性编码允许以总体较低的数据率流播视频，并且保持视频的重要部分(本文将其称作“主要对象区域”)的质量。特别地，主要对象区域可组成对应于示出当呈现在显示器上时由视频帧产生的场景内的感兴趣的区域或一个或多个对象的像素的集合的视频帧的一部分。在一些实施例中，可选择流播的视频的选择性编码部分来简单地减少用于传送视频内容的数据率，即使是带宽可用于以与高的图像质量一致的数据率来流播视频帧的所有部分。在其它实施例中，可基于可用的带宽不足的确定来触发在视频流播期间的选择性编码。
[0023]可变化来改变图像质量的质量特征的一些示例包含用于视频帧的图像部分的传送的位速率；在块运动补偿中使用的宏块的大小；使用或不使用可变块运动补偿来编码图像帧的不同部分；与有损压缩相反的无损的使用、以及其它特征。实施例不限于此情境。因此，在一个场景中，可以用比以相对低的图像质量编码的可比较大小的背景区域更多的位来编码以相对较高的图像质量编码的主要对象区域。在另一场景中，可以用无损压缩来编码主要对象区域，并且用有损压缩来编码背景区域。例如，可减少经受有损压缩的背景区域的色彩空间来只反映视频图像的最常用色彩，而在压缩期间不减少主要对象区域的色彩空间。
[0024]一些实施例包括使用由图形硬件找到或利用的面部检测引擎来在低带宽场景期间确定视频帧中的感兴趣的区域。然后，用较高质量来编码组成主要对象区域的感兴趣的区域并且用较低质量来编码视频帧的剩余部分。这可包括根据编码的部分要接收较高质量的编码或较低质量的编码来变化前述质量特征中的一个或多个。
[0025]本实施例的一些优势(除了任何实施例的必要特征)包含例如在带宽可限制用于流播视频内容的位速率的网络边界的情况下的视频会议设置中的改进的用户体验。本实施例也可在不是网络边界的情况下提供改进的用户体验，其中视频流播应用可采用可用的带宽来用比视频帧的剩余部分高得多的质量来编码面部的感兴趣的区域或对象。其它实施例包括对象检测，其中视频中的任何对象或区域可以被识别并且以相较于视频帧的其它区域较高或高得多的分辨率来编码。
[0026]作为背景，在当前技术中，借助包含编码和解码携带视频内容的数字数据的编解码器的部件来在源与目的地或接收器之间流播视频。现代编解码器被设计为在“全局”级别上编码视频帧，其中对于图像中的所有像素，编码性质是预定的。因此，当可用的带宽将数据流速率限制于不足以用给定质量级别来流播视频帧的速率时，整个视频帧按较低的质量级别来编码以满足受限的带宽要求。
[0027]本实施例可通过提供选择性编码来改进上述方式，其中视频帧的不同部分被优先化，以使不同部分的编码生成给出比其它部分高的较高优先级的部分的质量。因此，代替均匀退化的视频图像，向用户呈现选择性保持可具有更多信息或用户更感兴趣的图像的部分(这相较于用较低质量呈现的不太感兴趣的其它部分而言)的图像质量的视频图像。
[0028]如随后的图中详细说明的，本实施例可增强在不同的使用场景(包含实时单向视频流播、实况视频会议、双向实况视频通信和预录制的内容的流播，举出一些示例)中的视频流播体验。
[0029]图1描绘根据各实施例的用于流播视频的一个布置100。设备102起到流播视频内容的源或发送者的作用。设备102包含用于一般处理的处理器电路(示出为CPU 104)、以及图形处理电路(示出为图形处理器106)和存储器108。设备102也包含选择性编码部件110，其操作在下文中详述。设备102可从外部源接收视频内容112或视频内容可在本地存储在设备102中(例如在存储器108中)。视频内容112可由选择性编码部件110处理并且作为由接收装置(未示出)使用的选择性编码的视频流114输出。如接下来的图中详述的，接收装置可以是接收预录制的视频内容的一个或多个客户端装置，可以是从事双向视频会话的对等体装置，可以是与视频会议连接的装置或多个装置，或可以是接收由设备102提供的实况视频流的一个或多个装置。实施例不限于此情境。
[0030]与本实施例一致，设备(例如设备102)可配置为采用两个或者更多不同的模式流播视频。在一个示例中，当带宽充分时，可用标准速率来流播视频以使视频巾贞遍及整个视频帧(即，在所有像素中)呈现高质量图像，其中“高质量”表示在视频帧中呈现的图像的第一质量级别。当触发事件时(例如，接收指示低的带宽的消息或信号，或做出带宽是低的或受限的其它确定)，设备102可通过如下详述地选择性编码视频来开始流播视频。在选择性编码期间，可以用相较于标准速率的总体较低的数据率(位速率)来流播视频。此外，表示主要对象区域的选择性编码的视频流的部分可以用较好级别接收编码，它以高于视频帧的其它区域中的级别来维持与对象关联的视频帧中的像素的质量。该视频帧的其它区域被编码来生成显示这些区域的像素中的较低质量，以使用于生成这些视频帧的其它区域的数据率得以降低。注意，在接下来的描述中，术语“主要对象区域”可用于指代视频帧的单个邻接区域或可指代被划分为主要对象的视频帧的多个单独的区域。类似地，“背景区域”可用于指代视频帧的单个邻接区域或可指代被划分为在主要对象区域之外的视频帧的多个单独的区域。
[0031]图2示出与各实施例一致的用于操作设备102的布置200。在此布置200中，设备102配置为接收信号202，其指示设备102选择性地编码要从设备102流播的视频内容。信号202可以是当存在低带宽状况时触发的消息或数据，以使将不进行以标准位速率流播来自设备102的视频(其中视频帧遍及整个视频帧呈现高质量图像)。在一些实施例中，选择性编码部件110可配置为当带宽低于带宽阈值时执行选择性编码。响应于信号202，可加载视频内容204以便由选择性编码部件110处理，该选择性编码部件110生成选择性地编码的视频流206。
[0032]选择性编码部件110可包括各种硬件元件、软件元件或两者的组合。硬件元件的示例可包含装置、部件、处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片组等等。软件元件的示例可包含软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件界面、应用程序界面(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或任何其组合。确定实施例是使用硬件元件和/或软件元件实现可根据任何数量的因素来变化，这些因素例如可以是如给定实现所希望的所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度和其它设计或性能约束。
[0033]图3示出与附加实施例一致的用于操作设备102的布置300。在此布置300中，设备102配置为加载预录制的视频内容304用于由选择性编码部件110处理，该选择性编码部件110生成编码的视频流306。当客户端或接收装置302与设备102通信来选择视频内容304用于流播时，可生成编码的视频流306。在一些变形中，设备102可动态地变更用于编码的视频流306的视频内容的编码(例如在视频内容304的流播期间)，编码的视频流306的某些部分被非选择性编码而编码的视频流306的其它部分被选择性编码。例如，视频内容304可以是预录制的电影。在流播的某些时期期间，电影带宽状况可以使得编码的视频流306遍及整个视频帧以均匀的高质量流播。在其它时期期间，减少的带宽状况可触发在每个视频帧的背景部分中要采用减少的质量来流播编码的视频流306，而在视频帧内的主要对象区域中保持较高质量。
[0034]图4示出与附加实施例一致的用于操作设备102的另一布置400。在此布置400中，设备402配置为将编码的流播视频408发送到设备404并且从设备404接收编码的流播视频410。编码的流播视频408可从视频内容406生成。在一些实例中，编码的流播视频408的传送可与接收编码的流播视频410同时发生。特别地，编码的流播视频408可至少部分取决于带宽状况来选择性地编码。在一些实施例中，编码的流播视频410也可至少部分取决于带宽状况来选择性编码。
[0035]在各实施例中，选择性编码部件可包含分类器部件，其配置为关于包含在视频帧的部分中的内容而识别或认出那些部分，并且可基于该识别来分类视频帧的不同部分。因此，可以关于该部分呈现图像的背景或前景、或其它感兴趣的区域来识别和/或分类那些部分。可识别描绘人面部的部分，可识别描绘人体轮廓的部分，等等。选择性编码部件还可包含编码器引擎，其基于来自分类器部件的输入而有差异地编码视频帧的不同部分。
[0036]图5描绘选择性编码部件502的一个实施例，其包含对象分类器504和差异化编码器(differential encoder) 506。如所图示的,视频巾贞508被加载到对象分类器504,该对象分类器504可采用一个或多个不同的过程来识别并且分类视频帧508的部分。例如，视频帧可包含位于户外设置中的人。对象分类器504可识别作为描绘感兴趣的对象的(例如图像的前景或面部)视频帧508的一个或多个区域。对象分类器504可将视频帧508的其它部分分类为背景。此信息可被转发到差异化编码器506，例如，它可不同于与视频帧508中的背景关联的数据地处理与在视频帧508中描绘的面部关联的数据。例如，在传送视频帧的准备期间，与面部部分关联的数据可经历比应用于背景部分的压缩更少的压缩。换句话说，由表示压缩的面部部分的位与用来原始地表示未压缩的面部部分的位的比率所定义的第一比率可高于由表示压缩的背景部分的位与用来表示未压缩的背景部分的位的比率所定义的第二比率。
[0037]选择性编码部件502的输出是选择性编码的视频帧510，其可包含两个或者更多编码的图像部分，其中差异化编码的图像部分中的至少两个部分被不同地编码。选择性编码的视频帧510还可包含识别每个编码图像在被传送的视频帧中属于哪里的位置信息。要注意，编码的视频帧(例如，选择性编码的视频帧510)的两个或者更多编码的图像部分不需要一起传送或以特定次序传送，只要传送识别编码的图像部分所属于的视频帧和其在那个视频帧内的位置的信息即可。在一些实例中，图像部分可作为单独的子帧来编码并且传送。
[0038]在一些实施例中，对象分类器504可将视频帧的前景区域分类为与背景区域分开的主要对象区域。可通过采用传统的技术(采用图像内的时间相似性)而自动地执行此分类。在其它实施例中，视频帧的覆盖图形可被分类为主要对象区域。例如，选择性编码部件可使用将覆盖图形添加到视频(例如，流播运动视频)的传统应用来提取包含覆盖图形的视频帧的区域。在一些实例中，覆盖图形应用可直接生成此信息或可采用传统的“帧差别”方法来检测视频帧的覆盖图形部分，这是由于覆盖图形部分在一连串视频帧内是相对静态的。
[0039]在另外实施例中，对象分类器504可采用其它传统的追踪方式(例如应用)或用来隔离传送运动事件的视频内的个体。例如，隔离的个体可分配为要以较高质量编码的主要对象区域。
[0040]在另外的其它实施例中，关于视频帧的什么部分组成主要对象区域的分类可以基于与所流播的视频的用户交互。特别地，对象分类器504可接收指示例如采用从选择性编码部件502接收视频的装置的用户的实时用户行为等用户行为的信号。例如，位于用户的视场的外围的视频帧的区域可被分类为背景区域。在特定实施例中，用户眼睛运动可被追踪并且反馈到对象分类器来确定实时用户外围区域的此信息随后由差异化编码器506以较低质量来编码。
[0041 ] 在另外的其它实施例中，对象分类器504可从接收装置接收指示用户不再观看由包含选择性编码部件502的装置所流播的视频的信号。例如，如果用户被检测为离开正在接收所流播的视频的装置，或用户已经选择该装置上的不同应用，则对象分类器504可完全停止流播包含视频和音频内容的“视频”媒体的视频帧。反而，只有“视频”的音频部分可被流播到接收装置。
[0042]图6A到图6C描绘与本实施例一致的视频流播的差异化编码的一个示例。在图6A中示出单个视频帧602。视频帧602图示为它可呈现在合适的显示器上。在一个场景中，视频帧602可以是在事件(例如，在两个或者更多位置之间的视频会议中)的实况流播期间所流播的视频内容的一部分，或备选地视频内容可形成经由因特网流播的实况视频的一部分。因此，描绘与图6A中示出的视觉内容类似的视觉内容的视频帧602和一连串视频帧可从发送装置(例如设备102)流播到一个或多个接收装置。在这样的情境中，在某些情况下(例如低带宽状况)，可变得有必要用不足以用高质量级别全部传送每个视频帧的数据率来流播视频604 (视频帧602形成该视频604的一部分)。因此，可由选择性编码部件处理视频帧602以便以可保持视频帧602的特定部分的较高质量的方式来编码视频帧。
[0043]如在图6B中所描绘的，可由配置为执行面部识别以便识别图像内的面部的对象分类器来分析视频帧602的内容。在各实施例中，面部检测可实现在Intel? (Intel是英特尔公司的商标)图形处理器，其包含多个图形执行单元(例如16或20个执行单元)来实现面部检测。实施例不限于此情境。在例如视频会议等场景中，由于参与者的面部可被视为组成要传送的图像的重要部分，因此面部可优先用于较高质量编码。在一个示例中，面部检测引擎可组成嵌入图形部件(例如，图形加速器)的固件。可采用面部检测引擎来隔离被视为描绘面部的视频帧的一个或多个区域。
[0044]在图6B中，识别对应于视频帧的一部分的单个面部区域606 (其包含面部或面部的至少一部分)。视频帧602的区域608 (其位于面部区域606的外部)可被视为非面部区域或背景区域。
[0045]现在转到图6C，可识别视频帧602内的每个区域的坐标以使可不同地编码每个区域的内容。例如，面部区域606的内容610可作为编码的视频部分614输出，而区域608的内容612作为编码的视频部分616输出。编码的视频部分614可被编码来生成比编码的视频部分616较高的质量的图像。因此，从视频帧602生成的编码的视频帧内容618可因此包含编码的视频部分614、616，以及其它信息，例如，识别要由接收装置构造的视频帧内的每个编码的视频部分614、616的位置(坐标)的信息。
[0046]在各实施例中，可由包含视频运动估计引擎的Intel?图形处理器结合编码器来实现用于生成编码的视频帧内容的选择性编码来最优化选择性编码。视频运动估计引擎可促进更快速的编码并且因此有利于要以较高质量执行编码的区域(其可要求更多计算资源)。特别地，当编码器被告知面部区域606时，编码器可利用视频运动估计引擎来集中在面部区域606上而不在区域608上。由于视频运动估计引擎可在编码期间消耗相对较高的功率，因此选择性编码过程还可引起能量较高效的编码过程。这是因为视频运动估计集中在要以较高质量级别编码的区域(如在图6A-图6C的示例中，它可只占有视频帧的一小部分)上的事实。因此，视频帧的大部分可要求由视频估计引擎的很少处理。
[0047]图7A-图7E图示根据另外的实施例的生成选择性编码的视频流的一个示例。在图7A中，示出在选择性编码之前的视频帧702的表示。视频帧702包含第一只猫和第二只猫以及背景部分的描绘。在传统的处理期间，可处理视频帧702以使用类似方式来编码视频帧的所有部分。当通过选择性编码部件在视频帧702上执行选择性编码时，根据视频帧702的像素或区域的信息内容对图7A中描绘的图像所贡献的重要性或级别来对它们分类。如在图7B中图示的，例如，区域704和706被识别为前景或主要对象区域，其分别描绘第一只猫和第二只猫。在此示例中，区域704和706彼此分开以使它们的相应像素不邻接另一区域的像素。因此，可单独地编码每个区域704、706。可通过采用用来流播视频帧702的应用的任何合适的编解码器来执行此编码。由于区域704、706被确定为主要对象区域，因此以当在传送之后解码时保持区域704、706的较高质量的方式来执行它们的编码。
[0048]此外，选择性编码部件可生成位置信息，该位置信息向解码器识别位于呈现视频帧702的图像的解码的视频帧内的每个区域704、706的位置。在一个实现中，位置信息可包含每个区域704、706的左上像素的坐标。
[0049]在各实施例中，选择性编码部件可生成多个编码的子帧以便发送到接收装置，其中第一子帧包含主要对象区域并且第二子帧包含背景区域。图7B描绘包含区域704和706的子帧703的一个图示。子帧703的位于区域704、706外部的部分可采用被视为对于所选择的压缩算法高效的任何模式来编码。在一些实现中，编码可以是纯色。例如，如果图像包含大部分的红色，则可选择纯红色用于编码。纯黑色编码的图7B中的图示只是为了说明的目的。[0050]转到图7C，图示背景区域708的识别，它与区域704、706接壤。如所图示的，背景区域708组成视频帧702的一部分，其中空白区域710、712对应于相应区域704、706并且不包含信息。可以用压缩背景区域708的方式编码来发送背景区域708，以使每个像素需要更少数据来传送背景图像(相较于区域704、706的编码)。这可引起当传送并且解码时背景区域708的较低图像质量。
[0051]转到图7D，示出对应于区域704、706的选择性编码的区域720、722的表示，如提到
的，它们在编码之后保持较高的图像质量。
[0052]在图7E中示出包含位屏蔽714的子帧715，除以上提到的视频的选择性编码的部分以外，还可生成并且传送位屏蔽714到解码器。位屏蔽714可起到参考的作用来指示数据帧的哪些像素属于数据帧的背景。然后，选择性编码部件可压缩并且发送子帧715，该子帧715包含相应选择性编码的区域720、722、位屏蔽714用于接收。此外，可发送选择性编码的背景区域(未示出)，以便由接收装置接收，该接收装置与执行选择性编码的发送装置通信。
[0053]图8A-图8D描绘与各实施例一致的选择性编码的视频内容的解码场景。继续图7A-图7E的示例，可如下接收与视频帧702关联的视频内容。可由接收装置的解码器接收选择性编码的区域720、722。图8A描绘对应于选择性编码的区域720的解码区域804以及对应于选择性编码的区域722的解码区域806。由于选择性编码的区域720、722以保持较高图像质量的方式来编码，因此解码区域804、806可表示比再现原始背景区域708的解码的背景区域更接近的视频帧702的区域704、706。如图SB所示，解码的背景区域808 (用空白区域810、812示出)可具有比原始背景区域708较低的质量。使用与选择性编码的区域720、722 —起提供的选择性编码的区域720、722的位置信息，解码器可重建解码的视频帧814，如图SC所示。编码的视频帧814包含较低质量的背景区域、解码的背景区域808以及表示前景或动物的较高质量的区域(即，解码区域804、806)。这允许观察者意识到解码的视频帧814包含对应于观察者比其它区域可能更感兴趣的对象的较高质量区域。
[0054]与此相反，图8D图示非选择性编码和解码的视频帧(即，基于视频帧702的视频帧816)的示例。如所图示的，图像的质量遍及整个视频巾贞均勻退化。
[0055]虽然描绘选择性编码的以上图图示了前景或主要区域具有常规块的形状的示例，但是在各实施例中这样的前景或主要区域可具有更复杂的形状。该情况的示例在图9A-图9D中图示。在图9A中，示出描绘在运动事件期间的实例的视频帧902。在图9B中，对象分类器已经识别前景区域903、904、905、906、907，它们中的每个包含人体轮廓并且可被视为主要对象区域。在图9C中，图示背景区域908、910、912，它们由前景区域906而彼此分开。值得注意的是，前景区域904、906和背景区域具有复杂的形状，虽然它可以从像素的多个常规形状的块的组合构造。
[0056]图示在选择性编码之后的前景区域903、904、905、906、907和背景区域908中的每个，其中编码前景区域903-907来保持相对于背景区域908的较高图像质量。
[0057]在图9D中，示出解码的视频帧914的示例，它基于视频帧902的选择性编码。如所图示的，解码的视频帧914展示比在视频帧902中示出的视频图像的原始背景更模糊的背景区域916。在可希望或需要以比在接收之后足以保持遍及视频帧902的图像质量的数据率低的数据率来传送视频帧902的状况下，这便于较高质量前景区域918、920、922、924和926的保持。
[0058]在另外的实施例中，可以采用动态地调整分类为主要对象区域的视频帧的对象或部分的方式来执行视频流播的选择性编码。因此，最初被分类为以相对较高质量选择性编码的主要对象区域的视频帧或一连串视频帧的区域可改为以相对较低质量编码的背景。此夕卜，最初被视为以相对较低质量选择性编码的背景区域的一连串视频帧的其它区域可改为以相对较高质量执行编码的主要对象区域。
[0059]在一些实施例中，可响应于用户输入而生成对象的分类从主要到背景的转换(或反之亦然)。图1OA到图1OC描绘视频流播的动态选择性编码的一个场景。在此示例中，两个不同的装置1002、1004经由视频流播而彼此通信。装置1002包含选择性编码部件1014用于将选择性编码的视频流播到装置1004，以及显示器1006用于呈现从装置1004接收的流播视频。类似地，装置1004包含选择性编码部件1016用于将选择性编码的视频流播到装置1002，以及显示器1008用于呈现从装置1002接收的流播视频。在图1OA的实例中，装置1002将视频1010流播到装置1004。视频1010可以是由装置1002的用户实时录制的视频，它描绘装置1002的用户和用户周围。类似地，装置1004将视频1012流播到装置1002，它可描绘装置1004的用户和用户周围。在这两种情况下，视频1010、1012可以被选择性编码或可以被非选择性编码(其中所有视频帧以相同的方式编码)。
[0060]在一些实施例中，来自装置1004的流播视频的选择性编码可响应于来自装置1002的信号而调整。例如，装置1002的用户可接收描绘装置1004的用户的视频1012。装置1002的用户可采用显示器1006上的触摸屏界面来选择用户想要以较高质量渲染的视频帧的像素。
[0061]备选地，装置1002的用户可采用另一选择装置(例如，鼠标、触摸板、用户眼睛追踪)来检测在某时间段上的感兴趣的区域，或采用其它用户接口来与显示器1006交互以便选择视频帧的像素。图1OB描绘信号1018被发送到装置1004的场景。信号1018可指示装置1002的用户想要以较高质量接收的视频1012的视频帧的像素的用户选择的区域。此示例是对等体到对等体视频流播，其中视频1010包含装置1002的用户的面部并且视频1012包含装置1004的用户的面部，它们中的每个最初可被视为以较高图像质量选择性编码的前景对象。然而，在某个点处，装置1002的用户可选择视频1012内的另一对象(其被接收用于强调)。例如，装置1004的用户可能想要向装置1002的用户示出(装置1004的)用户的手中的对象。最初，在图1OA的场景中，由于以较低数据率选择性编码，捕获装置1004的用户的手的视频1012的区域可能是模糊的。因此，装置1004的用户可通过语音或运动将示出在装置1004的用户的手中有什么的希望发信到装置1002的用户。这可使装置1002的用户在对应于装置1004的用户的手的区域触摸显示器1006。然后可将具有视频1012的视频帧的选择的对象的位置转发到选择性编码部件110。然后，选择性编码部件1006对传送到装置1002的视频帧的分类执行适当的调整，以便以较高质量编码描绘装置1004的用户的手的区域。
[0062]在一些情况下，例如取决于装置1002与装置1004之间的视频的传送的带宽(或其它考虑)，选择性编码部件1016可调整视频1012的视频帧的区域来减少编码的质量，以便适应另一区域中的编码的增加的质量。例如，可编码装置1004的用户的面部以使面部在由装置1002解码之后显得模糊，以便更清楚地传送用户的手的图像。[0063]经调整的视频(其编码不同于视频1012)示出为视频1020。在各实施例中，视频1020可经受另外的调整以使再次改变与其它区域相比采用相对较高质量编码的视频的主要对象区域。以此方式，装置1002的用户可体验在视频流播期间一次或多次动态地移动用较高质量呈现的视频帧的区域的视频。如所提到的，装置1002的用户可指引从装置1004接收的视频的选择性编码。
[0064]虽然前述实施例可将主要对象区域描绘为当呈现在显示器上时区别于背景区域，但是在各实施例中平滑过程或算法可用于主要对象区域与背景区域之间的转化以使图像中的特征的分辨率逐渐变化。这些平滑过程可包含考虑一连串视频帧的过程，以使不同地编码的区域如正在播放的视频一样良好地混合在一起。
[0065]在另外的实施例中，可执行视频编码来以三个或者更多不同编码级别编码视频帧的不同区域。例如，可以按第一质量级别来编码在视频帧中呈现的人面部，而面部外部的人体轮廓还可被分类为次要对象区域，并且可以用小于第一质量级别的第二质量级别来编码。可以用小于第二质量级别的第三质量级别来呈现视频帧的其它部分。
[0066]除了用不同质量编码视频帧的不同部分以外，在其它实施例中，可以为被分类为主要对象区域的视频帧的部分指派向接收装置的传送的较高优先级。根据编码的质量的传送的视频帧的所选择的部分的此优先化提供在视频被有缺陷地流播到接收装置的情况下保持视频质量的附加优势。例如，在编码的视频帧的传送期间，如果包含选择性编码的主要对象区域的数据分组在包含背景区域的数据分组之前传送，则还可首先由接收装置的解码器来解码主要对象区域。在某些传送状况下，如果解码器需要在包含编码的视频帧的所有像素的数据分组已经到达接收装置之前显示后续的视频帧，则有更大机会包含主要对象区域的像素的数据分组已经到达解码器并且可以显示以使在呈现后续视频帧之前用户可察觉视频帧的主要对象区域(即使没有接收到视频帧的背景)。
[0067]本文包含表示用于执行所公开的架构的新颖方面的示范性方法的一组流程图。虽然为了解释的简化的目的，在本文中示出的一个或多个方法(例如，以流程图或流程表的形式)被示出并且描述为一系列动作，但是要理解并且意识到，方法不受限于动作的次序，这是因为根据其一些动作可以用不同的次序发生和/或与来自本文示出并且描述的其它动作并行发生。例如，本领域技术人员将理解并且意识到方法可备选地表示为一系列相互关联的状态或事件，例如采用状态图。此外，新颖实现可不需要在方法中图示的所有动作。
[0068]图11图示示范性第一逻辑流程1100。在框1102处，接收视频帧。在一些实现中，可在装置中接收视频帧来生成实时视频流播。在其它情况下，视频帧可以是由装置所接收的预录制的并且预存储的用于流播到另一装置的视频内容的一部分。
[0069]在框1104处，作出关于对于以用于传送的第一质量级别的视频帧的非选择性编码带宽是否充足的确定。非选择性编码可以用对应于第一位速率的第一质量级别来编码整个视频帧。如果是，则流程移动到框1106，其中视频帧以第一质量级别均匀编码。然后流程移动到框1108，其中传送编码的视频帧。
[0070]如果在框1104处确定对于选择性编码带宽不充分，则流程移动到框1110。在框1110处，一个或多个区域被分类为视频帧内的主要对象区域。主要对象区域可组成当呈现在显示器上时对应于示出由视频帧描绘的场景内的一个或多个对象或区域的一组像素的视频帧的部分。流程然后移动到框1112。[0071]在框1112处，以第一质量级别来执行一个或多个主要对象区域的编码。在备选实施例中，以不同于用于非选择性编码的第一质量级别的不同的质量级别来编码一个或多个主要对象区域。不同的质量级别可高于第一质量级别或可低于第一质量级别。
[0072]在框1114处，以低于第一质量级别的第二质量级别来执行在主要对象区域外部的视频帧的区域的编码。然后流程进行到框1108。
[0073]图12图示示范性第二逻辑流程1200。在框1202处，接收包括多个视频帧的视频来作为流播视频传送。视频可以是用于流播的实时录制的视频或可以是预存储的视频内容。在框1204处，以第一质量级别来执行视频的一个或多个视频帧的第一区域的编码，并且以小于第一质量级别的第二质量级别来执行视频的一个或多个视频帧的背景区域的编码。第一区域可组成当呈现在显示器上时对应于示出由视频帧描绘的场景内的一个或多个对象或区域的一组像素的视频帧的部分。背景区域可组成对应于示出由视频帧呈现的场景的除了第一区域之外的所有其它部分的像素的视频帧的部分。
[0074]在框1206，接收指示不同于第一区域的视频帧的第二区域的选择的信号。可通过用户接口(例如，鼠标、触摸板、操作杆、触摸屏、姿势或眼睛识别、或其它选择装置)来接收信号。
[0075]然后流程进行到框1208，其中在第二区域的选择之后以第一质量级别来执行一个或多个附加视频帧的第二区域的编码。然后流程进行到框1210，其中以第二质量级别来执行一个或多个附加视频帧的第一区域的编码。
[0076]图13是示范性系统实施例的图，并且特别地，图13是示出可包含各种元件的系统1300的图。例如，图13示出系统(平台)1300可包含处理器/图形核心(本文称为处理器1302)、芯片组/平台控制中心(PCH)(本文称为芯片组1304)、输入/输出(I/O)装置1306、随机存取存储器(RAM)(例如，动态RAM (DRAM)) 1308、只读存储器(ROM) 1310、显示电子设备1320、显示器背光1322、以及各种其它平台部件1314 (例如，风扇、轴流风扇、散热器、DTM系统、冷却系统、壳体、通风孔等等)。系统1300还可包含无线通信芯片1316和图形装置1318、非易失性存储器端口(nVMP) 1324、和天线1326。然而，实施例不限于这些元件。
[0077]如图13所示，I/O装置1306、RAM 1308、和ROM 1310通过芯片组1304而耦合到处理器1302。芯片组1304可通过总线1312而耦合到处理器1302。因此，总线1312可包含多个线路。
[0078]处理器1302可以是包括一个或多个处理器核的中央处理单元并且可包含具有任何数量的处理器核的任何数量的处理器。处理器1302可包含任何类型的处理单元，诸如，例如，CPU、多处理单元、精简指令集计算机(RISC)、具有管线的处理器、复杂指令集计算机(CISC)、数字信号处理器(DSP)等等。在一些实施例中，处理器1302可以是位于单独的集成电路芯片上的多个单独的处理器。在一些实施例中，处理器1302可以是具有集成的图形的处理器，而在其它实施例中处理器1302可以是图形核或多个核。
[0079]图14图示根据本公开的示例系统1400。在各种实现中，系统1400可以是媒体系统，虽然系统1400不限于此情境。例如，系统1400可并入到个人计算机(PC)、膝上计算机、超膝上计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如，智能电话、智能平板计算机或智能电视)、移动因特网装置(MID)、通讯装置、数据通信装置、相机(例如，指向并拍照相机、超级变焦相机、数码单透镜反射(DSLR)相机)等等。
[0080]在各种实现中，系统1400包含耦合到显示器1420的平台1402。平台1402可从内容装置(例如，内容服务装置1430或内容输送装置1440或其它类似内容源)接收内容。例如，包含一个或多个导航特征的导航控制器1450可用于与平台1402和/或显示器1420交互。在下文中更详细描述这些部件中的每个。
[0081]在各种实现中，平台1402可包含芯片组1405、处理器1410、存储器1412、天线1403、存储1414、图形子系统1415、应用1416和/或无线电1418的任何组合。芯片组1405可提供处理器1410、存储器1412、存储1414、图形子系统1415、应用1416和/或无线电1418之间的互通。例如，芯片组1405可包含能够提供与存储1414的互通的存储适配器(未描绘)。
[0082]处理器1410可实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、兼容x86指令集的处理器、多核、或任何其它微处理器或中央处理单元(CPU)。在各种实现中，处理器1410可以是双核处理器、双核移动处理器等等。
[0083]存储器1412可实现为易失性存储器装置，例如但不限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM (SRAM)0
[0084]存储1414可实现为非易失性存储装置，例如但不限于，磁盘驱动、光盘驱动、磁带驱动、内部存储装置、附属存储装置、闪速存储器、电池备用SDRAM (同步DRAM)、和/或网络可访问存储装置。例如，在各种实现中，存储1414可包含技术来当包含多个硬驱动时增加有价值的数字媒体的存储性能增强保护。
[0085]图形子系统1415可执行图像(例如，用于显示的静止图或视频)的处理。例如，图形子系统1415可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于在通信上耦合图形子系统1415和显示器1420。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMIjP /或遵从无线HD的技术中的任一个。图形子系统1415可集成到处理器1410或芯片组1405。在一些实现中，图形子系统1415可以是在通信上耦合到芯片组1405的独立装置。
[0086]本文描述的图形和/或视频处理技术可采用各种硬件架构实现。例如，图形和/或视频功能性可集成在芯片组内部。备选地，可使用离散图形和/或视频处理器。作为又一实现，可由通用处理器(包含多核处理器)提供图形和/或视频功能。在另外的实施例中，功能可实现在消费者电子装置中。
[0087]无线电1418可包含能够使用各种合适的无线通信技术来传送并且接收信号的一个或多个无线电。这样的技术可包括跨一个或多个无线网络的通信。示例无线网络包含(但不限于)无线局域网(WLAN)、无线个人区域网络(WPAN)、无线城域网(WMAN)、蜂窝网络、和卫星网络。在跨这样的网络的通信中，无线电1418可根据任何版本中的一个或多个可应用标准来操作。
[0088]在各种实现中，显示器1420可包含任何电视类型监视器或显示器。例如，显示器1420可包含计算机显示屏、触摸屏显示器、视频监视器、类似电视机的装置、和/或电视机。显示器1420可以是数字和/或模拟的。在各种实现中，显示器1420可以是全息显示器。而且，显示器1420可以是可接收视觉投射的透明表面。这样的投射可传达各种形式的信息、图像和/或对象。例如，这样的投射可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用1416的控制下，平台1402可在显示器1420上显示用户接口 1422。
[0089]例如，在各种实现中，内容服务装置1430可以由任何国家、国际和/或独立服务托管并且因此可经由因特网访问平台1402。内容服务装置1430可耦合到平台1402和/或显示器1420。平台1402和/或内容服务装置1430可耦合到网络1460来将媒体信息通信(例如，发送和/或接收)到网络1460和从网络1460通信。内容输送装置1440也可耦合到平台1402和/或显示器1420。
[0090]在各种实现中，内容服务装置1430可包含有线电视盒、个人计算机、网络、电话、启用因特网的装置或能够输送数字信息和/或内容的器具、以及能够经由网络1460或直接在内容提供商与平台1402和/或显示器1420之间单向或双向通信内容的任何其它类似装置。将意识到，内容可单向和/或双向通信到系统1400中的任何一个部件以及经由网络1460的内容提供商以及从系统1400中的任何一个部件以及经由网络1460的内容提供商通信。内容的示例可包含任何媒体信息，例如包含视频、音乐、医学和游戏信息等等。
[0091]内容服务装置1430可接收例如有线电视节目等内容，包含媒体信息、数字信息和/或其它内容。内容提供商的示例可包含任何有线或卫星电视或无线电或因特网内容提供商。所提供的示例不旨在以任何方式限制根据本公开的实现。
[0092]在各种实现中，平台1402可从具有一个或多个导航特征的导航控制器1450接收控制信号。例如，导航控制器1450的导航特征可用于与用户接口 1422交互。在各实施例中，导航控制器1450可以是指向装置，它可以是允许用户将空间(例如，连续的和多维)数据输入到计算机的计算机硬件部件(具体而言是人机接口装置)。许多系统(例如，图形用户接口(GUI)、以及电视机和监视器)允许用户使用物理姿势来控制并且提供数据到计算机或电视机。
[0093]导航控制器1450的导航特征的运动可由在显示器上显示的指针、游标、聚集环、或其它视觉指示符的运动而复制在显示器(例如，显示器1420)上。例如，在软件应用1416的控制下，位于导航控制器1450上的导航特征可映射到在用户接口 1422上显示的虚拟导航特征。在各实施例中，导航控制器1450可以不是单独的部件，而是可集成到平台1402和/或显示器1420中。然而，本公开不限于本文示出或描述的元件或情境。
[0094]例如，在各种实现中，驱动器(未示出)可包含技术来允许用户在初始启动之后用按钮的触摸来立即打开或者关闭类似电视机的平台1402 (在启用时)。即使当平台“关闭”时，程序逻辑可允许平台1402将内容流播到媒体适配器或其它内容服务装置1430或内容输送装置1440。此外，例如，芯片组1405可包含对5.1环绕声音音频和/或高清晰度7.1环绕声音音频的硬件和/或软件支持。驱动器可包含集成图形平台的图形驱动器。在各实施例中，图形驱动器可包括外围部件互连(PCI)表达图形卡。
[0095]在各种实现中，可集成在系统1400中示出的部件中的任何一个或多个。例如，可集成平台1402和内容服务装置1430，或可集成平台1402和内容输送装置1440，或可集成平台1402、内容服务装置1430和内容输送装置1440。在各实施例中，平台1402和显示器1420可以是集成单元。例如，可集成显示器1420和内容服务装置1430，或可集成显示器1420和内容输送装置1440。这些示例不旨在限制本公开。
[0096]在各实施例中，系统1400可实现为无线系统、有线系统或两者的组合。当实现为无线系统时，系统1400可包含合适于在无线共享媒体上通信的部件和接口，例如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享媒体的示例可包含无线频谱(例如，RF频谱等等)的一部分。当实现为有线系统时，系统1400可包含合适于在有线通信媒体上通信的部件和接口，例如输入/输出(I/O)适配器、连接I/O适配器与对应有线通信介质的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信媒体的示例可包含导线、电缆、金属引线、印刷电路板(PCB)、背板、交换机、半导体材料、双绞线、同轴电缆、光纤等等。
[0097]平台1402可建立一个或多个逻辑或物理信道来通信信息。信息可包含媒体信息和控制信息。媒体信息可指代表示用于用户的内容的任何数据。例如，内容的示例可包含来自语音会话、视频会议、流播视频、电子邮件(“Email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。例如，来自语音会话的数据可以是语音信息、静音周期、背景噪声、舒适噪声、音调等等。控制信息可指代表示用于自动系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息、或指示节点以预定方式处理媒体信息。然而，实施例不限于在图14中示出或描述的元件或情境。
[0098]如以上所描述的，系统1400可以用变化物理风格或形成因素来实施。图15图示其中可实施系统1500的小形成因素装置1500的实现。例如，在各实施例中，装置1500可实现为具有无线能力的移动计算装置。移动计算装置可指代具有处理系统和移动电源或电力供应(例如，一个或多个电池)的任何装置。
[0099]如以上所描述的，移动计算装置的示例可包含个人计算机(PC)、膝上计算机、超膝上计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如，智能电话、智能平板计算机或智能电视机)、移动因特网装置(MID)、通讯装置、数据通信装置、相机(例如，指向并拍照相机、超级变焦相机、数码单透镜反射(DSLR)相机)等等。
[0100]移动计算装置的示例也可包含安排为由人穿戴的计算机，例如腕式计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机和其它可穿戴计算机。例如，在各实施例中，移动计算装置可实现为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。虽然可以用以示例的方式实现为智能电话的移动计算装置来描述一些实施例，但可意识到也可使用其它无线移动计算装置来实现其它实施例。实施例不限于此情境。
[0101]如图15所示，装置1500可包含壳体1502、显示器1504、输入/输出(I/O)装置1506、和天线1508。装置1500也可包含导航特征1512。显示器1504可包含任何合适的显示单元用于显示适合于移动计算装置的信息。I/O装置1506可包含任何合适的I/O装置用于将信息输入移动计算装置。I/O装置1506的示例可包含字母数字键盘、数字小键盘、触摸板、输入按键、按钮、开关、摇杆开关、麦克风、扬声器、语音识别装置和软件等等。信息也可通过麦克风(未示出)被输入到装置1500。这样的信息可由语音识别装置(未示出)被数字化。实施例不限于此情境。
[0102]如以前所描述的，可使用各种硬件元件、软件元件或两者的组合来实现实施例。硬件元件的示例可包含装置、逻辑装置、部件、处理器、微处理器、电路、处理器电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片组等等。软件元件的示例可包含软件组件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件界面、应用程序界面(API)、指令集、计算代码、计算机代码、代码片段、计算机代码片段、字、值、符号、或任何其组合。确定实施例是使用硬件元件和/或软件元件来实现可根据任何数量的因素来变化，这些因素例如可以是给定实现所希望的那样的所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度和其它设计或性能约束。
[0103]下文的示例属于另外实施例。
[0104]在示例I中，用于视频编码的设备包含用于存储视频帧的存储器、处理器电路、和用于在处理器电路上的执行来执行视频帧的选择性编码的选择性编码部件，选择性编码将视频帧分类为主要对象区域和背景区域，并且以第一质量级别编码主要对象区域，并以背景质量级别编码背景区域，第一质量级别包括比背景质量级别高的质量级别。
[0105]在示例2中，示例I的选择性编码部件可以可选地用于在处理器上的执行来在带宽落到低于带宽阈值时执行选择性编码。
[0106]在示例3中，示例1-2的任一个的选择性编码部件可以可选地用于在处理器上的执行来执行视频帧内的像素的面部识别过程并且将由面部识别过程所识别的面部区域分配为主要对象区域。
[0107]在示例4中，示例1-3的任一个的选择性编码部件可以可选地用于在处理器上的执行来在接收到指示低带宽的信号时生成包括多个选择性编码的视频帧的选择性编码的视频流。
[0108]在示例5中，示例1-4的任一个的选择性编码部件可以可选地用于在处理器上的执行来接收用户所选择的像素区域并且基于用户所选择的像素区域来以第一质量级别选择性编码视频帧内的对象。
[0109]在示例6中，示例1-5的任一个的选择性编码部件可以可选地用于在处理器上的执行来生成识别主要对象区域在视频帧中的像素坐标的位置信息。
[0110]在示例7中，示例1-6的任一个的选择性编码部件可以可选地用于在处理器上的执行来将作为来自与第一对象关联的第一区域的主要对象区域的分类转换为与视频帧中的第二对象关联的第二区域。
[0111]在示例8中，示例1-7的任一个的选择性编码部件可以可选地用于在处理器上的执行来将视频帧中的附加区域分类为次要对象区域，并且以小于第一质量级别并且高于背景质量级别的第二质量级别来编码次要对象区域。
[0112]在示例9中，示例1-8的任一个的选择性编码部件可以可选地包含视频帧的两个或者更多单独的区域。
[0113]在示例10中，示例1-9的任一个的选择性编码部件可以可选地用于在处理器上的执行来生成识别对应于背景区域的数据帧的像素的位屏蔽。
[0114]在示例11中，示例1-10的任一个的选择性编码部件可以可选地用于在处理器上的执行来基于指示用户行为的信号而执行选择性编码。
[0115]在示例12中，至少一个计算机可读存储介质包含指令，当执行该指令时，使系统响应于视频帧的接收而执行视频帧的选择性编码，选择性编码将视频帧分类为主要对象区域和背景区域，并且以第一质量级别编码主要对象区域并以背景质量级别编码背景区域，第一质量级别包括比背景质量级别高的质量级别。
[0116]在示例13中，示例12的至少一个计算机可读存储介质包含指令，当执行该指令时，使系统在带宽落到低于带宽阈值时执行选择性编码。
[0117]在示例14中，示例12-13的任一个的至少一个计算机可读存储介质包含指令，当执行该指令时，使系统执行视频帧内的像素的面部识别过程并且将由面部识别过程识别的面部区域分配为主要对象区域。
[0118]在示例15中，示例12-14的任一个的至少一个计算机可读存储介质包含指令，当执行该指令时，使系统在接收到指示低带宽的信号时生成包括多个选择性编码的视频帧的选择性编码的视频流。
[0119]在示例16中，示例12-15的任一个的至少一个计算机可读存储介质包含指令，当执行该指令时，使系统接收用户选择的像素区域并且基于用户选择的像素区域来以第一质量级别选择性编码视频帧内的对象。
[0120]在示例17中，示例12-16的任一个的至少一个计算机可读存储介质包含指令，当执行该指令时，使系统生成识别主要对象区域在视频帧中的像素坐标的位置信息。
[0121]在示例18中，示例12-17的任一个的至少一个计算机可读存储介质包含指令，当执行该指令时，使系统将视频帧中的附加区域分类为次要对象区域，并且以小于第一质量级别并且高于背景质量级别的第二质量级别来编码次要对象区域。
[0122]在示例19中，编码视频的方法包含响应于视频帧的接收而执行视频帧的选择性编码，选择性编码包括:将视频帧分类为主要对象区域和背景区域；以第一质量级别编码主要对象区域；以及以小于第一质量级别的背景质量级别来编码视频帧的背景区域。
[0123]在示例20中，示例19的方法包含在带宽落到低于带宽阈值时执行选择性编码。
[0124]在示例21中，示例19-20的任一个的方法包含执行视频帧内的像素的面部识别过程并且将由面部识别过程识别的面部区域分配为主要对象区域。
[0125]在示例22中，示例19-21的任一个的方法包含生成识别主要对象区域在视频帧中的像素坐标的位置信息。
[0126]在示例23中，示例19-22的任一个的方法包含将视频帧中的附加区域分类为次要对象区域，并且以小于第一质量级别并且高于背景质量级别的第二质量级别来编码次要对象区域。
[0127]在示例24中，用于传送编码的视频的系统包含:存储器，用于存储视频帧；处理器；以及选择性编码部件，用于在处理器上的执行来执行视频帧的选择性编码。选择性编码包括将视频帧中的区域分类为主要对象区域，并且以比编码视频帧的背景区域的背景质量级别高的第一质量级别来编码主要对象区域，背景区域包括在主要对象区域外部的区域；以及接口，用于在选择性编码之后传送视频帧。
[0128]在示例25中，示例24的选择性编码部件可用于在处理器上的执行来当传送视频帧的带宽落到低于带宽阈值时执行选择性编码。
[0129]在示例26中，示例24-25的任一个的选择性编码部件可用于在处理器上的执行来执行视频帧内的像素的面部识别过程并且将由面部识别过程识别的面部区域分配为主要对象区域。[0130]在示例27中，示例24-26的任一个的选择性编码部件可用于在处理器上的执行来当接收到指示低带宽的信号时生成包括多个选择性编码的视频帧的选择性编码的视频流。
[0131]在示例28中，示例24-27的任一个的选择性编码部件可用于在处理器上的执行来接收用户选择的像素区域并且基于用户选择的像素区域来以第一质量级别选择性编码视频帧内的对象。
[0132]在示例29中，示例24-28的任一个的选择性编码部件可用于在处理器上的执行来生成识别主要对象区域在视频帧中的像素坐标的位置信息。
[0133]在示例30中，示例24-29的任一个的选择性编码部件可用于在处理器上的执行来将作为来自与第一对象关联的第一区域的主要对象区域的分类转换为与视频帧中的第二对象关联的第二区域。
[0134]在示例31中，示例24-30的任一个的选择性编码部件可用于在处理器上的执行来将视频帧中的附加区域分类为次要对象区域，并且以小于第一质量级别并且高于背景质量级别的第二质量级别来编码次要对象区域。
[0135]在示例32中，示例24-31的任一个的主要对象区域可包含视频帧的两个或者更多单独的区域。
[0136]在示例33中，示例24-32的任一个的选择性编码部件可用于在处理器上的执行来基于指示用户行为的信号而执行选择性编码。
[0137]在一些实施例中，元件被定义为执行一个或多个操作的具体结构。然而，可意识到定义为执行具体功能的具体结构的任何元件可表达为用于执行规定的功能的装置或步骤而没有其支持的结构、材料、或动作的叙述，并且这样的装置或步骤旨在涵盖在详细描述及其等效中描述的对应结构、材料、或动作。实施例不限于此情境。
[0138]可使用表达“一个实施例”或“一实施例”以及它们的派生词来描述一些实施例。这些术语意味着结合实施例描述的特定特征、结构、或特性包含在至少一个实施例中。说明书中的各个地方中的短语“在一个实施例中”的出现不一定全部指代同一实施例。另外，可使用表达“耦合”和“连接”以及它们的派生词来描述一些实施例。这些术语不需要旨在彼此同义。例如，可使用术语“连接”和/或“耦合”来描述一些实施例以指示两个或者更多元件彼此直接物理或电接触。然而，术语“耦合”还可意味着两个或者更多元件不是彼此直接接触，但仍然彼此合作或交互。
[0139]要强调的是，提供了公开的摘要来允许读者快速地确定技术公开的特性。主张的理解是，摘要将不用于解释或限制权利要求的范围或含义。此外，在上文的详细描述中，可以看出各种特征一起组合在单个实施例中以便概括本公开。公开的此方法将不解释为反映要求保护的实施例需要比每个权利要求中清楚表述的特征更多的特征的意图。而是，如下文的权利要求反映的，发明主题位于少于单个公开的实施例的所有特征中。因此下文的权利要求在此并入到详细描述中，其中每个权利要求自己作为单独的实施例。在所附的权利要求中，术语“包含”和“其中”分别用作相应术语“包括”和“在本文中”的简单英语等效。此外，术语“第一”、“第二”、“第三”等等只用作标签，并且并不旨在对它们的对象施加数字要求。
[0140]以上描述的内容包含所公开的架构的示例。当然，不可能描述部件和/或方法的每个可构想组合，但一个本领域的普通技术人员可意识到许多另外组合和排列是可能的。因此，新颖架构旨在包含落在所附的权利要求的精神和范围内的所有这样的变更、修改和变化。
【权利要求】
1.一种用于视频编码的设备，包括: 存储器，用于存储视频帧； 处理器电路；以及 选择性编码部件，用于在所述处理器电路上的执行来执行所述视频帧的选择性编码，所述选择性编码将所述视频帧分类为主要对象区域和背景区域，并且以第一质量级别编码所述主要对象区域并以背景质量级别编码所述背景区域，所述第一质量级别包括比所述背景质量级别高的质量级别。
2.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来当带宽落到低于带宽阈值时执行选择性编码。
3.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来执行所述视频帧内的像素的面部识别过程并且将由所述面部识别过程识别的面部区域分配为主要对象区域。
4.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来当接收到指示低带宽的信号时生成包括多个选择性编码的视频帧的选择性编码的视频流。
5.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来接收用户选择的像素区 域并且基于所述用户选择的像素区域来以所述第一质量级别选择性编码所述视频帧内的对象。
6.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来生成识别所述主要对象区域在视频帧中的像素坐标的位置信息。
7.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来将作为来自与第一对象关联的第一区域的主要对象区域的分类转换为与所述视频帧中的第二对象关联的第二区域。
8.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来将所述视频帧中的附加区域分类为次要对象区域，并且以小于所述第一质量级别并且高于所述背景质量级别的第二质量级别来编码所述次要对象区域。
9.如权利要求1所述的设备，所述主要对象区域包括所述视频帧的两个或者更多单独的区域。
10.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来生成识别对应于所述背景区域的所述数据帧的像素的位屏蔽。
11.如权利要求1所述的设备，所述选择性编码部件用于在所述处理器上的执行来基于指示用户行为的信号而执行选择性编码。
12.—种编码视频的方法，包括: 响应于视频帧的接收，执行所述视频帧的选择性编码，所述选择性编码包括: 将所述视频帧分类为主要对象区域和背景区域； 以第一质量级别编码所述主要对象区域；以及 以小于所述第一质量级别的背景质量级别来编码所述视频帧的背景区域。
13.如权利要求12所述的方法，包括当带宽落到低于带宽阈值时执行选择性编码。
14.如权利要求12所述的方法，包括执行所述视频帧内的像素的面部识别过程并且将由所述面部识别过程识别的面部区域分配为主要对象区域。
15.如权利要求12所述的方法，包括生成识别所述主要对象区域在视频帧中的像素坐标的位置信息。
16.如权利要求12所述的方法，包括将所述视频帧中的附加区域分类为次要对象区域，并且以小于所述第一质量级别并且高于所述背景质量级别的第二质量级别来编码所述次要对象区域。
17.至少一个机器可读存储介质，包括指令，当由计算装置执行所述指令时，使所述计算装置执行权利要求12 至16中的任一项所述的方法。
【文档编号】H04N19/103GK103929640SQ201410017436
【公开日】2014年7月16日 申请日期:2014年1月15日 优先权日:2013年1月15日
【发明者】N.R.安德里斯科, A.潘塔姆贝卡, D.加特 申请人:英特尔公司