多个彩色和深度流的空间自适应视频压缩的制作方法

多个彩色和深度流的空间自适应视频压缩
1.分案说明
2.本技术属于申请日为2020年7月10日的中国发明专利申请no.202010661466.1的分案申请。
技术领域
3.此说明书涉及视频图像的压缩。


背景技术：

4.被配置成生成对象的彩色视频图像的一些计算机使用压缩方案通过网络传输彩色视频图像。技术问题是使用尽可能小的比特率通过网络传输对象的彩色视频图像。解决此技术问题的常规方法包括将差量(delta)量化参数(δqp)值与每个视频帧的相应宏块(例如，32x 32像素)相关联。以此方式，用户可以在帧的特定空间区域中选择性地增加或降低视频的质量。


技术实现要素：

5.在一个总体方面，一种方法可以包括：接收(i)表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个是从相应视点捕获的对象的深度图像，和(ii)表示多个彩色图像的彩色图像数据，所述多个彩色图像中的每个(a)是从相应视点捕获的对象的彩色图像，并且(b)具有多个宏块，宏块中的每个对应于彩色图像的相应区域。该方法还可以包括对于多个彩色图像中的彩色图像：识别与该彩色图像相关联的多个深度图像中的深度图像；对于深度图像的每个像素：基于与该像素相关联的深度图像的深度值来确定对象的表面上的点的位置；生成与所确定的位置相对应的混合权重，所述混合权重是基于该位置处的深度图像的表面法线与捕获到深度图像的视点之间的相似性；基于混合权重来生成差量量化参数(δqp)的值；以及确定与该位置相对应的彩色图像的多个宏块中的宏块，该宏块与该像素的δqp的值相关联。该方法可以进一步包括对彩色图像执行压缩操作，彩色图像的多个宏块中的每个宏块的压缩率是基于与该宏块相关联的δqp的值。
6.在下面的附图和描述中阐述一个或多个实施方式的细节。其他特征将从说明书和附图中并从权利要求书中显而易见。
附图说明
7.图1是图示用于实现本文描述的技术方案的示例电子环境的图。
8.图2是图示在图1中所示的电子环境内执行技术方案的示例方法的流程图。
9.图3a和3b是图示用于基于图1中所示的电子环境内的混合权重来确定压缩质量的示例几何结构的图。
10.图4是图示在图1中所示的电子环境内的表面点和宏块之间的示例投影的图。
11.图5图示可以与这里描述的电路一起使用的计算机设备和移动计算机设备的示
例。
具体实施方式
12.一些彩色视频系统通过利用硬件视频编码和多个视频流的解码，例如三个深度视图和四个彩色视图，来实现彩色视频的实时传输。这些视图在接收器中融合在一起，以基于接收器的跟踪的眼睛来创建低时延的左/右视图。
13.对于这样的系统，普遍的问题是降低视频流，特别是多个彩色视图，所需的网络传输比特率。降低网络传输比特率的常规方法包括在帧的特定空间区域中选择性地增加或降低视频质量。例如，在电话会议场景中，可以使用这样的常规方法以在用户的面部上保留更多细节，同时允许帧的其他部分具有降低的质量。其他常规方法试图保持多个彩色图像中的每个彩色图像的质量；这是通过调整视图图像的质量(例如，通过在空间上压缩压缩质量)来完成，目的是允许最终对象作为压缩视图的组合进行高质量渲染。
14.在上述用于网络传输比特率的常规方法中所涉及的技术问题是，在存在多个彩色和深度视图的情况下，这样的方法是无效的。例如，在彩色视图的冗余中存在相当大的开销，即，环境中的点在彩色视图中的数个中经常可见这一事实。在常规方法中没有解决这种冗余。
15.与解决上述技术问题的常规方法相反，针对上述技术问题的技术解决方案包括，基于深度图像表面法线与和彩色图像相关联的视图方向之间的相似性来为彩色图像计算差量量化参数(δqp)。例如，在接收到具有带有多个彩色图像和深度图像的图像的帧时，计算机寻找在定向上最接近彩色图像的深度图像。对于该深度图像的每个像素，计算机基于深度图像的位置的法线的定向以及从其捕获多个彩色图像的视点来生成混合权重。然后，计算机基于混合权重来生成δqp的值，并确定与该位置相对应的彩色图像的宏块，该宏块与像素的δqp的值相关联。然后，计算机对该彩色图像执行压缩操作，该彩色图像的多个宏块中的每个宏块的压缩率是基于与该宏块相关联的δqp的值。
16.上述技术方案的技术优点在于，由于减少或消除冗余信息，所以该技术方案允许对具有多个彩色和深度图像的彩色视频图像进行更有效的压缩。通过识别不会有助于最终混合渲染的输入彩色图像的内容并降低该内容的压缩质量，可以实现此效率。
17.在根据技术方案改进的彩色视频系统中，通过以下来创建接收器中渲染的左/右视图：(i)在几何上融合多个深度视图以创建3d中的表面，和(ii)在这个融合的表面上混合多个彩色视图。彩色视图根据混合权重在每个表面点处融合在一起，其中与每个视图关联的混合权重是以下的函数：(i)该表面点在视图中是否可见(即，未被遮挡或者在视场外)和(ii)表面法线和视图方向之间的相似性。
18.注意，在彩色视图中的像素在场景表面的颜色重建中可能仅贡献很小的混合权重，因为(i)穿过像素的视线不与场景表面相交而是看到背景，或者(ii)射线倾斜地与表面相交，使得另一视图在该表面点处提供更好的(更正面)覆盖。因此，如果彩色视图中的像素块全部贡献小的混合权重，则可以以较低的质量(使用较高的qp值)压缩该块，而不会影响最终重建的质量。
19.图1是图示示例电子环境100的图，其中可以实现上述改进技术。如所示的，在图1中，示例电子环境100包括计算机120。
20.计算机120被配置成压缩彩色图像。计算机120包括网络接口122、一个或多个处理单元124以及存储器126。网络接口122包括例如以太网适配器等，用于将从网络接收到的电子和/或光信号转换成用于计算机120使用的电子形式。处理单元124的集合包括一个或多个处理芯片和/或组件。存储器126包括易失性存储器(例如，ram)和非易失性存储器两者，诸如一个或多个rom、磁盘驱动器、固态驱动器等。处理单元124的集合和存储器126一起形成控制电路，其被配置和布置成执行本文所述的各种方法和功能。
21.在一些实施例中，计算机120的组件中的一个或多个可以是或可以包括被配置成处理存储在存储器126中的指令的处理器(例如，处理单元124)。如图1中所描绘的这样的指令的示例包括深度图像管理器130、彩色图像管理器140、深度图像识别管理器150、混合权重管理器160、量化参数管理器170、宏块管理器180和压缩管理器190。此外，如图1中所图示的，存储器126被配置成存储各种数据，这些数据是关于使用这种数据的相应管理器来描述的。
22.深度图像管理器130被配置成接收深度图像数据132。在一些实施方式中，深度图像管理器130经由网络接口122通过网络接收深度图像数据132。在一些实施方式中，深度图像管理器130从本地存储设备接收深度图像数据132，所述本地存储设备例如，硬盘驱动器、闪存驱动器、存储盘等。
23.深度图像数据132表示对象的多个深度图像134(1)
…
134(n)。每个深度图像，例如，深度图像134(1)，表示沿着从相机到对象表面上的像素的线的距离的图。相机相对于对象以由视点指示的角度被定向，深度图像从该视点被捕获。在一些实施方式中，多个深度图像134(1)
…
134(n)中的每个具有多个像素，其中每个像素与深度值相关联。在一些实施方式中，每个深度图像表示图像捕获设备(例如，相机)的参考帧中的表面点的深度值(z)。
24.彩色图像管理器140被配置成接收彩色图像数据142。在一些实施方式中，彩色图像管理器140经由网络接口122通过网络接收彩色图像数据142。在一些实施方式中，彩色图像管理器140从本地存储设备接收彩色图像数据142，所述本地存储设备例如，硬盘驱动器、闪存驱动器、存储盘等。
25.彩色图像数据142表示对象的多个彩色图像144(1)
…
144(n)。每个深度图像，例如，彩色图像144(1)，表示沿着从相机到对象表面上的像素的直线的距离——或深度——的图。相机相对于对象以由视点指示的角度来定向，深度图像从该视点被捕获。
26.深度图像识别管理器150被配置成识别与该彩色图像相关联的多个深度图像中的深度图像。在一些实施方式中，深度图像识别管理器150将具有最接近彩色图像134(1)的投影中心的投影中心的深度图像(例如，深度图像144(1))识别为与彩色图像(例如，彩色图像134(1))相关联的深度图像。关于图3a进一步描述这种识别。
27.混合权重管理器160被配置成基于与深度图像的像素相关联的深度图像的深度值来确定彩色图像的位置，并生成与所确定的位置相对应的混合权重以产生混合权重数据。在一些实施方式中，该位置是三维世界空间位置。在一些实施方式中，混合权重管理器160被配置成跨多个彩色图像归一化混合权重。
28.混合权重数据162表示针对每个深度图像的每个像素计算的相应混合权重。在一些实施方式中，针对深度图像的像素的混合权重是基于在该位置处的对象的表面的法线和从其捕获彩色图像的视点的内积。在一些实施方式中，针对该像素的混合权重与提高到指
定指数的幂的内积成比例。在一些实施方式中，该像素的混合权重还基于沿着从其捕获彩色图像的视点该位置处的点是否可见。
29.量化参数(qp)管理器170被配置成基于针对该像素的混合权重，为该多个像素中的每个像素生成差量量化参数(δqp)的值作为qp数据172。在一些实施方式中，δqp是基于归一化的权重。
30.qp数据172表示跨每个彩色图像的像素的δqp值，并且最终表示跨每个彩色图像的宏块的δqp值。可以理解的是，qp确定步长大小，该步长大小用于将彩色图像的离散余弦变换(dct)的系数与步长的有限集合相关联。大的qp值表示粗略地近似变换的大步长，使得大多数信号只能通过几个系数来捕获。小的qp值可以更准确地近似块的空间频谱，但是以更多的比特为代价。在h.264中，qp的每单位增加，步长大小将增加12％，并且比特率将减少大致12％。
31.宏块管理器180被配置成确定与位置相对应的彩色图像的多个宏块中的宏块以产生宏块数据182。最终，该宏块与深度图像的像素的δqp的值的聚合相关联(例如，平均值、中间值、最大值、最小值)(例如，基于深度图像的像素的δqp的值)。在一些实施方案中，宏块管理器180被配置成将表面的位置处的点投影到相机位于其中的彩色图像平面中以确定与像素的δqp值相关联的宏块。
32.在一些实施方案中，宏块管理器180被配置成对进入与彩色图像相关联的帧缓冲器中的点执行光栅化操作，以在帧缓冲器的多个像素的像素中存储δqp的新值。帧缓冲器还包括多个分块(tile)，多个分块中的每一个包括帧缓冲器的像素的集合。在这种情况下，宏块管理器180还被配置成对与宏块相对应的帧缓冲器的分块执行读取操作以产生δqp的聚合值。δqp的聚合值是基于分块的δqp的新值。
33.宏块数据182表示每个彩色图像的宏块上的δqp的值的矩阵。如果从深度图像表面容易查看彩色图像，则权重将是大的，并且与像素相关联的点被投影到的宏块的δqp的值将相应地是小的，反之亦然。
34.在一些实施方式中，宏块管理器180可以基于投影到每个宏块的深度图像的区域来更新宏块数据182。例如，用人的面部识别的宏块的δqp的值可以减小，而与人的其他部位相关联的其他宏块可以具有增加的δqp的值。
35.压缩管理器190被配置成根据宏块数据182对每个彩色图像执行压缩操作以产生压缩数据192。压缩数据192被传输到接收器，其中其被解压缩(解码)并融合在一起以创建单个彩色视频图像。
36.图2是描绘压缩彩色图像的示例方法200的流程图。方法200可以由结合图1描述的软件构造来执行，该软件构件驻留在用户设备计算机120的存储器126中，并由处理单元124的集合运行。
37.在202处，深度图像管理器130接收表示对象的多个深度图像的深度图像数据132，该多个深度图像中的每个是从相应视点捕获的对象的深度图像，并且彩色图像管理器140接收表示多个彩色图像的彩色图像数据142，所述多个彩色图像中的每个(a)是从相应视点捕获的对象的彩色图像并且(b)具有多个宏块，所述宏块中的每一个对应于彩色图像的相应区域。
38.在204处，深度图像识别管理器150针对多个彩色图像中的每个识别与该彩色图像
相关联的多个深度图像中的深度图像。在一些实施方案中，相关联的深度图像被选择为具有最接近彩色图像的那些视图参数值的视图参数值的一个深度图像。
39.在206处，混合权重管理器160针对深度图像的每个像素，基于与该像素相关联的深度图像的深度值来确定对象的表面的位置。
40.在208处，混合权重管理器160针对深度图像的每个像素生成与所确定的位置相对应的混合权重，该混合权重基于该位置处的深度图像的表面法线与从其捕获深度图像的视点之间的相似性。基于表面法线与从表面点朝向彩色图像视点的方向之间的相似性，为每个彩色图像计算混合权重。然后对这些混合权重进行归一化(例如，因此它们求和为1)，并保持与其δqp值被计算的当前彩色图像相关联的归一化混合权重。
41.在210处，量化管理器170针对深度图像的每个像素基于混合权重生成差量量化参数(δqp)的值。如在上面所讨论的，每个这样的δqp的值被存储在帧缓冲器的像素中。
42.在212处，宏块管理器180针对深度图像的每个像素确定与位置相对应的彩色图像的多个宏块中的宏块，该宏块与该像素的δqp的值相关联。如在上面所讨论的，宏块的δqp值是与该宏块相对应的帧缓冲器的分块中的所有像素的δqp值的聚合。
43.在214处，压缩管理器190对该彩色图像执行压缩操作，该彩色图像的多个宏块中的每个宏块的压缩率是基于与该宏块相关联的δqp的值。
44.图3a是图示用于为深度图像的表面310的位置314生成混合权重的示例几何结构300的图。图3a图示具有相应定向322和332的一对彩色图像视点320和330以及具有定向342的深度图像的视点340。
45.如在上面所讨论的，点314根据与深度图的像素相对应的深度图的深度值而被确定。即，对于深度图像的每个像素并且因此在表面310上重复对表面310的点314的确定。
46.在图3a中也示出在点314处表面310的法线312。将法线的方向表示为n，将定向322表示为c1，并且将定向324表示为c2。对应于具有视点320的彩色图像的权重由w1＝(c1·
n)e给出，并且对应于具有视点330的彩色图像的权重由w2＝(c2·
n)e给出，其中e是指数。在一些实施方式中，指定指数e。在一些实施方式中，基于目标压缩率来根据经验确定指数e。
47.如图3a中所示，与从视点330相比从视点320更好地看到点314。因此，w1＞w2。在具有视点320的彩色图像中，在点314附近的颜色保持高质量。此外，当这些彩色图像在接收器处被接收并被解压缩时，彩色图像将根据权重w1和w2进行组合。例如，归一化混合权重为
[0048][0049][0050]
在一些实施方式中，当存在两个以上的彩色视图时，则归一化混合权重的分母是彩色视图上的混合权重的总和。然后，将归一化的混合权重w
′1用于计算δqp的值。
[0051]
在一些实施方式中，根据点314的邻域316中的深度值来计算法线314。在一些实施方式中，邻域316包括像素网格，该像素网格包括与点314相对应的像素。在一些实施方式中，网格为5x5。
[0052]
图3b是图示用于为深度图像的表面310的位置364生成混合权重的示例几何结构350的图。图3b图示具有相应定向322和336的一对彩色图像视点320和330以及具有定向342
的深度图像的视点340。
[0053]
如在上面所讨论的，从与深度图的另一个像素相对应的深度图的深度值确定点364。即，为深度图像的每个像素并且因此在表面310上重复对表面310的点364的确定。
[0054]
在图3a中也示出在点364处的表面310的法线360。将法线的方向表示为n，将定向322表示为c1，并且将定向324表示为c2。对应于具有视点320的彩色图像的权重通过w1＝(c1·
n)e给出，并且对应于具有视点330的彩色图像的权重通过w2＝(c2·
n)e给出，其中e为指数。在一些实施方式中，指定指数e。在一些实施方式中，基于目标压缩率根据经验确定指数e。
[0055]
如图3b中所示，与从视点320相比从视点330更好地看到点364。因此，w2＞w1。在具有视点330的彩色图像中，在点364附近的颜色被保持高质量。此外，当这些彩色图像在接收器处被接收并被解压缩时，彩色图像将根据权重w1和w2进行组合。
[0056]
在一些实施方式中，根据点364的邻域366中的深度值来计算法线364。在一些实施方式中，邻域366包括像素网格，该像素网格包括与点364相对应的像素。在一些实施方式中，网格为5x5。
[0057]
图4是图示示例的图，该示例图示在表面点(例如，点314和364)与和深度图像(例如，具有定向340的深度图像310)相关联的彩色图像的宏块420之间的示例投影。注意，每个宏块420是从深度图像的多个像素映射，使得每个宏块420包含深度图像的一部分。
[0058]
每个宏块420与δqp的值相关联，所述δqp的值反过来由深度图像的每个像素的相应混合权重确定。在一些实施方式中，宏块420的δqp的值取决于映射到宏块420的所有像素的权重值。在一些实施方式中，宏块420的δqp的值基于映射到宏块420的像素的权重的平均值。在一些实施方式中，宏块420的δqp的值基于映射到宏块420的像素的权重的最小值。在一些实施方式中，宏块420的δqp的值基于映射到宏块420的像素的权重的最大值。在一些实现中，宏块420的δqp的值基于映射到宏块420的像素的权重的中间值。
[0059]
在一些实施方式中，深度或彩色图像的像素包括标识符，该标识符识别包含像素的深度图像的部分是否与重要区域(例如，人的面部)相关联。在这样的实施方式中，对于包含具有这种标识符的像素的宏块420，减小δqp的值。相反，在一些实施方式中，对于包含不具有这种标识符的像素的宏块420，增加δqp的值。
[0060]
图5图示可以与这里描述的技术一起使用的通用计算机设备500和通用移动计算机设备550的示例。
[0061]
如图5中所示，计算设备500旨在表示各种形式的数字计算机，诸如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备550旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、其连接和关系及其功能仅意在为示例性的，而不意在限制本文档中描述和/或要求保护的发明的实施方式。
[0062]
计算设备500包括处理器502、存储器504、存储设备506、连接到存储器504和高速扩展端口510的高速接口508、以及连接到低速总线514和存储设备506的低速接口514。组件502、504、506、508、510和512中的每一个均使用各种总线来互连，并且可以被安装在公共主板上或者酌情以其他方式安装。处理器502可处理用于在计算设备500内执行的指令，包括存储在存储器504中或者在存储设备506上以在诸如耦合到高速接口508的显示器516的外
部输入/输出设备上显示用于gui的图形信息的指令。在其他实施方式中，可以酌情使用多个处理器和/或多个总线连同多个存储器和多种类型的存储器。另外，可以连接多个计算设备500，其中每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
[0063]
存储器504存储计算设备500内的信息。在一个实施方式中，存储器504是一个或多个易失性存储器单元。在另一实施方式中，存储器504是一个或多个非易失性存储器单元。存储器504还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
[0064]
存储设备506能够为计算设备500提供大容量存储。在一个实施方式中，存储设备506可以是或者包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其他类似的固态存储设备或设备的阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可被有形地具体实现在信息载体中。计算机程序产品还可以包含指令，该指令当被执行时执行一个或多个方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器504、存储设备506、或处理器502上的存储器。
[0065]
高速控制器508管理计算设备500的带宽密集操作，而低速控制器512管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器508耦合到存储器504、显示器516(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口510，该高速扩展端口510可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器512耦合到存储设备506和低速扩展端口514。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描仪、或诸如交换机或路由器的联网设备。
[0066]
如图中所示，可以以许多不同的形式实现计算设备500。例如，它可以作为标准服务器520被实现，或者被多次实现在一组此类服务器中。它还可以作为机架服务器系统524的一部分被实现。此外，它可以被实现在诸如膝上型计算机522的个人计算机中。可替选地，来自计算设备500的组件可以与诸如设备550的移动设备(未示出)中的其他组件组合。此类设备中的每一个均可以包含计算设备500、550中的一个或多个，并且整个系统可以包括彼此通信的多个计算设备500、550。
[0067]
计算设备550包括处理器552、存储器564、诸如显示器554的输入/输出设备、通信接口566、和收发器568以及其他组件。设备550还可以被提供有存储设备，诸如微驱动器或其他设备，以提供附加存储。组件550、552、564、554、566和568中的每一个均使用各种总线来互连，并且组件中的若干个可以被安装在公共主板上或者酌情以其他方式安装。
[0068]
处理器552可执行计算设备450内的指令，包括存储在存储器564中的指令。处理器可以作为芯片的芯片组被实现，该芯片包括单独的和多个模拟和数字处理器。处理器可以例如提供用于设备550的其他组件的协调，诸如对用户界面、由设备550运行的应用和由设备550进行的无线通信的控制。
[0069]
处理器552可以通过耦合到显示器554的控制接口558和显示接口556来与用户进行通信。显示器554可以是例如tft lcd(薄膜晶体管液晶显示器)或oled(有机发光二极管)显示器或其他适当的显示技术。显示接口556可以包括用于驱动显示器554以向用户呈现图形和其他信息的适当的电路。控制接口558可以从用户接收命令并且对它们进行转换以便提交给处理器552。此外，可以提供与处理器552通信的外部接口562，以便使得能实现设备
550与其他设备的近区域通信。外部接口562可以在一些实施方式中例如提供用于有线通信，或者在其他实施方式中用于无线通信，并且还可以使用多个接口。
[0070]
存储器564存储计算设备550内的信息。存储器564可被实现为以下中的一个或多个：一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元。还可以提供扩展存储器574并且通过扩展接口572将它连接到设备550，扩展接口572可以包括例如simm(单列直插存储器模块)卡接口。这种扩展存储器574可以为设备550提供附加的存储空间，或者还可以为设备550存储应用或其他信息。具体地，扩展存储器574可以包括用于执行或者补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器574可以作为用于设备550的安全模块被提供，并且可以被编程有允许安全使用设备550的指令。此外，可以经由simm卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在simm卡上。
[0071]
存储器可以包括例如闪速存储器和/或nvram存储器，如在下面所讨论的。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，该指令当被执行时执行一个或多个方法，诸如上述的那些方法。信息载体是可以例如通过收发器568或外部接口562接收的计算机或机器可读介质，诸如存储器564、扩展存储器574或处理器552上的存储器。
[0072]
设备550可以通过通信接口566以无线方式通信，该通信接口566必要时可以包括数字信号处理电路。通信接口566可以提供用于各种模式或协议下的通信，各种模式或协议诸如gsm语音呼叫、sms、ems或mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或gprs等。这种通信可以例如通过射频收发器568而发生。此外，可以发生短距离通信，诸如使用蓝牙、wifi或其他这种收发器(未示出)。此外，gps(全球定位系统)接收器模块570可以向设备550提供附加的导航和位置相关无线数据，其可以酌情由在设备550上运行的应用使用。
[0073]
设备550还可以使用音频编解码器560可听地通信，该音频编解码器560可以从用户接收口语信息并且将它转换为可用的数字信息。音频编解码器560可以同样地诸如通过扬声器为用户生成可听声音，例如，在设备550的头戴式耳机中。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备550上操作的应用所生成的声音。
[0074]
如图中所示，可以以许多不同的形式实现计算设备550。例如，它可以作为蜂窝电话580被实现。它还可以作为智能电话582、个人数字助理或其他类似的移动设备的一部分被实现。
[0075]
这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门地设计的asic(专用集成电路)、计算机硬件、固件、软件、和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且以向存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。
[0076]
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可用高级过程和/或面向对象编程语言和/或用汇编/机器语言加以实现。如本文中所使用的，术语“机器可读介质”、“计算机可读介质”指代用于向可编程处理器提供
机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(pld))，包括将机器指令作为机器可读信号来接收的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
[0077]
为了提供与用户的交互，可将这里描述的系统和技术实现在计算机上，该计算机具有用于向用户显示信息的显示设备(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)以及用户可用来向该计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
[0078]
可将这里描述的系统和技术实现在计算系统中，计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有用户可用来与这里描述的系统和技术的实施方式交互的图形用户界面或web浏览器的客户端计算机)，或者包括此类后端、中间件或前端组件的任何组合。系统的组件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“lan”)、广域网(“wan”)和互联网。
[0079]
计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
[0080]
返回图1，在一些实施方式中，存储器126可以是任何类型的存储器，诸如随机存取存储器、磁盘驱动器存储器、闪存等等。在一些实施方式中，存储器126可以被实现为与压缩计算机120的组件相关联的一个以上的存储器组件(例如，一个以上的ram组件或磁盘驱动器存储器)。在一些实施方式中，存储器126可以是数据库存储器。在一些实施方式中，存储器126可以是或可以包括非本地存储器。例如，存储器126可以是或可以包括由多个设备(未示出)共享的存储器。在一些实施方式中，存储器126可以与网络内的服务器设备(未示出)相关联并且被配置成服务于压缩计算机120的组件。
[0081]
压缩计算机120的组件(例如，模块、处理单元124)可以被配置成基于可以包括一种或多种类型的硬件、软件、固件、操作系统、运行时库等的一个或多个平台(例如，一个或多个相似或不同的平台)进行操作。在一些实施方式中，压缩计算机120的组件可经配置以在设备的群集(例如，服务器场)内操作。在这样的实施方式中，压缩计算机120的组件的功能性和处理可以被分布到设备群集中的数个设备。
[0082]
计算机120的组件可以是或可以包括被配置成处理属性的任何类型的硬件和/或软件。在一些实施方式中，图1中的计算机120的组件中所示的组件的一个或多个部分可以是或可以包括基于硬件的模块(例如，数字信号处理器(dsp)、现场可编程门阵列(fpga)，存储器)、固件模块和/或基于软件的模块(例如，计算机代码模块，可以在计算机上执行的计算机可读指令的集合)。例如，在一些实施方式中，计算机120的组件的一个或多个部分可以是或可以包括被配置成由至少一个处理器(未示出)执行的软件模块。在一些实施方式中，组件的功能性可以被包括在与图1中所示的那些不同的模块和/或不同的组件中。
[0083]
尽管未示出，但是在一些实施方式中，计算机120的组件(或其部分)可以被配置成在例如数据中心(例如，云计算环境)、计算机系统、一个或多个服务器/主机设备等等内操
作。在一些实施方式中，计算机120的组件(或其部分)可以被配置成在网络内操作。因此，计算机120的组件(或其部分)可以配置成在各种类型的网络环境中运行，所述网络环境可以包括一个或多个设备和/或一个或多个服务器设备。例如，网络可以是或可以包括局域网(lan)、广域网(wan)等。该网络可以是或可以包括无线网络和/或使用例如网关设备、网桥、交换机等来实现的无线网络。该网络可以包括一个或多个网段和/或可以具有基于诸如互联网协议(ip)和/或专有协议的各种协议的部分。网络可以包括互联网的至少一部分。
[0084]
在一些实施例中，计算机120的组件中的一个或多个可以是或可以包括被配置成处理存储在存储器中的指令的处理器。例如，深度图像管理器130(和/或其一部分)、彩色图像管理器140(和/或其一部分)、深度图识别管理器150(和/或其一部分)、混合权重管理器160(和和/或其一部分)、qp管理器170(和/或其一部分)、宏块管理器180(和/或其一部分)以及压缩管理器190(和/或其一部分)可以是处理器和存储器的组合，其被配置成执行与用于实现一个或多个功能的过程有关的指令。
[0085]
已经描述了许多实施例。然而，应理解的是，可以在不脱离本说明书的精神和范围的情况下做出各种修改。
[0086]
还应理解的是，当一个元件被称为在另一元件上、连接到、电连接到、耦合到或者电耦合到另一元件时，它可以直接地在另一元件上，连接或者耦合到另一元件，或者可以存在一个或多个中间元件。相比之下，当一个元件被称为直接地在另一元件上、直接地连接到或者直接地耦合到另一元件时，不存在中间元件。尽管在整个详细描述中可以不使用术语直接地在上、直接地连接到或直接地耦合到，然而被示出为直接地在上、直接地连接或直接地耦合的元件可被如此表示。可以修改本技术的权利要求以叙述在说明书中描述或在图中示出的示例性关系。
[0087]
虽然已经像本文中所描述的那样示出了所描述的实施方式的某些特征，但是本领域的技术人员现在将想到许多修改、替换、改变和等同物。因此应当理解的是，所附权利要求旨在涵盖如落入实施方式的范围内的所有此类修改和改变。应该理解的是，它们已仅作为示例而非限制被呈现，并且可以做出形式和细节上的各种改变。可以按照除互斥组合外的任何组合来组合本文中描述的装置和/或方法的任何部分。本文中描述的实施方式可包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。
[0088]
此外，图中描绘的逻辑流程不要求所示的特定次序或顺序次序来实现所期望的结果。此外，可以提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加或者从所描述的系统移除其他组件。因此，其他实施例在以下权利要求的范围内。