经抽取图像数据的传输及恢复的制作方法
【技术领域】
[0001] 本发明的实施例涉及图像处理，且更特定来说，涉及视频或图像内的经抽取颜色 通道的传输、接收及恢复。
【背景技术】
[0002] 众所周知，人类视觉系统（下称"HVS"）在亮度域中相比于在颜色域中对空间 细节更敏感。此效应的精确测量已表明，在正常白天观察条件下，HVS针对明度细节相比 于针对颜色细节多约2. 2倍的空间视敏度。图像及视频（例如见于JPEG(参看IS0/IEC 10918-1:1994)及大多数视频压缩系统，例如MPEG及其衍生物（参看IS0/IEC13818、ISO/ IEC14496及IS0/IEC23008))的有效传输及处理通过将明度（Y或亮度）通道与颜色 (CbCr或色度）通道分离并接着在编码及传输之前按一个倍频程进行抽取而降低色度通道 的分辨率来充分利用此效应。此通常被称为4:2:0色度子采样。这些经抽取色度通道的存 在是通过位流旗标而从编码器发信到解码器。在接收及解码后，位流旗标的存在就通常通 过简单的升采样过程（例如，双三次插值或双线性插值）向解码器指示按比例放大色度通 道。
[0003] 按一个以上倍频程抽取色度通道可显著地降低待传输的信息的量，但是经解码及 经按比例放大的色度通道展现包含小对象的降低的饱和度的多种假象及颜色溢出，颜色溢 出为颜色从小对象溢入到相邻背景对象中的感知。主要出于此原因，在任何当前图像或视 频压缩标准中不支持按一个以上倍频程抽取色度通道。
[0004] 在使用更高级的按比例放大方法进行图像引导式按比例缩放时已存在一些近期 工作，例如在科普夫（Kopf)、约翰尼斯（Johannes)等人的"联合双边升采样"（美国计算机 协会图形学（TOG)(ACMTransactionsonGraphics)，第 26卷，第3 期.ACM，2007 年（其以 引用的方式并入本文中））中所教示，以联合双边采样的形式允许3D图像的经抽取深度图 的恢复，所述3D图像可应用于经抽取色度通道的恢复，所述经抽取色度通道已按一个以上 倍频程抽取。然而，由于位流语法不支持发信按一个以上倍频程抽取的此类通道，故实施这 些方法需要对图像及视频的编码及解码标准进行紧耦合及改变。
[0005] 另外，按一个以上倍频程简单地按比例缩小色度通道并传递与全分辨率亮度通道 共同混合的经抽取色度通道会使大多数视频解码器的运动估计混淆，这是由于它们依赖于 亮度及色度通道的空间对应性以便实现准确的运动估计，借此降低它们的效率。另外，在针 对图像编码及视频编码器两者的低位率、高量化的情景中，经共同混合的色度通道可在亮 度通道上遗留可见的印记，从而在亮度通道上造成可辨认为色度通道的阴影的假象。
【发明内容】
[0006] 通过提供一种用于按一个以上倍频程抽取的色度通道的传输、接收及恢复及按比 例放大的系统及方法而在所属领域中补救上述问题且实现技术解决方案。第一处理装置的 第一颜色通道处理器通过子采样按一个以上倍频程抽取输入图像或视频的色度通道以创 建经抽取色度通道。所述第一颜色通道处理器将全分辨率亮度通道及经抽取色度通道布置 在新的第二图像或视频的不同空间位置中，使得它们不重叠。所述第一颜色通道处理器将 所述第二图像或视频传递到编码器。所述编码器将所述经编码的所述第二图像或视频传递 到传输器，所述传输器将所述经编码的第二图像或视频传输到第二处理装置。所述第一处 理装置通过带内或带外发信方法中的任一者向所述第二处理装置发信所述经抽取色度通 道的存在。所述第二处理装置用基于标准的解码器解码所述经编码的第二图像以创建经解 码的第二图像。所述第二处理装置的第二颜色通道处理器将所述经解码的第二图像的所述 亮度及色度非重叠空间布置分离成分离通道。所述第二颜色通道处理器使用所述经分离 亮度通道作为统计先验而执行所述经分离的经抽取色度通道的联合双边升采样以匹配于 所述经分离亮度通道的分辨率。所述联合双边升采样可包括逐倍频程多尺度联合双边升采 样。所述第二处理装置可进一步对所述经恢复色度通道执行直方图拉伸操作。
[0007] 通过提供一种用于编码图像数据的系统及方法而在所属领域中补救上述问题且 实现技术解决方案。第一处理装置的颜色通道处理器接收包括一或多个色度通道及一亮度 通道的第一组图像数据。所述颜色通道处理器降低所述一或多个色度通道的分辨率以产生 一或多个分辨率降低的色度通道。所述颜色通道处理器将所述亮度通道及所述一或多个分 辨率降低的色度通道布置成第二组图像数据。所述亮度通道及所述一或多个分辨率降低的 色度通道的空间坐标在所述第二组图像数据的空间位置中不重叠。所述处理装置将所述第 二组图像数据传输到下游装置。
[0008] 在实例中，所述第一组图像数据及所述第二组图像数据可由多个像素组成，所述 多个像素中的每一像素具有所述一或多个色度通道及所述亮度通道。
[0009] 在实例中，降低所述一或多个色度通道的所述分辨率可包括按至少一个倍频程抽 取所述一或多个色度通道。在实例中，按至少一个倍频程抽取所述一或多个色度通道可包 括按一个以上倍频程抽取所述一或多个色度通道。
[0010] 在实例中，降低所述一或多个色度通道的所述分辨率可包括使用降采样方法抽取 所述一或多个色度通道。使用降采样方法抽取所述一或多个色度通道可包括使用插值方法 通过连续地应用单倍频程降采样步骤抽取所述一或多个色度通道。
[0011] 在实例中，所述处理装置可向所述下游装置传输包括所述第一组图像数据的所述 一或多个色度通道的所述分辨率的降低程度的信息。在实例中，所述处理装置可向所述下 游装置传输包括所述第二组图像数据的所述亮度通道及所述一或多个分辨率降低的色度 通道的所述布置的信息。所述信息可包括所述亮度通道及所述一或多个分辨率降低的色度 通道的所述空间坐标不重叠的指示。
[0012] 在实例中，所述颜色通道处理器可将所述第二组图像数据传输到编码器。所述编 码器可操作以使用编码方法编码所述第二组图像数据。所述编码器可将所述经编码的第二 组图像数据传输到传输器。所述传输器可将所述经编码的第二组图像数据传输到所述下游 装置。
[0013] 通过提供一种用于解码图像数据的系统及方法而在所属领域中补救上述问题且 实现技术解决方案。第一处理装置从第二处理装置接收包括一或多个色度通道及一亮度通 道的第一组图像数据。所述一或多个色度通道在分辨率方面相对于所述亮度通道而降低。 所述第一处理装置进一步从所述第二处理装置接收包括所述一或多个色度通道的所述分 辨率的降低程度的第一信息及包括所述亮度通道及所述一或多个分辨率降低的色度通道 的空间布置的第二信息。所述第一处理装置的颜色通道处理器鉴于所述第二信息而反转所 述亮度通道及所述一或多个分辨率降低的色度通道的所述空间布置以产生第二组图像数 据。所述颜色通道处理器鉴于所述第一信息而恢复所述一或多个分辨率降低的色度通道的 所述分辨率以实质上匹配于所述经分离亮度通道的所述分辨率以产生第三组图像数据。所 述第一处理装置将所述第三组图像数据传输到下游装置。
[0014] 在实例中，所述第一组图像数据、所述第二组图像数据及所述第三组图像数据是 由多个像素组成，所述多个像素中的每一像素具有所述一或多个色度通道及所述亮度通 道。
[0015] 在实例中，所述第一信息可指示按至少一个倍频程抽取所述一或多个分辨率降低 的色度通道。在实例中，所述第一信息可指示按一个以上倍频程抽取所述一或多个分辨率 降低的色度通道。
[0016] 在实例中，所述第二信息可指示所述亮度通道及所述一或多个分辨率降低的色度 通道的空间坐标不重叠。
[0017] 在实例中，反转所述亮度通道及所述一或多个分辨率降低的色度通道的所述空间 布置可包括鉴于所述第一信息而将所述亮度通道与所述一或多个分辨率降低的色度通道 分呙。
[0018] 在实例中，恢复所述一或多个分辨率降低的色度通道的所述分辨率以实质上匹配 于所述经分离亮度通道的所述分辨率可包括执行所述经分离的经抽取色度通道的联合双 边升采样以匹配于所述经分离亮度通道的所述分辨率。
[0019] 在实例中，根据所述第一信息及所述第二信息使用所述经分离亮度通道作为统计 先验。
[0020] 在实例中，所述联合双边升采样可为所述经分离的经抽取色度通道的逐倍频程多 尺度联合双边升采样。
[0021] 在实例中，所述颜色通道处理器可对所述经恢复的一或多个色度通道执行直方图 拉伸操作。
[0022] 在实例中，恢复所述分辨率可进一步包括组合所述经分离的经恢复的一或多个色 度通道及所述亮度通道以产生所述第三组图像数据。可将所述经恢复的第三组图像数据传 输到显示器或下游装置。
【附图说明】
[0023] 结合附图考虑下文提出的实例的详细描述将更容易理解本发明，且其中相同的元 件符号是指类似的元件。
[0024] 图1为说明实例计算系统的框图，本发明的实例可在所述实例计算系统中操作。
[0025] 图2为说明与图1的编码计算系统相关联的编码方法的实例的流程图。
[0026] 图3为说明解码计算系统的实例的框图，本发明的实例可在所述解码计算系统中 操作。
[0027] 图4为说明与图3的编码计算系统相关联的解码方法的实例的流程图。
[0028] 图5为图1及3的计算系统相结合而工作的实例实施方案的框图。
[0029] 图6展示全分辨率亮度通道及经双倍频程抽取的色度通道在相同空间程度中共 同混合的布置（现有技术）。
[0030] 图7展示通过使亮度与按一个以上倍频程抽取的色度通道共同混合而引入的阴 影假象（现有技术）。
[0031] 图8展示亮度通道及按一个以上倍频程子采样的色度通道的所揭露空间布置。
[0032] 图9展示亮度通道及按一个以上倍频程子采样的色度通道的所揭露空间布置，所 述一个以上倍频程允许更有效地使用可用帧程度。
[0033] 图10展示HVS针对明度及颜色的空间分辨率敏感度。
[0034] 图11展示原始全分辨率Cb通道。
[0035] 图12展示当与按一个以上倍频程抽取的色度通道一起使用时通过现有技术色度 按比例放大过程而引入的Cb通道中的颜色溢出（现有技术）。
[0036] 图13展示通过本发明的实例恢复Cb通道。
[0037] 图14说明呈计算机系统的实例形式的机器的图形表示，在所述计算机系统内可 执行用于致使所述机器执行本文中论述的方法中的一或多者的一组指令。
[0038] 应理解，附图是出于说明本发明的概念的目的且可不按比例。
【具体实施方式】
[0039] 本发明的实施例提供一种用于按一个以上倍频程抽