经抽取图像数据的传输及恢复的制作方法_3

文档序号:9620965阅读:来源:国知局
完全地与编码处理装置125集成到图1的计算系统100中以提供编码及解码功能性 两者。
[0060] 处理装置325可经配置以通过接收器360从数据源305接收经编码图像数据及一 组配置旗标(例如,图1的编码系统100中使用的配置旗标)。处理装置325可经配置以转 移所述一组配置旗标并创建基于所接收的经编码图像数据的图像数据缓冲器350到解码 器365以解码图像数据缓冲器350及所述一组配置旗标。解码器365可经配置以将图像数 据缓冲器350及所述一组配置旗标转移到作为图像数据缓冲器355的GPU存储器337。
[0061] 处理装置325可经配置以实施颜色通道处理器345以从解码器、多路分用器或解 包器接收图像数据缓冲器355及所述一组配置旗标。在一个实例中,处理装置325可将颜 色通道处理器345实施为GPU340的组件。
[0062] 颜色通道处理器345可经配置以通过根据所述一组配置旗标将经解码的第二图 像的亮度及色度非重叠空间布置分离成分离通道而反转空间布置(例如,图1的编码系统 100中使用的空间布置)。颜色通道处理器345可经配置以根据所述一组配置旗标使用经 分离亮度通道作为统计先验而执行经分离的经抽取色度通道的联合双边升采样以匹配于 经分离亮度通道的分辨率。在实例中,颜色通道处理器345可经配置以执行经分离的经抽 取色度通道的逐倍频程多尺度联合双边升采样以匹配于经分离亮度通道的分辨率。在实 例中,颜色通道处理器345可经配置以对经恢复色度通道执行直方图拉伸操作。颜色处理 器可在图像数据缓冲器355中将经分离通道组合到经恢复图像数据中,其适合于在显示器 370上进行显示输出或适合于传输到一或多个下游装置375 (例如,编码器)。
[0063] 图4为说明用于接收、恢复及按比例放大按一或多个倍频程抽取的图像数据(例 如,数字静止图像或视频)的色度通道的解码方法400的实例的流程图。方法400可由图3 的计算机系统300执行,且可包括硬件(例如,电路系统、专用逻辑、可编程逻辑、微代码等 等)、软件(例如,在处理装置上运行的指令)或其组合。在一个实例中,方法300可主要由 图3的计算系统300的颜色通道处理器345执行。
[0064] 如图4所示,为了允许计算系统300解码图像数据,在框410处,接收器360在图 像数据缓冲器350中从数据源305接收经编码图像数据及一组配置旗标。经编码图像数据 可包括一或多个色度通道及一亮度通道,其中一或多个色度通道在分辨率方面相对于亮度 通道而降低。图像数据缓冲器350中的经编码图像数据可包括多个像素,其中每一像素包 括一亮度通道及一或多个颜色通道。
[0065] 在实例中,配置旗标可传送包括一或多个色度通道的分辨率的降低程度的第一信 息及包括亮度通道及一或多个分辨率降低的色度通道的空间布置的第二信息。在实例中, 第一信息可指示按至少一个倍频程抽取一或多个分辨率降低的色度通道。在实例中,第一 信息可指示按一个以上倍频程抽取一或多个分辨率降低的色度通道。在实例中,第二信息 可传送从数据源305接收的图像的空间布置(例如,经抽取图像数据的亮度通道及色度通 道的再布置,使得亮度通道及色度通道不重叠)。
[0066] 在框420处,解码器365解码所述图像数据及所述一组配置旗标,并将经解码图像 数据放置在处理装置325的图像数据缓冲器350中。在框430处,处理装置325将经解码图 像数据缓冲器305及所述一组配置旗标转移到GPU存储器337的GPU图像数据缓冲器355。 在框440处,颜色通道处理器345从GPU存储器337接收图像数据缓冲器355及所述一组 配置旗标。图像数据缓冲器355中的经解码图像数据可包括多个像素,其中每一像素包括 一亮度通道及一或多个颜色通道。
[0067] 在框450处,颜色通道处理器345鉴于第二信息而反转图像数据缓冲器355中的 图像数据的多个像素的亮度通道及一或多个颜色通道的空间布置(例如,图1的编码系统 100中使用的空间布置)以产生第二组图像数据。在实例中,颜色通道处理器345可鉴于所 述一组配置旗标通过将经解码图像数据的亮度及色度非重叠空间布置分离成分离亮度通 道及一或多个色度通道而反转亮度通道及一或多个颜色通道的空间布置。
[0068] 在框460处,颜色通道处理器345鉴于第一信息而恢复一或多个分辨率降低的色 度通道的分辨率以实质上匹配于经分离亮度通道的分辨率以在图像数据缓冲器355中产 生第三组图像数据。在实例中,颜色通道处理器345可根据所述一组配置旗标使用图像数 据缓冲器355的经分离亮度通道作为统计先验而执行图像数据缓冲器355中的图像数据的 一或多个颜色通道的逐倍频程多尺度联合双边升采样以匹配于图像数据缓冲器355中的 图像数据的经分离亮度通道的分辨率。
[0069] 在实例中,恢复一或多个分辨率降低的色度通道的分辨率以实质上匹配于经分离 亮度的分辨率可进一步包括:颜色通道处理器345组合经分离的经恢复的一或多个色度通 道及亮度通道以在图像数据缓冲器355中产生第三组图像数据。图像数据缓冲器355中的 第三图像数据可包括多个像素,其中每一像素包括一亮度通道及一或多个颜色通道。
[0070] 在框470处,颜色通道处理器345可对图像数据缓冲器中的图像数据的经恢复的 一或多个色度通道执行直方图拉伸操作,其现在适合于在显示器370上进行显示输出或适 合于传输到一或多个下游装置375 (例如,通过网络310的编码器)。
[0071] 在框480处,颜色空间处理器345可将经恢复图像数据传输到显示器370或下游 装置375。
[0072] 在一个实例中,可用图像数据缓冲器350中的图像数据从数据源305(例如,图1 的计算系统100)带内或带外接收所述一组配置旗标。
[0073] 图5为图1及3的计算系统100、300相结合而工作的实例实施方案500的框图。 图1及3的计算系统100、300的实例实施方案500包括在硬件(例如,电路系统、专用逻 辑、可编程逻辑、微代码等等)、软件(例如,在处理装置上运行的指令)或其组合中的实施 方案。
[0074] 如图5所示,可将原始数字图像或视频505输入到第一颜色通道抽取过程510。在 实例中,未抽取亮度通道,仅抽取颜色通道。在实例中,数字图像或视频505可呈YCbCr颜 色格式,且仅抽取CbCr通道。所应用的抽取的程度形成一组配置旗标的第一部分。
[0075] 抽取过程510将亮度及经抽取色度通道输出到空间布置过程520。
[0076] 图6展示全分辨率亮度通道及经双倍频程抽取的色度通道在相同空间程度中共 同混合的布置600。当编码器仅支持色度通道的单倍频程抽取时,用以传输按一个以上倍频 程抽取的色度通道的唯一方式是将它们作为经单倍频程抽取的色度通道的较小部分而嵌 入。图6展示嵌入在顶端左侧第八个帧程度中经抽取CbCr色度通道。
[0077] 图7展示在解码及恢复之后的溢出及阴影假象,其可在执行图5的框520中所示 的空间布置过程及使用图6的布置的情况下引起。注意,全范围图像的锥形体在圆形区域 中具有较小阴影副本。此为具有与亮度通道在分辨率方面的失配的经共同混合的色度通道 的结果。另外,此布置在对大多数现代编码器不利,这是由于这些编码器的预期为色度及亮 度在分辨率方面匹配(或至少如按一个倍频程所抽取而发信色度),使得运动估计可使用 数据的所有三个通道以执行块匹配。此类对应性的缺乏会引起编码器产生更多运动矢量误 差,这又增加对编码更多误差残余数据的需要。
[0078] 图8为图5的空间布置过程520的结果的一个实例800的图解,其中空间布置过 程将色度通道放置在顶端左边图像坐标805 (例如,色度象限805)中,并放置通过色度垂直 分辨率的程度而下移的亮度通道(例如,在亮度象限810中)。此布置防止在分辨率方面失 配的亮度通道及色度通道遭受溢出或阴影假象。应注意,图8的布置包含色度象限805中 的亮度数据及亮度象限810中的色度数据。在色度象限805的情况下,有必要将无正负号 的亮度通道像素值设置为中心或中列数(例如,在8位颜色深度的情况下为127)而非零; 否则,编码器的积极量化会对色度象限805不利,这是由于编码器将色度象限805解释为含 有格外暗的颜色。在亮度象限810的情况下,重要的是确保将有正负号的色度通道像素值 调为零。以此方式,亮度象限810由编码器解释为含有灰度数据。图8的布置的优势为其 通过在将经受得住编码及解码过程的空白区域中设置宏块颜色值而允许配置旗标的带内 发信。所属领域的技术人员应了解,许多此类布置是可能的。
[0079] 图9展示允许更有效地使用可用帧区域的空间布置900的另一实例。对满足及防 止最终假象的唯一要求是确保亮度通道及色度通道的空间程度不重叠。图9包含色度象限 905、910中的亮度数据及亮度象限915中的色度数据。在色度象限905、910的情况下,有必 要将无正负号的亮度通道像素值设置为中心或中列数(例如,在8位颜色深度的情况下为 127)而非零,否则,编码器的积极量化将对色度象限905、910不利,这是由于编码器将色度 象限905、910解释为含有格外暗的颜色。在亮度象限915的情况下,重要的是确保将有正 负号的色度通道像素值调为零。以此方式,亮度象限915由编码器解释为含有灰度数据。
[0080] 空间布置过程520将图像或视频数据输出到编码器525,并向编码器525或直接向 传输器/多路复用器/写入器530传送所述一组配置旗标。所属领域的技术人员应了解, 在许多情况下,文件格式封装或流多路复用过程可与编码器525协同定位。另外,可向编码 器525或传输器/多路复用器/写入器530传送所述一组配置旗标,使得它们被传达到下游 接收器/多路分用器/读取器过程540,且如此而使得不需要编码器525、解码器545、传输 器/多路复用器/写入器530或接收器/多路分用器/读取器540过程的定制实施方案。 如所属领域中众所周知的,文件及流格式为实现这种情形提供多种方式。
[0081] 在实例中,可使用JPEG文件交换格式(下文称JFIF)以封装JPEG压缩图像法,且 JFIF以包含EXIF、ICC配置文件及图片信息的许多格式(其中任一者可用以传送所述一组 配置旗标)指定众所周知的元数据扩展。
[0082] 在实例中,H264编码位流支持包含任选补充增强信息(SEI)标头,其中可嵌入所 述一组配置旗标。这些方法不需改变编码器(或解码器)过程525、545,但是仅需改变向编 码器525或传输器/多路复用器/写入器530输出这些值并伴随地向下游解码器545或接 收器/多路分用器/读取器540查询这些值的能力。
[0083] 用以传送所述一组配置旗标的其它方式根本与编码器或编码解码器格式无关,但 是
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1