基于rgb编解码器发送和接收运动图像的方法和设备的制作方法

专利名称：基于rgb编解码器发送和接收运动图像的方法和设备的制作方法
技术领域：
符合本发明的方法和设备涉及基于红、绿、蓝(RGB )编解码器(codec ) 来发送和接收运动图像，更具体地说，涉及一种当发送和接收运动图像时， 在不需要任何RGB图像与YCbCr图像之间的转换的情况下发送和接收运动 图像的方法。
背景技术：
在大量现有数字音频/视频(AV)系统中采用的运动图像编解码器基于 YCbCr图像。因此，即使由相机拍摄的图像信息基于RGB图像，考虑到当图 像信息被压缩为YCbCr图像时将提高压缩率，所以RGB图像被转换为YCbCr 图像，并且YCbCr图像被压缩。因此，当执行解码时，这些YCbCr图像必 须被转换回RGB图像。


图1是现有技术的基于YCbCr的运动图像编解码器系统的框图。
参照图1,现有技术的基于YCbCr运动图像编解码器系统包括编码设备 120和解码设备140。编码设备120包括第一格式转换单元122、子采样器 124和YCbCr编码器126。
第一格式转换单元122将接收的RGB图像转换为YCbCr图像。如果釆 用4:2:0格式的编解码器，则子采样器124将具有4:4:4才各式的YCbCr图像转 换为具有4:2:0格式的YCbCr图像。YCbCr编码器126对从子采样器124接 收的具有4:2:0格式的YCbCr图像进行编码。YCbCr编码器126可以是基于 MPEG2或H.264的编码器。
解码设备140包括YCbCr解码器142、上采样器144和第二格式转换 器146。
YCbCr解码器142对接收的流进行解码并输出解码的YCbCr图像。
YCbCr解码器142可以是基于MPEG2或H.264的解码器。如果解码的YCbCr 图像是具有4:2:0格式的YCbCr图像，则解码的YCbCr图像被转换为具有 4:4:4格式的YCbCr图像。第二格式转换器146将具有4:4:4格式的YCbCr 图像转换为具有4:4:4格式的RGB图像，并将具有4:4:4格式的RGB图像输 出到显示单元(未示出)。
由于现有技术的运动图像编解码器基于YCbCr图像，所以RGB图像必 须被转换为YCbCr图像，因此，增加了转换计算量。此外，当RGB图像被 转换为YCbCr图像并且YCbCr图像被编码时，无法提供高质量的图像。
同时，由于已经研发了作为无线发送/接收技术的IEEE 802.11x标准、 IEEE 802.16x标准等，因此高清晰度(HD )级别运动图像的无线接收和发送 已经结合到消费电子(CE)产品中。具体说来，作为WiFi技术的802.11系 列的无线局域网(WLAN)技术达到400Mbps的最大速率并实现了低压缩和 高清晰度的发送/接收。
因此，需要一种高清晰度运动图像发送/接收系统，在该系统中，能够提 供高清晰度图像的图像编解码器与最近研发的无线发送/接收技术相结合。

发明内容
本发明提供一种基于RGB编解码器的运动图像发送和接收方法以及设备。
根据本发明的一方面，提供一种基于RGB编解码器的运动图像发送方 法，包括对RGB图像执行RGB编码并产生编码的RGB图像；接收音频比 特流；基于编码的RGB图像和所述音频比特流产生传输流，其中，基于先前 RGB图像，使用用于对当前图像进行编码的帧间预测或帧内预测来执行RGB编码。
所述方法还包括接收具有不同于RGB图像的格式的格式的图像流；以 及将所述图像流的格式转换为RGB图像的格式。
所述图像流是基于YCbCr的传输流，并且转换所述图像流的格式的步骤 包括对基于YCbCr的传输流进行解码；以及将解码的基于YCbCr的传输 流转换为RGB图像。
所述方法还包括接收基于不同于RGB编解码器的预定编解码器的传输 流；以及将产生的传输流与接收的传输流复用并发送复用的结果。
根据本发明的另一方面，提供一种基于RGB编解码器的运动图像发送设 备，包括RGB编码单元，对RGB图像执行RGB编码并产生编码的RGB 图像；音频比特流接收单元，接收音频比特流；以及传输流产生单元，基于 编码的RGB图像和所述音频比特流产生传输流，其中，RGB编码单元包括 帧内预测和帧间预测单元，基于先前RGB图像执行用于对当前图像进行RGB 编码的帧间预测或帧内预测。
所述设备还包括接收器，接收具有不同于RGB图像的格式的格式的图 像流；RGB图像转换单元，将图像流的格式转换为RGB图像的格式。
具有不同于RGB图像的格式的格式的图像流是基于YCbCr的传输流， 并且RGB格式图像转换单元包括YCbCr解码单元，对基于YCbCr的传输 流进行解码；以及格式转换单元，将解码的基于YCbCr的传输流转换为RGB 图像。
根据本发明的另一方面，提供一种基于RGB编解码器的运动图像发送方 法，包括确定输入图像是否是具有RGB格式的图像；根据确定结果选择性 地将输入图像转换为RGB图像，并存储输入图像或转换的图像；对存储的图 像执行RGB编码；基于RGB编码的图像产生传输流并发送传输流，其中， 基于先前RGB图像，使用用于对当前图像进行RGB编码的帧间预测或帧内 预测执行RGB编码。
输入图像是基于YCbCr的传输流，并且用于将输入图像转换为RGB图 像的方法包括对基于YCbCr的传输流进行解码；将解码的YCbCr图像转 换为RGB图像。
根据本发明的另一方面，提供一种基于RGB编解码器的运动图像发送设 备，包括确定单元，确定输入图像是否是具有RGB格式的图像；RGB图 像转换单元，根据确定结果选择性地将输入图像转换为RGB图像；图像存储 单元，存储输入图像或转换的图像；RGB编码单元，对存储的图像执行RGB 编码；以及传输流产生和发送单元，基于RGB编码的图像产生传输流，并发 送产生的传输流，其中，RGB编码单元包括帧内预测和帧间预测单元，基 于先前RGB图像执行用于对当前图像进行RGB编码的帧间预测或帧内预测。
根据本发明的另 一方面，提供一种基于RGB编解码器的运动图像接收方 法，包括接收包括编码的RGB图像和音频比特流的传输流，并从传输流提 取编码的RGB图像；以及对编码的RGB图像执行解码，其中，基于先前解 码的RGB图像，使用用于对当前图像进行解码的帧间预测或帧内预测执行对 编码的RGB图^f象的解码。
根据本发明的另一方面，提供一种基于RGB编解码器的运动图像接收设 备，包括提取单元，接收包括编码的RGB图像和音频比特流的传输流，并 从传输流提取编码的RGB图像；以及
RGB解码单元，对编码的RGB图像执行解码，其中，RGB解码单元基 于先前解码的RGB图像执行用于对当前图像进行解码的帧间预测或帧内预 测。
根据本发明的另 一方面，提供一种基于RGB编解码器的运动图像接收方 法，包括接收包括包含编码的RGB图像的基于RGB编解码器的传输流以 及基于不同于RGB编解码器的编解码器的传输流的比特流；从所述比特流提 取基于RGB编解码器的传输流以及基于不同于RGB编解码器的编解码器的 传输流；以及确定提取的传输流是基于RGB编解码器的传输流还是基于不同 于RGB编解码器的编解码器的传输流，并根据确定结果选择性地执行RGB 解码或与不同于RGB编解码器的预定编解码器相应的解码，其中，基于先前 解码的RGB图像，使用用于对当前图像进行解码的帧间预测或帧内预测来执 行RGB解码。
根据本发明的另一方面，提供一种基于RGB编解码器的运动图像接收设 备，包括接收器，接收包括包含编码的RGB图像的基于RGB编解码器的 传输流以及基于不同于RGB编解码器的编解码器的传输流的比特流；提取 器，从所述比特流提取基于RGB编解码器的传输流以及基于不同于RGB编 解码器的编解码器的传输流；以及解码单元，确定提取的传输流是基于RGB 编解码器的传输流还是基于不同于RGB编解码器的编解码器的传输流，并根 据确定结果选择性地执行RGB解码或与不同于RGB编解码器的编解码器相 应的解码，其中，解码单元基于先前解码的RGB图像，使用用于对当前图像 进行解码的帧间预测或帧内预测来执行RGB解码。
根据本发明的另 一方面，提供一种包含用于执行运动图像发送方法的程 序的计算机可读记录介质，所述方法包括对RGB图像执行RGB编码并产 生编码的RGB图像；接收音频比特流；基于编码的RGB图像和所述音频比 特流产生传输流，其中，基于先前RGB图像，使用用于对当前图像进行编码 的帧间预测或帧内预测来执行RGB编码。
根据本发明的另 一方面，提供一种包含用于执行运动图像发送方法的程
序的计算机可读记录介质，所述方法包括确定输入图像是否是具有RGB格 式的图像；根据确定结果选择性地将输入图像转换为RGB图像，并存储输入 图像或转换的图像；对存储的图像执行RGB编码；基于RGB编码的图像产 生传输流并发送传输流，其中，基于先前RGB图像，使用用于对当前图像进 行RGB编码的帧间预测或帧内预测执行RGB编码。
根据本发明的另 一方面，提供一种包含用于执行运动图像接收方法的程 序的计算机可读记录介质，所述方法包括从包括编码的RGB图像和音频比 特流的传输流提取编码的RGB图像；以及对编码的RGB图像执行解码，其 中，基于先前解码的RGB图像，使用用于对当前图像进行解码的帧间预测或 帧内预测执行RGB解码。
根据本发明的另 一方面，提供一种包含用于执行运动图像接收方法的程 序的计算机可读记录介质，所述方法包括接收包括包含编码的RGB图像的 基于RGB编解码器的传输流以及基于不同于RGB编解码器的预定编解码器 的传输流的比特流；从所述比特流提取基于RGB编解码器的传输流以及基于 不同于RGB编解码器的预定编解码器的传输流；以及确定提取的传输流是基 于RGB编解码器的传输流还是基于不同于RGB编解码器的预定编解码器的 传输流，并根据确定结果选择性地执行RGB解码或与不同于RGB编解码器 的预定编解码器相应的解码，其中，基于先前解码的RGB图像，使用用于对 当前图像进行解码的帧间预测或帧内预测来执行RGB解码。
附图说
通过结合附图进行的对示例性实施例的详细描述，本发明的上述和其它
方面将会变得更加清楚，其中
图1是现有技术的基于YCbCr的运动图像编解码器系统的框图2是根据本发明示例性实施例的基于RGB编解码器的运动图像发送设
备的框图3是根据本发明示例性实施例的RGB编码单元的框图； 图4是根据本发明示例性实施例的基于RGB编解码器的运动图像发送方 法的流程图5是根据本发明示例性实施例的基于RGB编解码器的运动图像接收设
备的框图6是根据本发明示例性实施例的RGB解码单元的框图； 图7是根据本发明示例性实施例的基于RGB编解码器的运动图像接收方 法的流程图8是根据本发明另 一示例性实施例的基于RGB编解码器的运动图像发 送设备的框图9是根据本发明另 一 示例性实施例的基于RGB编解码器的运动图像发 送方法的流程图IO是根据本发明另一示例性实施例的基于RGB编解码器的运动图像 接收设备的框图11是根据本发明另一示例性实施例的基于RGB编解码器的运动图像 接收方法的流程图12是才艮据本发明另一示例性实施例的基于RGB编解码器的运动图像 发送设备的框图13是根据本发明示例性实施例的RGB图像转换单元的框图；以及 图14是根据本发明另一示例性实施例的基于RGB编解码器的运动图像 发送方法的流程图。
具体实施方式
以下，将参照附图来详细描述本发明的示例性实施例。 图2是根据本发明示例性实施例的基于RGB编解码器的运动图像发送设 备的框图。
参照图2，基于RGB编解码器的运动图像发送设备包括RGB编码单 元240、传输流产生器260、发送器280以及RGB图像输入和存储单元220， 所述RGB图像输入和存储单元包括模拟接口 222、数字接口 224和RGB 图像存储单元226。
模拟接口 222接收模拟RGB图像，并将模拟RGB图像输出到RGB图 像存储单元226。模拟RGB图像可以是复合视频、分量视频、S-视频、VESA 视频等。
数字接口 224接收数字RGB图像，并将数字RGB图像输出到RGB图 像存储单元226。数字RGB图像可以是高清晰度多媒体接口 (HDMI)图像、最小化传输差分信号(TMDS)图像或低电压差分信号(LVDS)图像。
RGB图像存储单元226存储从模拟接口 222接收的模拟RGB图像或从 数字接口 224接收的数字RGB图像。RGB图像存储单元226可以是同步 动态随机存取存储器(SDRAM )、双数据速率SDRAM (DDR SDRAM )、双 数据速率2 SDRAM ( DDR2 SDRAM )、静态随机存取存储器(SRAM)或诸 如寄存器的易失性存储装置。此外，RGB图像存储单元226可以是非易失性 存储装置，诸如硬盘或闪存。RGB图像存储单元226将存储的模拟RGB图 像或数字RGB图像输出到RGB编码单元240。
RGB编码单元240对接收的模拟RGB图像或接收的数字RGB图像执行 编码，并将编码的比特流输出到传输流产生器260。稍后将参照图3来详细 描述RGB编码单元240。
传输流产生器260将从RGB编码单元240接收的编码的比特流与从外部 接收的音频比特流复用，产生传输流，随后将传输流输出到发送器280。
发送器280发送传输流。在示例性实施例中，发送器280是基于作为无 线发送和接收标准的802.11n标准的无线发送模块。然而，发送器280可以 是能够选择性地发送传输流的任意发送装置。
图3是图2所示的RGB编码单元240的框图。
参照图3, RGB编码单元240包括变换和量化单元310、反变换 (inverse-transformation)禾口反量4b ( dequantization )单元320、 去》夹步支应 (de-blocking )滤波器330、 RGB图像存储单元340、帧间/帧内预测单元350、 第一加法器360、第二加法器362和熵编码单元370。
变换和量化单元310变换接收的图像数据以去除图像数据的空间冗余。 此外，根据量化方法对通过变换和编码获得的变换系数进行量化，并获得作 为包括量化的变换系数的二维数据的NxM数据。所使用的图像转换可以是 离散余弦变换(DCT)。
反变换和反量化单元320对通过变换和量化单元310量化的图像数据进 行反量化，并对反量化的图像数据执行反图像转换(例如，反DCT)。
第二加法器362将从帧间/帧内预测单元350输出的预测图像与由反变换 和反量化单元320恢复的数据相加，并产生恢复的图像。
去块效应滤波器330对恢复的图像执行滤波并将滤波的结果输出到RGB 图像存储单元340,以便从由第二加法器362输出的恢复的图像去除由量化引起的块效应现象。如果需要，则可省略去块效应滤波器330。
RGB图像存储单元340以帧为单位存储由反变换和反量化单元320进行 反变换和反量化的图像数据，或由去块效应滤波器330进行滤波的图像数据。 RGB图像存储单元340可以是SDRAM、 DDR SDRAM、 DDR2 SDRAM、 SRAM或寄存器。将存储在RGB图像存储单元340中的恢复的RGB图像延 迟一段时间，随后将其输出并用于帧间预测或帧内预测。
帧间/帧内预测单元350包括帧内预测单元以及运动预测和补偿单元(未 示出)。
在帧内宏块的情况下，帧内预测单元在空间区域获得每个块或每个宏块 的预测值(predictor),并将预测值输出到第一加法器360。
运动预测和补偿单元使用当前输入帧的图像数据以及存储在RGB图像 存储单元340中的先前帧的图像数据对每个宏块预测运动矢量MV。此外， 产生基于预测的运动矢量MV进行运动补偿的预测区域P (例如，通过运动 预测选择的16 x 16区域)，并将其输出到加法器360。 RGB编码单元240以 块为单位(例如，以宏块为单位)选择帧间模式或帧间模式之一。
加法器360以预定块为单位将原始RGB图像与从帧间/帧内预测单元350 输出的预测值之间的差信息输出到变换和量化单元310。
熵编码器370接收关于从运动预测和补偿单元输出的运动矢量MV以及 从变换和量化单元310输出的量化的变换系数的信息，对所述信息进行熵编 码，最终输出编码的比特 流o
图4是由图2所示的基于RGB编解码器的运动图像发送设备执行的根据 本发明示例性实施例的基于RGB编解码器的运动图l象发送方法的流程图。
参照图4，在操作410,存储输入RGB图像。更具体地说，如果输入RGB 图像是模拟RGB图像，则经由模拟接口在不经过任何格式转换的情况下以 RGB形式存储模拟RGB图像。另一方面，如果输入RGB图像是数字RGB 图像，则经由数字接口在不经过任何格式转换的情况下以RGB形式存储数字 图像。
然后，在操作420,对在操作410存储的RGB图像进行RGB编码，并 对编码的RGB图像进行解码。存储作为结果产生的解码的RGB图像，并基 于先前恢复的RGB图像执行用于对当前RGB图像进行编码的帧内预测或帧 间预测。
在操作430,接收到音频比特流。
在操作440，将编码的RGB图像与音频比特流复用，从而产生并发送传 输流。
图5是根据本发明示例性实施例的基于RGB编解码器的运动图像接收设 备的框图。
参照图5, RGB图像解码设备包括接收器510、解复用单元520、 RGB 解码单元530以及解码RGB图像存储和输出单元540，所述解码RGB图像 存储和输出单元540包括RGB图像存储单元542、才莫拟接口 544和数字接 口 546。
接收器510接收包括编码的RGB图像和音频流的传输流。
解复用单元520对传输流执行解复用，并从传输流提取编码的RGB图像 和音频流。提取的RGB图像被输出到RGB解码单元530。
RGB解码单元530接收编码的RGB图像，对其进行解码并将其输出。 稍后将参照图6来描述RGB解码单元530。
RGB图像存储单元542存储从RGB解码单元530输出的恢复的RGB图 像。在当前示例性实施例中，将存储的RGB图像延迟一段时间，并将其输出 到模拟接口 544和数字接口 546。
RGB图像存储单元542可以是SDRAM、DDR SDRAM、DDR2 SDRAM、 SRAM或诸如寄存器的易失性存储装置。此外，RGB图像存储单元542可以 是非易失性存储装置，诸如硬盘或闪存。RGB图像存储单元542选择性地将 存储的模拟RGB图像或存储的数字RGB图像分别输出到模拟接口 544或数 字接口 546。
模拟接口 544接收模拟RGB图像并将模拟RGB图像输出到显示单元(未 示出)。模拟RGB图像可以是复合视频、分量视频、S-朝L频、VESA视频等。
数字接口 546接收数字RGB图像并将数字RGB图像输出到显示单元(未 示出)。数字RGB图像可以是HDMI图像。
图6是图5所示的RGB解码单元530的框图。
参照图6， RGB解码单元530包括熵解码器610、反变换和反量化单 元620、去块效应滤波器630、 RGB图像存储单元640、帧间/帧内预测单元 650和加法器660。
熵解码器610对编码的输入流进行熵解码，并从输入流提取图像数据、
运动矢量等。将熵解码的图像数据传送到反变换和反量化单元620,将运动 矢量信息传送到帧间/帧内预测单元650。
反变换和反量化单元620对由熵解码器610提取的图像数据执行反变换 和反量化。
去块效应滤波器630对经过反变换和反量化的图像数据执行滤波，并将 滤波的结果输出到RGB图像存储单元640和显示单元(未示出)，以便从由 第二加法器660产生的恢复的图像去除由量化引起的块效应现象。如果需要， 则可省略去块效应滤波器630。
RGB图像存储单元640以帧为单位存储由反变换和反量化单元620进行 反变换和反量化的图像数据，或由去块效应滤波器630进行滤波的图像数据。 RGB图像存储单元640可以是SDRAM、 DDR SDRAM、 DDR2 SDRAM、 SRAM或寄存器。将存储在RGB图像存储单元640中的恢复的RGB图像延 迟一段时间，随后将其输出并用于帧间预测和帧内预测。
帧间/帧内预测单元650包括帧内预测单元(未示出)以及运动预测和补 偿单元(未示出)。
在帧内宏块的情况下，帧内预测单元在空间区域获得每个块或每个宏块 的预测值(predictor),并将预测值输出到加法器660。运动预测和补偿单元 基于提取的运动矢量以及从RGB图像存储单元640接收的先前帧来产生预测 区域P (例如，通过运动预测选才奪的16 x 16区域)。
加法器660将由反变化和反量化单元620进行解码的RGB图像与从帧间 /帧内预测单元650输出的预测值相加，以便恢复RGB图像，并将恢复的RGB 图像直接输出到显示单元(未示出)和RGB图像存储单元640,或经由去块 效应滤波器630输出到显示单元(未示出)和RGB图^(象存储单元640。
图7是由图5所示的基于RGB编解码器的运动图像接收设备执行的根据 本发明示例性实施例的基于RGB编解码器的运动图像接收方法的流程图。
在操作710,接收包括编码的RGB图像和音频比特流的传输流。
在操作720,从传输流提取编码的RGB图像和音频比特流。
在操作730,对提取的编码的RGB图像执行解码，存储解码的RGB图 像，并基于先前解码的RGB图像执行用于对当前RGB图像进行解码的帧间 预测或帧内预测。更具体地说，将解码的RGB图像延迟一段时间，并经由模 拟接口或经由数字接口将所述RGB图像输出。
图8是根据本发明另 一示例性实施例的基于RGB编解码器的运动图像发 送设备的框图。
参照图8，基于RGB编解码器的运动图像发送设备包括RGB编码单 元830、传输流产生器840、复用单元850、发送器860和RGB图像输入和 存储单元820，所述RGB图像输入和存储单元包括模拟接口 822、数字接 口 824和RGB图像存储单元826。
模拟接口 822接收模拟RGB图像并将模拟RGB图像输出到RGB图像 存储单元826。模拟RGB图像可以是复合视频、分量视频、S-视频、VESA 视频等。
数字接口 824接收数字RGB图像，并将数字RGB图像输出到RGB图 像存储单元826。数字RGB图像可以是HDMI图像、TDMS图像或LVDS图像。
RGB图像存储单元826存储通过模拟接口 822接收的模拟RGB图像或 通过数字接口 824接收的数字RGB图像。RGB图像存储单元826可以是 SDRAM、 DDR SDRAM、 DDR2 SDRAM、 SRAM或诸如寄存器的易失性存 储器。此外，RGB图像存储单元826可以是非易失性存储装置，诸如硬盘或 闪存。RGB图像存储单元826将存储的模拟RGB图像或数字RGB图像输出 到RGB编码单元830。
RGB编码单元830对模拟RGB图像或数字RGB图像进行编码，并输出 编码的比特流。RGB编码单元830在图3中示出，因此，将省略对它的详细 描述。
传输流产生器840对从RGB编码单元830接收的编码的RGB图像和从 外部接收的音频比特流执行复用，并以传输流的格式将复用的结果输出到复 用单元850。选择性地，传输流产生器840可仅使用编码的RGB图像来产生 传输流并将传输流输出到复用单元850。
同时，如果基于RGB编解码器的运动图像发送设备接收基于MPEG2的 传输流，则基于RGB编解码器的运动图像发送设备为基于MPEG2的传输流 设置到达复用单元850的旁路。
复用单元850对,人传输流产生器840接收的包括编码的RGB图像和音频 比特流的基于RGB的传输流以及接收的基于MPEG2的传输流执行复用，并 将复用的结果输出到发送器860。在当前的示例性实施例中，接收的传输流
是基于MPEG2的传输流。然而，接收的传输流可以是基于任意编解码器的
传输流，例如，基于YCbCr的传输流。
发送器860发送接收的传输流。在当前示例性实施例中，发送器860是 基于802.11n标准的无线发送模块。然而，发送器860可以是发送传输流的 任意发送装置。
图9是由图8所示的基于RGB编解码器的运动图像发送装置执行的根据 本发明另 一 示例性实施例的运动图像发送方法的流程图。
在操作910，接收并存储RGB图像。更具体地说，如果RGB图像是模 拟RGB图像，则经由模拟接口在不经过任何格式转换的情况下以RGB形式 存储模拟RGB图像。此外，如果接收的RGB图像是数字RGB图像，则经由 数字接口在不经过任何格式转换的情况下以RGB形式存储数字图像。
在操作920，对在操作910存储的RGB图像进行编码，并对编码的RGB 图像进行解码。然后，存储解码的RGB图像，并基于先前解码的RGB图像 执行用于对当前RGB图^f象进行编码的帧内预测或帧间预测。
在4喿作930，接收到音频比特流。
在操作940,将编码的RGB图像与音频比特流复用，从而产生传输流。 选择性地，可省略接收音频比特流的操作930。在这种情况下，在操作940 仅使用编码的RGB产生传输流。
在操作950,接收基于MPEG2的传输流，将在操作940产生的传输流与 基于MPEG2的传输流复用，并发送复用的结果。在当前的示例性实施例中， 接收基于MPEG2的传输流。然而，本发明并不受限于基于MPEG2的传输流。 可接收基于任意编解码器的传输流，例如，基于YCbCr编解码器的传输流。
图IO是根据本发明另一示例性实施例的基于RGB编解码器的运动图像 接收设备的框图。
参照图10，基于RGB编解码器的运动图像接收设备包括接收器1010、 解复用单元1020、 YCbCr解码单元1030、 RGB解码单元1040和解码RGB 图像存储和输出单元1050，所述编码RGB图像存储和输出单元1050包括 图像存储单元1052、模拟接口 1054和数字接口 1056。
接收器1010接收包括编码的RGB图像、音频流和基于MPEG2的传输
流的传iir流。
解复用单元1020对所述传输流执行解复用，并从所述传输流提取基于MPEG2的传输流以及包括编码的RGB图像和音频流的基于RGB的传输流。 此外，解复用单元1020从提取的基于RGB的传输流提取音频流。将提取的 基于MPEG2的传输流输出到YCbCr解码单元1030,将提取的基于RGB的 传输流的RGB图像比特流输出到RGB解码单元1040。此外，基于RGB的 传输流可仅包括编码的RGB图像。在这种情况下，省略从基于RGB的传输 流提取音频流的处理。
YCbCr解码单元1030对基于MPEG2的传输流进行解码，并将作为结果 产生的恢复的YCbCr图像输出到图像存储单元1052。在当前的示例性实施例 中，基于YCbCr的传输流是基于MPEG2的传输流，YCbCr解码单元1030 是基于MPEG2的解码装置。选择性地，基于YCbCr的传输流可以是基于任 意编解码器的传输流，YCbCr解码单元1030可以是与所述任意编解码器相应 的解码设备。
以上参照图6描述了 RGB解码单元1040,因此，将省略对它的详细描 述。RGB解码单元1040对编码的RGB图像进行解码并将其输出。
图像存储单元1052存储从YCbCr解码单元1030输出的YCbCr图像和 从RGB解码单元1040输出的恢复的RGB图像。在当前的示例性实施例中， 将存储的YCbCr图像和RGB图像延迟一段时间，然后将其输出到模拟接口 1054和数字接口 1056。
图像存储单元1052可以是SDRAM、 DDR SDRAM、 DDR2 SDRAM、 SRAM或诸如寄存器的易失性存储装置。此外，图像存储单元1052可以是非 易失性存储装置，诸如硬盘或闪存。图像存储单元1052选择性地将存储的模 拟RGB图像或存储的数字RGB图像分别输出到模拟接口 1054或数字接口 1056。
模拟接口 1054接收模拟RGB图像并将模拟RGB图像输出到显示单元 (未示出)。模拟RGB图像可以是复合视频、分量视频、S-视频、VESA视频等。
数字接口 1056接收数字RGB图像并将数字RGB图像输出到显示单元。 数字RGB图像可以是HDMI图像、TMDS图像或LVDS图像。
图ll是由图IO所示的基于RGB编解码器的运动图像接收设备执行的根 据本发明另 一示例性实施例的运动图像接收方法的流程图。
在操作1110,接收基于YCbCr的传输流以及包括编码的RGB图像和音
频比特流的基于RGB的传输流。选择性地，基于RGB的传输流可仅包括编 码的RGB图像。
在操作1120,将接收的比特流解复用，从而提取基于YCbCr的传输流 以及包括编码的RGB图像和音频比特流的基于RGB的传输流。从基于RGB 的传输流提取编码的RGB图像和音频比特流。
在操作1130,如果提取的传输流是基于YCbCr的传输流，则执行YCbCr 解码。如果提取的传输流是基于RGB的传输流，则执行RGB解码并存储解 码的图像。更具体地说，将解码的YCbCr图像延迟一段时间，随后经由模拟 接口或经由数字接口将其输出。
如上所述，如果提取的传输流是基于RGB的传输流，则执行RGB解码， 并存储解码的图像。这里，基于先前解码的RGB图像执行用于对当前图像进 行解码的帧间预测或帧内预测。更具体地说，将解码的RGB图像延迟一段时 间，随后经由模拟接口或经由数字接口将其输出。
图12是根据本发明另一示例性实施例的基于RGB编解码器的运动图像 发送设备的框图。
参照图12,基于RGB编解码器的运动图像发送设备包括RGB编码单 元1230、传输流产生器1240、 RGB图像转换单元1250、发送器1260和RGB 图像输入和存储单元1220，所述RGB图像输入和存储单元1220包括模拟 接口 1222、数字接口 1224和RGB图像存储单元1226。基于RGB编解码器 的运动图像发送设备还可包括RGB图像确定单元1210,其确定输入图像是 否是RGB图像。
由于模拟接口 1222、数字接口 1224、 RGB编码单元1230、传输流产生 器1240和发送器1260执行与图8所示的对应单元相同的功能，所以将省略 对它们的详细描述。
如果输入图像不是RGB图像，则RGB图像转换单元1250将输入图像 转换为RGB图像，并将转换的结果输出到RGB图像存储单元1226。图13 是根据本发明示例性实施例的RGB图像转换单元1250的框图。
参照图13， RGB图像转换单元1250包括YCbCr图像接收器1310、解 复用单元1320、 YCbCr解码单元1330、上采样器1340和格式转换单元1350。
YCbCr图像接收器1310接收包括基于YCbCr的图像流的比特流。YCbCr 图像接收器1310可以是用于数字TV的解调器和调谐器，基于YCbCr的图 像流可以是基于MPEG2的视频流。
解复用单元1320从接收的比特流解复用图像流，并将解复用的结果输出 到YCbCr解码单元1330。
YCbCr解码单元1330对接收的图像流进行解码并产生恢复的YCbCr图 像。在当前的示例性实施例中，基于YCbCr的图像流是基于MPEG2的传输 流，并且YCbCr解码单元1330是基于MPEG2的解码装置。选择性地，接收 的传输流可以是基于任意编解码器的传输流，YCbCr解码单元1030可以是与 所述任意编解码器相应的解码设备。
如果由YCbCr解码单元1330解码的YCbCr图像是具有4:2:0格式的 YCbCr图像，则上采样器1340将具有4:2:0格式的YCbCr图像转换为具有 4:4:4格式的YCbCr图像。
格式转换器1350将具有4:4:4格式的YCbCr图像转换为具有4:4:4格式 的RGB图像，随后将具有4:4:4格式的RGB图像输出到RGB图像存储单元 1226。
如果输入图像是模拟RGB图像，则模拟接口 1222接收模拟RGB图像 并将模拟RGB图像输出到RGB图像存储单元1226。
如果输入图像是数字RGB图像，则数字接口 1224接收数字RGB图像 并将数字RGB图像输出到RGB图像存储单元1226。
RGB图像存储单元1226存储从模拟接口 1222或数字接口 1224以及 RGB图像数据转换单元1250接收的模拟RGB图像或数字RGB图像。
RGB图像存储单元1226将存储的模拟RGB图像或存储的数字RGB图 像输出到RGB编码单元1230。
RGB编码单元1230对模拟RGB图像或数字RGB图像进行编码并输出 编码的比特流。以上参照图3描述了 RGB编码单元1230,因此，将省略对 它的详细描述。
传输流产生器1240对从RGB编码单元1230输出的编码的RGB图像以 及从外部接收的音频比特流执行复用，并以传输流的格式将复用的结果发送 到发送器1260。如果需要，则可按照传输流的格式仅输出编码的RGB图像。
发送器1260发送传输流。
图14是由图12所示的基于RGB编解码器的运动图像设备执行的根据本 发明另 一示例性实施例的运动图像发送方法的流程图。
在操作1410，确定输入图像是否是RGB图像。
在操作1420，如果输入图像不是RGB图像，则将输入图像转换为RGB 图像，如果输入图像是RGB图像，则在不经过任何格式转换的情况下存储输 入图像。
在操作1430,对在操作1320存储的RGB图像执行RGB编码。这里， 在RGB编码之后对编码的RGB图像进行解码，随后存储解码的RGB图像， 并基于先前恢复的RGB图像执行用于对当前图像进行编码的帧内预测或帧 间预测。
在操作1440，基于编码的RGB图像产生传输流。选4奪性地，可从外部 接收音频比特流，可将接收的音频比特流与编码的RGB图像复用，从而产生 传输流。
基于RGB编解码器的运动图像发送设备可预测发送器终端(例如，无线 发送器端)的当前可用信道容量。例如，如果无线发送器是WLAN,则基于 RGB编解码器的运动图像发送设备可计算在没有任何信道差错的情况下可发 送的数据的带宽，其中，带宽信息可以是RGB编码器端的可用比特率信息。 如果接收器终端与发送器终端之间的距离(作为可影响信道带宽的因素)增 加，或者如果在发送器终端与接收器终端之间产生障碍，则带宽可能减少。
因此，将预测的信道容量发送到本发明各个示例性实施例中的RGB编码 单元，并且RGB编码单元可根据通过内部速率控制器接收的信道容量来控制 比特率。例如，如果在以100Mbps执行编码的同时信道容量减少到70Mbps， 则将指示信道容量减少到70Mbps的事实的信息发送到RGB编码单元，因此， 通过速率控制器以适合70Mbps的信道容量执行编码，而图像质量不会严重 恶化。
还可将本发明实现为计算机可读记录介质上的计算机可读代码。计算机 可读记录介质可以是任何可存储其后能够由计算机系统读取的数据的数据存 储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取 存储器(RAM)、 CD-ROM、磁带、软盘、光数据存储装置和载波(诸如通 过互联网的数据传输)。还可将计算机可读记录介质分布于联网的计算机系 统，从而能够以分布方式存储并执行计算机可读代码。
如上所述，在根据本发明的基于RGB编解码器的运动图像发送和接收方 法中，由于在不经过彩色格式转换的情况下执行对输入图像的编码和解码，
所以图像质量不会恶化。此外，如果输入到基于RGB编解码器的运动图像接 收和发送设备的图像不是RGB图像，则由于将所述图像转换为RGB图像并 经过RGB编码，随后将其发送，所以解码设备可仅使用RGB解码器来恢复 接收的图像。因此，可简化解码设备的配置。
尽管参照本发明的示例性实施例示出和描述了本发明，但是本领域的普 通技术人员将理解在不脱离由权利要求及其等同物限定的本发明的精神和 范围的情况下，可对其进行形式和细节上的各种改变。
权利要求
1、一种基于RGB编解码器的运动图像发送方法，包括对RGB图像执行RGB编码以产生编码的RGB图像；接收音频比特流；以及基于编码的RGB图像和所述音频比特流产生传输流，其中，基于先前RGB图像，使用用于对当前图像进行编码的帧内预测或帧间预测来执行RGB编码。
2、 如权利要求1所述的方法，还包括 接收具有不同于RGB图像的格式的格式的图像流；以及 将所述图像流的格式转换为RGB图像的格式。
3、 如权利要求2所述的方法，其中，所述图像流是基于YCbCr的传输 流，并且转换所述图像流的格式的步骤包括 对基于YCbCr的传输流进行解码；以及 将解码的基于YCbCr的传输流转换为RGB图像。
4、 如权利要求1所述的方法，还包括 接收基于不同于RGB编解码器的编解码器的传输流；以及 将产生的传输流与接收的传输流复用并发送复用的结果。
5、 一种基于RGB编解码器的运动图像发送设备，包括RGB编码单元，对RGB图像执行RGB编码以产生编码的RGB图像； 音频比流流4妄收单元，4妾收音频比特流；以及传输流产生单元，基于编码的RGB图像和所述音频比特流产生传输流， 其中，RGB编码单元包括帧内预测和帧间预测单元，基于先前RGB 图像执行用于对当前图像进行RGB编码的帧间预测或帧内预测。
6、 如权利要求5所述的设备，还包括RGB图像转换单元，包括接收器，接收具有不同于RGB图像的格式 的格式的图像流；其中，RGB图像转换单元将所述图像流的格式转换为RGB图像的格式。
7、 如权利要求6所述的设备，其中，具有不同于RGB图像的格式的格 式的图像流是基于YCbCr的传输流，并且RGB图像转换单元还包括YCbCr解码单元，对基于YCbCr的传输流进行解码；以及 格式转换单元，将解码的基于YCbCr的传输流转换为RGB图像。
8、 如权利要求5所述的设备，还包括复用单元，将产生的传输流与接收的基于不同于RGB编解码器的编解码 器的传输流复用，并发送复用的结果。
9、 一种基于RGB编解码器的运动图像发送方法，包括 确定输入图像是否是具有RGB格式的图像； 根据确定结果选择性地将输入图像转换为RGB图像； 存储输入图像或转换的图像；对存储的图像执行RGB编码；基于RGB编码的图像产生传输流；以及发送传输流，其中，基于先前RGB图像，使用用于对当前图像进行RGB编码的帧内 预测或帧间预测执行RGB编码。
10、 如权利要求9所述的方法，其中，输入图像是基于YCbCr的传输流，并且将输入图像转换为RGB图像的步骤包括 对基于YCbCr的传输流进行解码；以及 将解码的YCbCr图像转换为RGB图像。
11、 一种基于RGB编解码器的运动图像发送设备，包括 确定单元，确定输入图像是否是具有RGB格式的图像；RGB图像转换单元，根据确定单元的确定结果选才奪性地将输入图像转换为RGB图像；图像存储单元，存储输入图像或转换的图像； RGB编码单元，对存储的图像执行RGB编码；以及 传输流产生和发送单元，基于RGB编码的图像产生传输流，并发送产生的传输流，其中，RGB编码单元包括帧内预测和帧间预测单元，基于先前RGB 图像执行用于对当前图像进行RGB编码的帧内预测或帧间预测。
12、 如权利要求11所述的设备，其中，输入图像是基于YCbCr的传输 流，并且RGB图像转换单元包括YCbCr解码器，对基于YCbCr的传输流进行解码；以及 格式转换单元，将解码的YCbCr图像转换为RGB图像。
13、 一种基于RGB编解码器的运动图像接收方法，包括 接收包括编码的RGB图像和音频比特流的传输流； 从传输流提取编码的RGB图像；以及对编码的RGB图像执行解码，其中，基于先前解码的RGB图像，使用用于对当前图像进行解码的帧间 预测或帧内预测执行对编码的RGB图像的解码。
14、 一种基于RGB编解码器的运动图像接收设备，包括 接收器，接收包括编码的RGB图像和音频比特流的传输流； 提取单元，从传输流提取编码的RGB图像；以及RGB解码单元，对编码的RGB图像执行解码，其中，RGB解码单元基于先前解码的RGB图像执行用于对当前图像进 行解码的帧间预测或帧内预测。
15、 一种基于RGB编解码器的运动图像接收方法，包括 接收包括包含编码的RGB图像的基于RGB编解码器的传输流以及基于不同于RGB编解码器的编解码器的传输流的比特流；从所述比特流提取基于RGB编解码器的传输流以及基于不同于RGB编 解码器的编解码器的传输流；以及确定提取的传输流是基于RGB编解码器的传输流还是基于不同于RGB 编解码器的编解码器的传输流，以及根据确定结果选择性地执行RGB解码或与不同于RGB编解码器的编解 码器相应的解码，其中，基于先前解码的RGB图像，使用用于对当前图像进行解码的帧间 预测或帧内预测来执行RGB解码。
16、 一种基于RGB编解码器的运动图像接收设备，包括接收器，接收包括包含编码的RGB图像的基于RGB编解码器的传输流 以及基于不同于RGB编解码器的编解码器的传输流的比特流；提取单元，从所述比特流提取基于RGB编解码器的传输流以及基于不同 于RGB编解码器的编解码器的传输流；以及解码单元，确定提取的传输流是基于RGB编解码器的传输流还是基于不 同于RGB编解码器的编解码器的传输流，并根据解码单元的确定结果选择性 地执行RGB解码或与不同于RGB编解码器的编解码器相应的解码，其中，解码单元基于先前解码的RGB图像，使用用于对当前图像进行解 码的帧间预测或帧内预测来执行RGB解码。
全文摘要
提供一种用于发送和接收基于RGB编解码器的运动图像的方法和设备。所述基于RGB编解码器的运动图像发送方法包括对RGB图像执行RGB编码并产生编码的RGB图像；接收音频比特流；以及基于编码的RGB图像和所述音频比特流产生传输流，其中，基于先前RGB图像，使用用于对当前图像进行编码的帧内预测或帧间预测来执行RGB编码。通过在不经过任何彩色格式转换的情况下接收和发送RGB数据，防止图像质量恶化。
文档编号H04N7/52GK101188768SQ20071015459
公开日2008年5月28日 申请日期2007年9月28日 优先权日2006年11月24日
发明者宋秉哲 申请人:三星电子株式会社