专利名称：图像编码方法及装置、图像解码方法及装置、程序、集成电路的制作方法
技术领域：
本发明涉及由多个基色构成的彩色图像的彩色格式的转换以及逆转换。这些基 色也可以属于任意的色彩空间。每一组合的样本数并不一定相同。 一般而言，图像的格 式，即特定的色彩空间以及采样，取决于源图像。在大多情况下，在从照相机输出由该照相 机拍摄的图像时，以通常为同数的由红、绿、蓝这三种的组合构成的RGB格式来输出各个组 合的样本，成为每个样本的位数相同的RGB4:4:4彩色格式，典型而言，成为8位或16位的 RGB4:4:4彩色格式。 彩色格式转换的目的在于，将彩色图像从原来的第一彩色格式(即，基色输入到 彩色格式转换部时的格式)转换为其它的格式。在此，格式是指，色彩空间以及/或采样方 法。 所述的以往技术中彩色格式的转换是固定的。也就是说，与转换对象的图像的图 像内容无关，而同样进行色彩空间转换以及/或，根据情况，有时进行滤光以及子采样。色 彩空间转换与滤光以及子采样这双方被设计为，针对大部分的典型的图像发挥高效率的作 用。该良好的效率有两个意义。第一，色彩空间转换的目的在于降低特定的基色之间的相关 度。该目的是，以由一个亮度分量和两个不同色差分量构成的YUV色彩空间来实现的。这 些色彩空间的色差分量比亮度分量更平滑，因此，以后能够进行子采样，从而因这些率的降 低而导致的失真变小。第二，在执行例如压縮等的其它的编码步骤的情况下，根据输入图像 的格式，针对产生的失真的压縮增益不同。若是进行适当的彩色格式转换后的图像，则能够 更有效率地进行压縮。也就是说，得到更高的压縮增益。因此，若进行以往的固定且独立的 彩色格式的转换以及逆转换，则编码效率有限度。 在本发明中，在彩色格式转换一侧决定彩色格式逆转换系数，将该彩色格式逆转 换系数与编码数据一起提供，从而使更有效率的彩色格式的转换以及逆转换成为可能。
图3示出在本发明为影像传输系统的构成要素的情况下的实施例之一涉及的图像编码装置10以及图像解码装置20。 图3示出的图像编码装置10至少包括彩色格式转换部310、决定部(色彩空间预 测部)320以及编码部130。该图像编码装置IO，对从照相机IIO获得的原图像数据(彩色 图像)lll进行编码，从而生成编码后彩色图像。而且，照相机110可以是连接于图像编码 装置10的外部装置，也可以是图像编码装置10的构成要素之一。以后的实施例中也是同 样的。 照相机110，提供在RGB色彩空间(RGB4:4:4彩色格式)中由有分别同数的样本的 三种基色构成的原图像数据(视频帧)lll的序列。也可以是拜耳模式等的不同采样格子。 原图像数据111输入到彩色格式转换部310，在此，从第一彩色格式转换为第二彩色格式的 图像数据311。原图像数据111也可以输入到决定部320。决定部320能够决定在彩色格 式逆转换部330使用的彩色格式逆转换系数321。决定的彩色格式逆转换系数321与已转 换为第二彩色格式的图像数据311 —起被提供。 对于转换后彩色格式的图像数据311，能够由编码部130还进行编码，在本实施例 中，能够由H. 264/AVC视频编码器还进行编码。而且，编码部130，例如包括将图像数据正交 转换的正交转换部(省略图示)、将图像数据量化的量化部(省略图示)以及进行可变长编 码的可变长编码部(省略图示)。并且，也可以还包括运动补偿部(省略图示)或空间预测 部(省略图示)等。 而且，编码数据伴随包含彩色格式逆转换系数321的编码补助信息，并且通过 通道140被传输。只要符合目标用途的条件，就不论有线还是无线而可以是任何方式， 通道140的传输形式也可以是单点传输(unicast)、多点传输(multicast)以及广播 (broadcast)之中的任一种。 图3所示的图像解码装置20至少包括解码部150以及彩色格式逆转换部330。该 图像解码装置20，对经由通道140从图像编码装置10获得的编码数据进行解码，并且显示 在显示器170。而且，显示器170可以是连接于图像解码装置20的外部装置，也可以是图像 解码装置20的构成要素之一。以后的实施例中也是同样的。 编码数据，由解码部150接收并解码后，被提供到彩色格式逆转换部330。而且，解 码部150，例如包括将图像数据可变长解码的可变长解码部(省略图示)、进行反量化的反 量化部(省略图示)以及进行反正交转换的反正交转换部(省略图示)。并且，也可以还包 括运动补偿部(省略图示)或空间预测部(省略图示)等。 解码部150进行与编码部130相反的处理。本实施例中，解码部150是H. 264/AVC 解码器。彩色格式逆转换系数322也被提供到彩色格式逆转换部330。而且，在彩色格式逆 转换部330，接收的彩色格式逆转换系数322，被用于图像数据312的逆转换。然后，也可以 将得到的图像数据331显示在显示器170。 在本实施例中照相机110是摄像机。但也可以是仅拍摄静止图像的照相机。照 相机110可以以RGB4:4:4格式以外的格式来输出图像，例如，可以以成为马赛克状的原来 的数据的格式、YUV格式或其它的彩色格式来输出图像，但是，在此情况下，输出的基色的样 本以及深度并不一定相同。也可以是，在每次进行色彩空间转换、并且/或滤光以及/或 子采样时，决定彩色格式逆转换系数322。对于经由通道140的数据的传输或向存储介质 的数据的存储，可以按每个图像数据分别进行，也可以按每个包含彩色格式逆转换系数322
15的补助信息分别进行。彩色格式逆转换系数322，与对应的图像数据一起被存储或传输，除 此以外/替代此，以对应的图像数据被多路复用。在进行编码以及解码的情况下，不仅限于 H. 264/AVC标准，例如，也可以是JPEG、 JPEG2000、 MPEG-1、 MPEG-2、 MPEG-4、 H. 261、 H. 263、 DIRAC、其他的已标准化或已获得专利的编码以及解码机制等的图像数据压縮标准或视频 数据压縮标准之中的任一种。进行彩色格式的逆转换后，可以将图像数据显示在位于各种 终端的CRT (Cathode Ray Tube :阴极射线管)、OLED (Organic Electro-Luminescence :有 机电致发光二极管)、LCD (Liquid Crystal Display :液晶显示器)等的各种显示器，也可 以将图像数据印刷或存储。 图4A以及图4B是示出本发明的其它的实施例涉及的包括彩色格式转换部400以 及彩色格式逆转换部480的传输电路的方框图。在此，图4A示出发送一侧的图像编码装置 10，图4B示出接收一侧的图像解码装置20。 图4A示出的图像编码装置10包括彩色格式转换部400、编码部130、色彩空间预 测部430、系数预测部440、解码部450以及系数编码部460。并且，彩色格式转换部400包 括色彩空间转换部410以及滤光-子采样部420，还可以包括色彩空间预测部430。
摄像机110提供RGB4:4:4彩色格式的原图像数据111。 RGB4:4:4彩色格式的原图 像数据111的基色分别被成为R、G、B。彩色格式转换部400包括用于预测色彩空间转换矩 阵的色彩空间预测部430。在此，根据RGB4:4:4彩色格式的原图像数据111的统计值(例 如，第一矩以及第二矩)等的性质，进行预测。其次，利用预测的色彩空间转换矩阵，将原图 像数据111从RGB4:4:4彩色格式转换为新的色彩空间的自适应色彩空间(ACS)。依然，得 到的ACS图像数据411是4:4:4采样格式。在色彩空间转换部410，按照预测目的，可以采 用各种基准。对于基准之一，可以举出ACS色彩空间的三种基色A、C、S的无相关化。根据 KL(Karhunen-Loeve :卡赫能-咯埃夫)转换，从三种RGB基色能够生成相互无相关的三种 ACS基色。该处理是，例如在对三种基色分别进行编码的编码部的情况下合适的。得到的 ACS色彩空间的影像数据，然后，例如由以ISO所规定的低通滤光器进行低域滤光并下采样 (down sampling)。而且，也可以使用其它的滤光器。 首先，如公式1，由色彩空间预测部430决定生成无相关色分量A、 C、 S的 KL(Karh皿en-Loeve :卡赫能-咯埃夫)转换的转换矩阵Tra。 Tra是能够最佳地减轻相关 性的正交转换系数，能够使转换后的坐标系中的任意的轴之间无相关化。此事宜意味着信 号被转换为冗余性最少的坐标系，因此，最合适于用于压縮的正交转换系数。
(公式1)
(式l) 在此，x以及y是示出特定的空间样本的基色的索引。由基色A、 C、 S构成的色彩
空间是自适应色彩空间。在此，称为自适应，这是因为，适应于彩色图像数据或彩色影像数
据的性质的缘故。例如，在决定转换矩阵Tm时，利用彩色图像的统计性质。 然后，在色彩空间转换部410将转换矩阵Tra使用于色彩空间转换。并且，在色彩
空间转换部410，进行公式2的比例縮放_平均化调整处理。(公式2)
16
<formula>formula see original document page 17</formula>(式2) 在此，系数mA是A的平均值，系数mc是C的平均值，系数ms是S的平均值。这些 平均值的全部由色彩空间预测决定。比例縮放系数sA，按照以下的公式3调整A'的动态范<formula>formula see original document page 17</formula><formula>formula see original document page 17</formula> <formula>formula see original document page 17</formula>
<formula>formula see original document page 17</formula>
<formula>formula see original document page 17</formula> [O川]
(公式3)
Z 如i) l,- —
(式3)
、，max(|/l(jf,y)—m」L
比例縮放系数s"按照以下的公式4调整C'的动态范围,
(公式4)
Sc =m，n
2&c-i) 〕 、，raax(|C(xj)-'"c|)J工
比例縮放系数sy按照以下的公式5调整S'的动态范围, (公式5)
=min
2M)
、
(式5) 参数K是基色A'的样本显示用位数，参数be是基色C'的样本显示用位数，参数 h是基色S'的样本显示用位数。所有的比例縮放系数由色彩空间预测部430决定。
在色彩空间转换部410进行色彩空间转换后，例如，若按照非专利文献1 :ISO/ IEC JTC1/SC29/WG11 N6295 "Color format down-conversionfor test sequence generation"(测试序列用彩色格式_下采样)，在滤光_子采样部420对基色C' 、S'进行 滤光并子采样，则成为基色C"、 S"，彩色格式成为ACS4:2:0。图5示出RGB色彩空间以及 ACS色彩空间的基色的采样格子。按照H. 264/AVC标准的规定选择ACS色彩空间的样本位 置。 其次，通过将基色A'、 C"、 S"舍入为下一个整数，从而分别成为
，
，
的值域。 进而，由编码部130对以自适应色彩空间的舍入后的基色A'、C"、S"来表示的图像 数据421进行编码。在本实施例中，编码部130是基于H. 264/AVC标准的编码部。
在彩色格式转换一侧，也由H. 264/AVC的解码部450对编码数据131进行解码。在 编码部130进行不可逆压縮的情况下，执行图像解码之后的图像数据451也可以与执行图 像编码之前的图像数据421不同。若进行解码，则得到以基色A"、 C"'、 S"'来表示的图像数据451。其次，利用色彩 空间转换系数sA、 sc、 Ss、mA、m。ms，在系数预测部440预测其它的彩色格式逆转换系数。
ACS4:2:0彩色格式的解码影像数据，如下被转换为RGB4:4:4彩色格式的解码影 像数据。根据公式6进行比例縮放-平均化调整处理，以作为第一步骤。
(公式6)<formula>formula see original document page 18</formula>(式6) 在第二步骤，计算RGB4:4:4彩色格式的解码图像数据。该解码图像数据的三种基 色被称为R 、G 、B 。在此，符号" (波浪号)"分别示出在紧前的文字的上方附上的符 号，在本说明书中，以下所使用的符号" (波浪号)"的含意相同。为了计算位于x二0， 2， 4…，y = 0， 2， 4…的位置的R 、 、 G B ，而利用以下的公式7。
"、
(公式7)<formula>formula see original document page 18</formula><formula>formula see original document page 18</formula>(式7)滤光长度n禾口滤光系数Wu,K、Wu,(;、Wu,B、WLc,K(i) 、Wi,c,G(i) 、Wi,c,B(i) 、Wi,s,K(i)、
Wu.e(i)、w^,B(i)是由系数预测部440预测的逆转换系数。为了计算位于x = 0，2，4 ，y
=1，3，5.-的位置的\G 、(公式8)
'、'W、
;(-"'),
w，.c,G('')
一i
■J]5(x,y-0.5_2'')
(式8)
式9。
为了计算位于x = 1，3，5-
0，2，4…的位置的IT、G 、B ，而利用以下的公
(公式9)
<formula>formula see original document page 18</formula>
<formula>formula see original document page 18</formula>
(式9)
滤光系数W2,u、W2,A,(;、W2,A,B、W2,c,K(i， j) 、 W2, c, G (i ， j) 、W2,c,B(i， j) 、W2,s,K(i， j) 、 W2,
w2,s,B(i，J)是由系数预测部440预测的逆转换系数。为了计算位于x二 1，3，5…， 5…的位置的R 、G 、B ，而利用以下的公式10。 (公式10)
<formula>formula see original document page 18</formula> <formula>formula see original document page 18</formula>('')(式10) 其次，通过将基色R 、G 、B 舍入为下一个整数，从而分别成为原来的R、 G、 B基 色的值域。
在本实施例中，逆转换系数是作为色彩空间转换系数的sA、 sc、 ss、 mA、 mc、 ms，以及
作为滤光系数的Wu,K、Wu,。Wu,B、WLc,K(i) 、Wi,c,(;(i) 、Wi,c,B(i) 、 Wu,R(i) 、 Wu,c(i) 、 Wu,
B(i) 、w2,u、w2,A,(;、w2,A,B、w2,c,K(i， j) 、w2,c,(;(i， j) 、w2,c,B(i， j) 、w2,s,R(i， j) 、w2,s,(;(i， j) 、w2, s,B(i， J)。 通过使原来的基色R、G、B与解码后基色R、G、B之间的平均平方误差成为最小，从
而预测滤光系数。根据该基准，能够确实计算所有的滤光系数。 例如，为了降低彩色格式逆转换系数的传输所需要的数据率，以哈夫曼(Huffman) 编码、哥伦布(Golomb)编码、指数哥伦布(exponential Golomb)编码、算术编码或除此以 外的可变长编码方法，由系数编码部460对所述的系数进行编码，并从通道140被输出，以 作为编码彩色格式逆转换系数461。并且，根据需要，也可以通过检查和、或前向纠错编码来 保护数据。 编码数据401以及编码彩色格式逆转换系数402，通过通道140被传输，并由图像 解码装置20接收。图4B所示的图像解码装置20包括解码部470、彩色格式逆转换部480 以及系数解码部490。 编码彩色格式逆转换系数402由系数解码部490解码，彩色格式逆转换系数491 被提供到彩色格式逆转换部480。接收的编码数据401由H. 264/AVC的解码部470解码，解 码后的图像数据471被提供到彩色格式逆转换部480。而且，如上所述，利用接收的彩色格 式逆转换系数491 ，进行彩色格式逆转换。对于上采样和色彩空间逆转换，在本实施例中，在 彩色格式逆转换的单一步骤进行，但也可以分别进行。并且，也可以仅进行上采样以及色彩 空间逆转换的任一方。在此情况下，有时分别需要用于色彩空间逆转换的系数和用于上采 样的系数。然后，以舍入后的基色R 、G 、B 来表示的图像数据481被传输到显示器170。
图6A以及图6B示出本发明的其它的实施例涉及的包括彩色格式的转换以及逆转 换的传输电路的方框图。在此，图6A示出发送一侧的图像编码装置10，图6B示出接收一 侧的图像解码装置20。并且，图7A是示出图6A的图像编码装置10的工作的流程图，图7B 是示出图6B的图像解码装置20的工作的流程图。 图6A所示的图像编码装置10包括彩色格式转换部600、编码部130、解码部450、 色彩空间预测部630、插值滤光系数预测部640、色彩空间逆转换预测部650、上采样-插值 部660以及辅助信息编码部670。并且，彩色格式转换部600包括色彩空间转换部610以及 滤光-子采样部620。 色彩空间预测部630，根据从照相机110获得的原图像(彩色图像)lll的特性，计 算色彩空间转换系数。色彩空间转换部610，根据色彩空间预测部630计算出的色彩空间转 换系数，将原图像数据111的色彩空间从第一色彩空间转换为与第一色彩空间不同的第二 色彩空间，从而生成色彩空间转换后彩色图像。滤光_子采样部620，除去色彩空间转换后 彩色图像中包含的样本的一部分，从而生成采样后彩色图像。 编码部130，对采样后彩色图像进行编码，从而生成编码后彩色图像。解码部450， 对编码后彩色图像进行解码，从而生成解码后彩色图像。上采样_插值部660，对解码后彩 色图像的样本进行插值，从而生成插值后彩色图像。 插值滤光系数预测部640，计算用于对样本进行插值的上采样处理的上采样系数。 更具体而言，计算上采样系数，以使得解码后彩色图像与所述色彩空间转换后彩色图像之间的平均平方误差成为最小。 色彩空间逆转换预测部650，计算用于将色彩空间从第二色彩空间逆转换为第一 色彩空间的色彩空间逆转换系数。具体而言，将插值后彩色图像的色彩空间从第二色彩空 间逆转换为第一色彩空间，从而生成色彩空间逆转换后彩色图像。而且，计算色彩空间逆转 换系数，以使得色彩空间逆转换彩后色图像与彩色图像之间的平均平方误差成为最小。
辅助信息编码部670，对包含上采样系数、色彩空间逆转换系数以及色彩空间转换 系数的辅助信息进行编码，从而生成编码后辅助信息。而且，该图像编码装置io，将编码后 彩色图像以及编码后辅助信息输出到通道140。 在此，分别预测色彩空间逆转换的逆转换系数和插值滤光的逆转换系数。与此相 对应，在逆转换一侧，与色彩空间逆转换分开进行上采样以及插值滤光。参照图6A以及图 7A，说明图像编码装置10的工作。 与图4A以及图4B示出的处理相同，照相机110提供RGB4:4:4格式的原图像数据 lll(Sll)。该原图像数据111，在色彩空间预测部630被用于色彩空间预测，在此决定转换 矩阵Tm。而且，进行预测的转换后，输入的原图像数据111的色彩空间，在色彩空间转换 部610被转换为与决定的转换相对应的自适应色彩空间的图像数据611 (S12)。被色彩空 间转换为ACS4:4:4彩色格式的图像数据611，其次，在滤光-子采样部620被进行滤光以 及子采样，从而成为ACS4:2:0彩色格式的图像数据621(S13)。 ACS4:4:4彩色格式的图像 数据621，由H. 264/AVC的编码部130编码(S14)，并被传输到解码部450，以作为编码数据 622 (S15)。 解码后，得到的数据被用于插值滤光系数预测部640(S16)。有时预测插值滤光为 维纳滤光。在此情况下，使进行了上采样以及插值的ACS4:2:0彩色格式的解码图像数据 与ACS4:4:4彩色格式的图像数据611之间的平均平方误差成为最小，从而预测滤光系数。 也可以采用其它的预测基准。例如，也可以使数据率以及平均平方误差的拉格朗日成本 (Lagrangiancosts)成为最小。利用预测的滤光系数，在上采样_插值部660对图像数据 进行采样并插值。并且，上采样后的图像数据，也在色彩空间逆转换预测部650被用于色彩 空间逆转换的预测(S17)。色彩空间逆转换预测部650，除了利用ACS4:4:4彩色格式的解 码图像数据以及RGB4:4:4彩色格式的原图像数据111以外，还利用由色彩空间预测部630 预先决定的色彩空间转换参数，进行预测。据此，也可以使RGB4:4:4彩色格式的解码图像 数据与RGB4:4:4彩色格式的原图像数据之间的平均平方误差成为最小，从而预测色彩空 间逆转换系数。而且，插值滤光系数以及色彩空间逆转换系数，由辅助信息编码部670编码 (S18)，并与编码数据622 —起被传输，以作为编码辅助信息671 (S19)。
如图6B所示，接收一侧的图像解码装置20包括解码部470、辅助信息解码部675、 上采样_插值部680以及色彩空间逆转换部690。该图像解码装置20，通过通道140获得 编码后彩色图像以及编码后辅助信息。解码部470，对编码后彩色图像进行解码，从而生成 解码后彩色图像。辅助信息解码部675，对编码后辅助信息进行解码，从而生成解码后辅助 信息。 上采样-插值部680，利用上采样系数，对解码后彩色图像的样本进行插值，从而 生成插值后彩色图像。色彩空间逆转换部690，利用色彩空间逆转换系数，将插值后彩色图 像的色彩空间从第二色彩空间逆转换为第一色彩空间，从而生成彩色图像。
参照图6B以及图7B，说明图像解码装置20的工作。首先，通过通道140，获得编 码数据601以及编码辅助信息602(S21)。编码数据601，由解码部470解码，从而成为图像 数据603 (S22)。另一方面，编码辅助信息602，由辅助信息解码部675解码，从而成为插值 滤光系数604以及色彩空间逆转换系数605 (S23)。插值滤光系数604，与由解码部470对 编码数据601进行解码而得到的图像数据603 —起，被提供到上采样_插值部680。利用该 插值滤光系数604，进行图像数据603的插值滤光(S24)。其结果为，得到ACS4:4:4色彩空 间的图像数据，对其，在色彩空间逆转换部690利用色彩空间逆转换系数605，还进行色彩 空间逆转换(S25)。而且，将如此得到的图像显示在显示器170(S26)。
图8A以及图8B示出本发明涉及的彩色格式的转换部以及逆转换部的结构的其它 的例子。在此，图8A示出发送一侧的图像编码装置10，图8B示出接收一侧的图像解码装置 20。 在本实施例中，由标准的色彩空间转换部710进行色彩空间转换，而取代自适应 色彩空间转换。在此，由色彩空间转换部710将RGB4:4:4彩色格式转换为YUV4:4:4彩色 格式，但也可以是其它的色彩空间。 图8A示出的图像编码装置10包括编码部130、解码部450、色彩空间转换部710、 滤光_子采样部720、插值滤光系数预测部730以及辅助信息编码部740。
在该例子中，由照相机110提供的原图像数据111，由色彩空间转换部710转换为 YUV4:4:4彩色格式。得到的图像数据711 ，其次，在滤光-子采样部720被进行滤光并子采 样，从而成为YUV4:2:0格式的图像数据721，然后，将其由H. 264/AVC的编码部130编码。 编码数据722，其次，由解码部450解码后，在插值滤光系数预测部730被用于插值滤光系数 的预测。与所述的实施例相同，该预测也可以是维纳预测，该维纳预测使图像数据711与解 码图像数据之间的平均平方误差成为最小，从而预测系数。并且，也可以采用其它的线性或 非线性预测方法。根据需要，也可以将RGB以外的色彩空间中的插值滤光系数以及色彩空 间逆转换系数最佳化，例如，也可以将YUV色彩空间中的插值滤光系数以及色彩空间逆转 换系数最佳化。 预测的插值滤光系数731 ，然后，由辅助信息编码部740编码，并与编码数据722 — 起被传输，以作为编码辅助信息741。 如图8B所示，接收一侧的图像解码装置20包括解码部470、上采样-插值部750、 辅助信息解码部760以及色彩空间逆转换部770。编码数据701，由H. 264/AVC的解码部 470解码，从而成为图像数据703。并且，与编码数据701 —起接收的编码辅助信息702，由 辅助信息解码部760解码，从而成为插值滤光系数704。而且，上采样-插值部750，利用图 像数据703以及插值滤光系数704，进行上采样并插值滤光。上采样后，由标准的色彩空间 逆转换部770，将YUV4:4:4的图像数据751转换为RGB4:4:4色彩空间的图像数据771。然 后，将RGB4:4:4的图像数据771显示在显示器170。 图9示出本发明涉及的其它的实施例。在此，彩色格式转换部310以及决定部320 是图像编码装置10的构成要素，图像编码装置10还包括图像压縮部830。也可以将本发明 涉及的彩色格式的转换，包含在例如H. 264/AVC、 DIRAC、 JPEG2000、此后的各个标准等的图 像标准或影像标准中，以作为任意或必须的特征。并且，也可以是作为专利产品的视频编码 器的一部分。而且，也可以提供彩色格式逆转换系数321，以作为包含压縮影像、压縮影像的解码所需要的信息要素以及色彩空间参数的编码视频流的一部分。可以将彩色格式逆转换 系数321包含在包含视频数据信息的数据包中来发送，也可以将彩色格式逆转换系数321 作为辅助信息，并以其它的数据包中来发送。据此，进一步，也可以利用哥伦布(Golomb)编 码、指数哥伦布(exponential Golomb)编码、算术编码、哈夫曼(Huffman)编码等的熵编 码，或者，利用除此以外的熵编码，来对彩色格式逆转换参数进行编码。对于利用的熵编码， 可以是与对与图像数据以及/或影像数据有关的信息要素进行编码时利用了的熵编码相 对应的熵编码，也可以是为了利用于色彩空间逆转换参数而特别设计、且适应于其统计值 的熵编码。 与此相对应，彩色格式逆转换部330以及图像扩展部850是图像解码装置20的构 成要素。彩色格式逆转换系数322是视频流的一部分、还是其它的辅助信息，这是根据所述 的图像编码装置10而不同的，但是，从通道140与图像/影像数据一起获得彩色格式逆转 换系数322。进而，它们被进行熵解码后，与从通道140获得且由图像扩展部850扩展后的 图像数据312 —起被提供到彩色格式逆转换部330。图像的扩展是，通过影像解码装置或图 像解码装置的当前或将来的标准产品或专利产品来能够执行的。具体而言，对于解码部，可 以考虑H. 264/AVC、 DIRAC、 JPEG2000。 在此，对于彩色格式的转换或逆转换，根据所述实施例中的任一个进行即可，也可 以包含色彩空间的转换以及/或插值滤光的预测。 根据本发明的其它的实施例，并且根据图9，彩色格式逆转换系数321，通过通道 140被传送，并且被提供到图像压縮部830。同样，在接收一侧的图像解码装置20，从通道 140获得的彩色格式逆转换系数322，被提供到彩色格式逆转换部330，并且也被提供到图 像扩展部850。对于该特征，S卩，对于彩色格式逆转换系数321的向图像编码装置10以及/ 或图像解码装置20的提供，当然可以适用于图3、图4A、图4B、图6A、图6B、图8A以及图8B 示出的所述实施例中的任一个，也可以适用于本发明的其它的实施例。尤其优选的是，在图 像压縮部830进行时间上的预测时，将彩色格式逆转换系数321给图像压縮部830。例如， 在预测帧的色彩空间与参考帧的色彩空间不同等的情况下，即，在相同图片组内的色彩空 间不同的情况下，为了容易进行预测，而需要由编码装置进行色彩空间的转换以及逆转换。 因此，需要彩色格式逆转换系数321。 同样，在图像解码装置20 —侧，为了对一边在相同图片组内使彩色格式变化一边 进行时间上的预测而编码后的视频流进行解码，而也需要将彩色格式逆转换系数322提供 到图像扩展部850。 所述的各个结构可以适用于图像数据或影像数据的不同部分。例如，彩色格式逆 转换系数也可以是，针对宏块、宏块组、片、场、图片、图片组等的图像或影像的一部分而决 定的。决定系数的对象部分越小，就越能够进行适应于输入图像且适应于对象部分相互之 间的转换以及逆转换。另一方面，为了传输彩色格式系数，而需要提高率，因此，根据情况， 也可以找出不变更系数的影像部分的最佳尺寸。该最佳条件，可以根据用途不同，也可以根 据编码设定不同。可以使决定系数的部分固定还是可变。例如，也可以是，在使色彩空间不 同，以及/或，进行插值，从而图像/影像内容发生变化时等需要的情况下，发送彩色格式逆 转换系数。 决定以及/或提供彩色格式逆转换系数的频度，并不一定需要与色彩空间系数以及插值滤光系数的情况相同。优选的是，在影像的一部分，例如在图片组内，存在以下的情
况，即，若色彩空间不变化，则传输用于对更小的部分进行插值以及采样的参数。 在影像的预测编码(由H. 264/AVC规定的预测编码等)的情况下，可以将用于预
测当前图片的参考图片转换为与当前图片相同的色彩空间，以用于预测。 在利用H. 264/AVC的编码装置以及解码装置的编码方法的情况下，也可以以
H. 264/AVC标准的所谓补充增强信息(SEI)消息来传输彩色格式转换系数。在CCD/CMOS照相机的采样格子是按照拜耳模式的采样格子等不是一般的4:4:4
采样格子的情况下，可以将位于相同位置的RGB样本也用于彩色格式转换系数的预测。也
可以将与照相机内的RGB信号的原来的采样格子有关的信息编码并发送到接收器。在此，
可以进行示出多个规定的采样格子中的一个采样格子的指示符的编码以及传输。并且，也
可以进行与采样格子有关的所有的信息的编码以及传输。这事宜，在采样格子不是规定的
采样格子时有效的。 进而，也可以决定用于进行从第一色彩空间转换为第二色彩空间的色彩空间转 换、且将色彩空间从第二色彩空间逆转换为第一色彩空间的彩色格式逆转换系数。在显示 器使用与彩色格式转换输入数据的色彩空间不同的色彩空间的情况下，有时，该方法是合 适的。 在所述的实施例中，说明了图像数据或影像数据的发送以及接收，但是，对于存储 以及读出，也可以同样参照所述的所有的实施例。在这些情况下，通道140是硬盘、光介质、 磁介质、USB棒等的闪存等的存储介质。
(其它变形例) 而且，根据所述的各个实施例说明了本发明，但是，当然本发明不仅限于所述的各 个实施例。本发明还包括以下的情况。 具体而言，所述的各个装置是由微处理器、ROM(Read Only Memory :只读存储器)、 RAM (Random Access Memory :随机存取存储器)、硬盘单元、显示器单元、键盘、鼠标等构成 的计算机系统。所述RAM或硬盘单元存储有计算机程序。所述微处理器根据所述计算机程 序来工作，从而各个装置实现其功能。在此，为了实现规定的功能，组合示出对计算机的指 令的多个指令码来构成计算机程序。 构成所述的各个装置的构成要素的一部分或全部，可以由一个系统LSI (Large Scale Integration :大规模集成电路)构成。系统LSI是将多个构成要素集成在一个芯片 上而制造的超多功能LSI，具体而言，包含微处理器、R0M、 RAM等来构成计算机系统。所述 RAM存储有计算机程序。所述微处理器根据所述计算机程序来工作，从而系统LSI实现其功 能。 构成所述的各个装置的构成要素的一部分或全部，可以由与各个装置可拆卸的IC 卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。 所述IC卡或所述模块也可以包含所述的超多功能LSI。微处理器根据计算机程序来工作， 从而所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有防窜改性。
本发明，也可以是所述的方法。并且，也可以是通过计算机实现这些方法的计算机 程序，还可以是由所述计算机程序构成的数字信号。 并且，本发明也可以是由计算机能够读入所述计算机程序或所述数字信号的记录介质所记录的，例如，由软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc : 蓝光光盘)、半导体存储器等记录。并且，也可以是这些记录介质所记录的所述数字信号。
并且，本发明，也可以将所述计算机程序或所述数字信号经由电通信电路、无线或 有线通信电路、以互联网为代表的网络、数据广播等传输。 并且，本发明也可以是包括微处理器和存储器的计算机系统，所述存储器存储有 所述计算机程序，所述微处理器根据所述计算机程序来工作。 并且，也可以是，通过将所述计算机程序或所述数字信号记录并转送到所述记录 介质，或者，通过将所述计算机程序或所述数字信号经由所述网络等转送，从而由独立的其 它的计算机系统来实施。 也可以将所述实施例以及所述变形例分别组合。 以上，参照
了该发明的实施例，但是，该发明不仅限于以图示出的实施 例。对于以图示出的实施例，可以附加与该发明的范围相同的范围内的、或与该发明的范围 均等的范围内的各种修改或变形。并且，只要不脱离本发明的目的，就可以任意组合所述的
各个实施例。
本发明有效地利用于图像编码方法(装置)以及图像解码方法(装置)。將綱10图像编码装置20图像解码装置110照相机lll原图像数据120、410、610、710色彩空间转换部121、151、161、211、221、311、312、331、411、421、451、471、481、603、611、621、711、
721、703、751图像数据130编码部131、401、601、622、701、722编码数据140通道150 、450 、470解码部160、690、770色彩空间逆转换部170显示器201、310、400、600彩色格式转换部202 、330 、480彩色格式逆转换部210、420、620、720滤光-子采样部220、660、680、750上采样-插值部320决定部321 、322 、491彩色格式逆转换系数402 、461编码彩色格式逆转换系数430、630色彩空间预测部440系数预测部460系数编码部
24
490系数解码部 602、671、702、741编码辅助信息 604、704、731插值滤光系数 605色彩空间逆转换系数 640、730插值滤光系数预测部 650色彩空间逆转换预测部 670， 740辅助信息编码部 675、760辅助信息解码部 830图像压縮部 850图像扩展部
2权利要求
一种图像编码方法，对彩色图像进行编码，包括色彩空间转换步骤，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样步骤，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码步骤，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算步骤，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算步骤，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出步骤，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。
2. 如权利要求l所述的图像编码方法， 该图像编码方法，还包括解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像；以及 上采样步骤，对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像； 在所述上采样系数计算步骤，计算所述上采样系数，以使得所述解码后彩色图像与所 述色彩空间转换后彩色图像之间的平均平方误差成为最小。
3. 如权利要求2所述的图像编码方法，该图像编码方法还包括色彩空间逆转换步骤，将所述插值后彩色图像的色彩空间从所 述第二色彩空间逆转换为所述第一色彩空间，从而生成色彩空间逆转换后彩色图像；在所述色彩空间逆转换系数计算步骤，计算所述色彩空间逆转换系数，以使得所述色 彩空间逆转换后彩色图像与所述彩色图像之间的平均平方误差成为最小。
4. 如权利要求l所述的图像编码方法，该图像编码方法还包括色彩空间预测步骤，根据所述彩色图像的特性，计算色彩空间 转换系数；在所述色彩空间转换步骤，根据在所述色彩空间预测步骤计算出的所述色彩空间转换 系数，将所述彩色图像的色彩空间从所述第一色彩空间转换为所述第二色彩空间； 在所述输出步骤，还输出所述色彩空间转换系数。
5. 如权利要求4所述的图像编码方法，该图像编码方法还包括辅助信息编码步骤，对包含所述上采样系数、所述色彩空间逆 转换系数以及所述色彩空间转换系数的辅助信息进行编码，从而生成编码后辅助信息； 在所述输出步骤，输出所述编码后彩色图像以及所述编码后辅助信息。
6. —种图像解码方法，对彩色图像进行解码，包括获得步骤，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数； 解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像； 上采样步骤，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换步骤，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。
7. —种图像编码装置，对彩色图像进行编码，具有色彩空间转换部，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩 空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样部，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采 样后彩色图像；编码部，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像； 上采样系数计算部，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算部，计算色彩空间逆转换系数，该色彩空间逆转换系数用于 将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出部，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。
8. —种图像解码装置，对彩色图像进行解码，具有 获得部，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数； 解码部，对所述编码后彩色图像进行解码，从而生成解码后彩色图像； 上采样部，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换部，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空 间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。
9. 一种程序，使计算机对彩色图像进行编码，该程序包括色彩空间转换步骤，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色 彩空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样步骤，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子 采样后彩色图像；编码步骤，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像； 上采样系数计算步骤，计算上采样系数，该上采样系数用于对样本进行插值的上采样 处理；色彩空间逆转换系数计算步骤，计算色彩空间逆转换系数，该色彩空间逆转换系数用 于将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出步骤，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。
10. —种程序，使计算机对彩色图像进行解码，该程序包括 获得步骤，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数； 解码步骤，对所述编码后彩色图像进行解码，从而生成解码后彩色图像； 上采样步骤，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插值后彩色图像；以及色彩空间逆转换步骤，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩 空间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。
11. 一种集成电路，对彩色图像进行编码，具有色彩空间转换部，将所述彩色图像的色彩空间从第一色彩空间转换为与所述第一色彩 空间不同的第二色彩空间，从而生成色彩空间转换后彩色图像；子采样部，除去所述色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采 样后彩色图像；编码部，对所述子采样后彩色图像进行编码，从而生成编码后彩色图像； 上采样系数计算部，计算上采样系数，该上采样系数用于对样本进行插值的上采样处理；色彩空间逆转换系数计算部，计算色彩空间逆转换系数，该色彩空间逆转换系数用于 将色彩空间从所述第二色彩空间逆转换为所述第一色彩空间；以及输出部，输出所述编码后彩色图像、所述上采样系数以及所述色彩空间逆转换系数。
12. —种集成电路，对彩色图像进行解码，具有获得部，获得编码后彩色图像、上采样系数以及色彩空间逆转换系数； 解码部，对所述编码后彩色图像进行解码，从而生成解码后彩色图像； 上采样部，利用所述上采样系数对所述解码后彩色图像的样本进行插值，从而生成插 值后彩色图像；以及色彩空间逆转换部，利用所述色彩空间逆转换系数，将所述插值后彩色图像的色彩空 间从所述第二色彩空间逆转换为所述第一色彩空间，从而生成彩色图像。
全文摘要
图像编码方法包括色彩空间转换步骤(S12)，将彩色图像的色彩空间从第一色彩空间转换为第二色彩空间，从而生成色彩空间转换后彩色图像；子采样步骤(S13)，除去色彩空间转换后彩色图像中包含的样本的一部分，从而生成子采样后彩色图像；编码步骤(S14)，对子采样后彩色图像进行编码，从而生成编码后彩色图像；上采样系数计算步骤(S16)，计算用于上采样处理的上采样系数；色彩空间逆转换系数计算步骤(S17)，计算色彩空间逆转换系数，该色彩空间逆转换系数用于将色彩空间转换后彩色图像的色彩空间从第二色彩空间逆转换为第一色彩空间；以及输出步骤(S19)，输出编码后彩色图像、上采样系数以及色彩空间逆转换系数。
文档编号H04N7/26GK101796843SQ20098010031
公开日2010年8月4日 申请日期2009年7月7日 优先权日2008年7月8日
发明者M·纳罗施克, T·韦丁 申请人:松下电器产业株式会社