专利名称：图像处理设备和图像处理方法
技术领域：
本公开涉及图像处理设备和图像处理方法。更具体地说，本公开涉及通过对图像数据进行诸如预测编码技术之类的压缩编码处理，获得编码数据的图像处理设备等。
背景技术：
过去，当在输入图像数据的编码和解码之后，进行图像质量增强处理时，这样的编码和解码处理，及图像质量增强处理是独立进行的，从而只有图像数据从解码处理被传送给图像质量增强处理。这导致编码和解码处理不利地影响图像质量增强处理的问题。 例如，当编码和解码处理已导致图像的退化时，在一些情况下，图像质量增强处理会强化所述退化。在这种情况下，必须削弱图像质量增强处理的总体效果，以便防止强化所述退化，或者降低压缩比，以减小在编码和解码处理中引起的退化，或者换句话说，增大传送率。另外，当编码和解码处理极大地改变了图像的空间-时间分辨率时，存在图像质量增强处理不能获得足够效果的情况。例如，日本特开2001-285881号公报试图通过在后续的图像质量增强处理中，使用在解码处理中参考的解码处理附加信息，解决该问题。不过，不存在解码处理附加信息包括可用于该用途的信息的保证，导致当不包括有用信息时，没有任何效果的问题。
发明内容
本发明目的在于有利地对经过编码和解码的图像数据，进行诸如图像质量增强处理之类的图像处理。按照本公开的一个实施例，提供一种图像处理设备，包括编码处理单元，用于对输入图像数据进行压缩编码处理，以获得编码数据，附加信息生成单元，用于根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定的图像处理时使用的附加信息，和数据输出单元，用于将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。按照本公开，编码处理单元对输入图像数据进行压缩编码处理，从而获得编码数据。附加信息生成单元还根据与输入图像数据相关的附加信息生成信息，生成附加信息。当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定的图像处理时，使用该附加信息。数据输出单元随后将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。例如，输出其中附加信息被混合到编码数据中的混合数据。按照本公开，在对经过编码和解码的图像数据的图像处理中使用的附加信息是和编码数据一起传送的。这意味在对经过编码和解码的图像数据的图像处理期间，能够利用附加信息，进行有利的处理。对通过对编码数据进行压缩解码处理而获得图像数据进行的规定图像处理可以是图像质量增强处理，附加信息生成单元生成的附加信息可以是当进行图像质量增强处理时使用的信息。
例如，图像质量增强处理是锐化处理或者对比度校正处理，附加信息生成单元生成表示是否由于压缩编码处理丢失了高频信息，或者丢失了色调信息的信息，作为附加信息。在这种情况下，例如，附加信息生成单元可生成与输入图像数据的空间活动性，和通过对编码数据进行压缩解码处理而获得的图像数据的空间活动性之间的差相关的信息，作为附加信息。在这种情况下，当附加信息表示由于压缩编码处理，丢失了高频信息时，进行锐化处理，作为图像质量增强处理，当附加信 息表示由于压缩编码处理，丢失了色调信息时，进行对比度校正处理(平滑处理)，作为图像质量增强处理。通过利用附加信息，有利地对经过编码和解码的图像数据进行锐化处理或对比度校正处理。又例如，图像质量增强处理是降噪处理，附加信息生成单元生成表示由于压缩编码处理产生的退化(噪声)的大小的信息，作为附加信息。这种情况下，附加信息生成单元生成关于输入图像数据和通过对编码数据进行压缩解码处理而获得的图像数据之间的绝对差的最大值的信息，作为附加信息。这种情况下，通过利用附加信息，有利地对经过编码和解码的图像数据进行降噪处理。在本公开中，例如，对通过对编码数据进行压缩解码处理而获得的图像数据进行的规定图像处理可以是放大指定对象的区域的图像放大处理，附加信息生成单元生成的附加信息可以是通过根据输入图像数据进行指定对象的检测处理而获得的指定对象的区域信息。通过利用附加信息，有利地对经过编码和解码的图像数据进行放大诸如面部之类的指定对象区域的图像放大处理。按照本公开的另一个实施例，提供一种图像处理设备，包括分离单元，用于从其中混合了编码数据和当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息的混合数据中，分离编码数据和附加信息，解码处理单元，用于对分离单元分离的编码数据进行压缩解码处理，以获得图像数据，和图像处理单元，用于利用分离单元分离的附加信息，对解码处理单元获得的图像数据进行规定图像处理，以获得输出图像数据。按照本公开，分离单元从混合数据中，分离编码数据和附加信息。这里，附加信息是当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的信息。规定的图像处理是图像质量增强处理(锐化处理，对比度校正处理或者降噪处理)，面部区域放大处理等等。解码处理单元对编码数据进行压缩解码处理，从而获得图像数据。随后，图像处理单元利用附加信息，有利地对图像数据进行规定的图像处理。按照本公开，能够有利地对经过编码和解码的图像数据进行诸如图像质量增强处理之类的图像处理。
图I是表示按照本公开的第一实施例的图像传送系统的例证结构的方框图；图2A和2B是用于其中说明图像质量增强处理是锐化处理和对比度校正处理的例子的不图；图3是表示构成发射器一侧的图像处理设备的附加信息生成单元的例证结构的方框图4是用于说明活动性计算单元的活动性计算操作的示图；图5是表示构成发热器一侧的图像处理设备的图像质量增强处理单元的例证结构的方框图；图6A和6B是表示类别分类自适应处理中的类别抽头和预测抽头的例证模式的示图；图7是表示生成在类别分类自适应处理中使用的预测系数组的生成设备的例证结构的方框图；图8是表示构成接收器一侧的图像处理设备的图像质量增强处理单元的例证结构的方框图；
图9是表示构成接收器一侧的图像处理设备的图像质量增强处理单元的另一个例证结构的方框图；图10是用于说明图像质量增强处理是降噪处理的情况的示图；图11是表示构成发射器一侧的图像处理设备的附加信息生成单元的另一个例证结构的方框图；图12是表示构成接收器一侧的图像处理设备的图像质量增强处理单元的另一个例证结构的方框图；图13是表示按照本公开的第二实施例的图像传送系统的例证结构的方框图。
具体实施例方式下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。 本公开的实施例是按照以下顺序说明的。I.第一实施例2.第二实施例3.变形例I.第一实施例图像传送系统的结构图I表示作为本公开的第一实施例的图像传送系统10的例证结构。图像传送系统10是通过借助传送路径300，连接在发射器一侧(记录侧)的图像处理设备100和在接收器一侧(再现侧)的图像处理设备200构成的。表述“传送路径300”包括诸如网络之类的通信路径，和诸如记录介质，例如光盘或存储器之类的记录/再现单元。图像处理设备100包括编码处理单元101、附加信息生成单元102和编码数据/附加信息混合单元103。编码数据/附加信息混合单元103构成本公开的“数据输出单元”。编码处理单元101对输入图像数据Al进行按照诸如MPEG2之类的编码技术的压缩编码处理，以获得编码数据A2。编码数据Al包括解码处理所需的附随信息(解码附加信息)。下面说明解码附加信息的例子。(I)信号类型信息，比如分量信号中的分量(Y、U、V分量，Y、Pr、Pb分量，R、G、B分
量等等)。(2)图像格式信息，比如隔行/逐行标识信息，场频或帧频(时间分辨率信息)，表示水平分辨率和垂直行数的图像尺寸信息(空间分辨率信息)，和诸如4 : 3或16 : 9之类的长宽比信息。(3)诸如传送比特率(压缩率)信息之类的图像质量信息。(4)运动向量，比如表示水平和垂直运动的信息。根据与输入图像数据Al相关的附加信息生成信息A3，附加信息生成单元102生成有用的附加信息A4，附加信息A4将用于在接收器一侧，对通过对编码数据A2进行压缩解码处理而获得的图像数据进行的图像质量增强处理。附加信息生成信息A3可以是输入图像数据Al、编码数据A2等等。附加信息A4完全不同于前面说明的解码附加信息。编码数据/附加信息混合单元103把附加信息生成单元102生成的附加信息A4混合到编码处理单元101获得的编码数据A2中，从而获得混合数据A5。混合数据构成“传 送数据”，通过传送路径300，被发送给在接收器一侧的图像处理设备200。附加信息生成单元102生成的附加信息A4将在后面详细说明。信息处理设备200包括编码数据/附加信息分离单元201、解码处理单元202和图像质量增强处理单元203。编码数据/附加信息分离单元201从混合数据A5中分离编码数据A2和附加信息A4。解码处理单元202对用编码数据/附加信息分离单元201分离的编码数据A2进行压缩解码处理，以获得图像数据A6。图像质量增强处理单元203利用由编码数据/附加信息分离单元201分离的附加信息，对解码处理单元202获得的图像数据A6进行图像质量增强处理，并输出输出图像数据A7。图像质量增强处理是提高图像的质量的处理，例如可包括锐化处理、对比度校正处理、降噪处理、空间分辨率增大处理和时间分辨率增大处理。图像质量增强处理单元203将在后面详细说明。现在简要说明图I中所示的图像传送系统10的操作。首先，说明在发射器一侧的图像处理设备100的操作。输入图像数据Al被提供给编码处理单元101。在编码处理单元101中，按照诸如MPEG2之类的编码技术，对输入图像数据Al进行压缩编码处理，以获得编码数据A2。编码数据A2被提供给编码数据/附加信息混合单元103。与输入图像数据Al相关的附加信息生成信息A3，例如，输入图像数据Al、编码数据A2等从编码处理单元101被提供给附加信息生成单元102。附加信息生成单元102根据附加信息生成信息A3，生成当在接收器一侧，对通过对编码数据A2进行压缩解码处理而获得的图像数据进行图像质量增强处理时将使用的有用附加信息A4。附加信息A4被提供给编码数据/附加信息混合单元103。在编码数据/附加信息混合单元103中，获得其中附加信息A4被混合到编码数据A2中的混合数据A5。混合数据A5通过传送路径300，被发送给在接收器一侧的图像处理设备 200。下面，说明在接收器一侧的图像处理设备200的操作。混合数据A5被提供给编码数据/附加信息分离单元201。在编码数据/附加信息分离单元201中，从混合数据A5中分离编码数据A2和附加信息A4。编码数据A2被提供给解码处理单元202。附加信息A4被提供给图像质量增强处理单元203。在解码处理单元202中，对编码数据A2进行压缩解码处理，从而获得图像数据A6。此时，解码处理单元202利用包含在编码数据A2中的解码附加信息。图像数据A6被提供给图像质量增强处理单元203。在图像质量增强处理单元203中，利用由编码数据/附加信息分离单元201分离的附加信息A4，对由解码处理单元202获得的图像数据A6进行图像质量增强处理，比如锐化处理、对比度校正处理或者降噪处理。之后，通过图像质量增强处理生成的图像数据，作为输出图像数据A7，从图像质量增强处理单元203输出。图像质量增强处理和附加信息的详细说明下面详细说明由图像质量增强处理单元203进行的图像质量增强处理，和由附加信息生成单元102生成的附加信息A4。(I)当图像质量增强处理是锐化处理或者对比度校正处理时 首先，说明其中图像质量增强处理是锐化处理或者对比度校正处理的情况。尽管当进行压缩编码处理时，丢失图像信息是常见的，不过，图像质量增强处理的处理将随哪些信息被丢失而不同。由于不可能从解码图像数据本身了解哪些信息已丢失，因此在解码期间，不可能重新产生这样的信息。例如，如图2A中所示，如果解码图像数据是其中从输入图像数据中丢失了高频信息的数据，那么作为图像质量增强处理，可取的是进行锐化处理。又例如，如图2B中所示，如果解码图像数据是其中从输入图像数据中丢失了色调信息的数据，那么作为图像质量增强处理，可取的是进行对比度校正处理(平滑处理)。这种情况下，由在发射器一侧的图像处理设备100中的附加信息生成单元102生成的附加信息A4是表示是否由于压缩编码处理，已丢失高频信息，或者是否由于压缩编码处理，已丢失色调信息的信息。图3表示附加信息生成单元102的例证结构。附加信息生成单元102包括解码处理单元111和活动性计算单元112。解码处理单元111和在接收器一侧的图像处理设备200的解码处理单元202(参见图I)相同，对编码数据A2进行压缩解码处理，以获得图像数据A6'。活动性计算单元112生成与输入图像数据Al的空间活动性BI和解码图像数据A6，的空间活动性B2之间的差相关的信息，作为附加信息A4。即，如图4中所示，活动性计算单元112分别把输入图像数据Al和解码图像数据A6'分成多个M水平像素XN垂直像素的块，并计算每个块的空间活动性BI和B2。输入图像数据Al的空间活动性BI以式(I)表述。数学式IBI =
N-\M-2N-2M-X
「 Σ Σ (柳，■/')—师+1 i))2+Σ Σ (免取·/')—柳，j+ο)2j=Q /=0y=o /=0
■■■(1)解码图像数据A6'的空间活动性B2由式(2)表述。数学式2B2 =
权利要求
1.一种图像处理设备，包括 编码处理单元，用于对输入图像数据进行压缩编码处理，以获得编码数据； 附加信息生成单元，用于根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息；和 数据输出单元，用于将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。
2.按照权利要求I所述的图像处理设备， 其中对通过对编码数据进行压缩解码处理而获得图像数据进行的规定图像处理是图像质量增强处理， 附加信息生成单元生成的附加信息是当进行图像质量增强处理时使用的信息。
3.按照权利要求2所述的图像处理设备， 其中图像质量增强处理是锐化处理或者对比度校正处理，附加信息生成单元生成表示是否由于压缩编码处理丢失了高频信息、或者丢失了色调信息的信息，作为附加信息。
4.按照权利要求3所述的图像处理设备， 其中附加信息生成单元生成与输入图像数据的空间活动性和通过对编码数据进行压缩解码处理而获得的图像数据的空间活动性之间的差相关的信息，作为附加信息。
5.按照权利要求2所述的图像处理设备， 其中图像质量增强处理是降噪处理，附加信息生成单元生成表示由于压缩编码处理产生的退化的大小的信息，作为附加信息。
6.按照权利要求5所述的图像处理设备， 其中附加信息生成单元生成关于输入图像数据和通过对编码数据进行压缩解码处理而获得的图像数据之间的绝对差的最大值的信息，作为附加信息。
7.按照权利要求I所述的图像处理设备， 其中对通过对编码数据进行压缩解码处理而获得的图像数据进行的规定图像处理是放大指定对象的区域的图像放大处理， 附加信息生成单元生成的附加信息是通过根据输入图像数据进行指定对象的检测处理而获得的指定对象的区域信息。
8.按照权利要求I所述的图像处理设备， 其中数据输出单元输出其中附加信息生成单元生成的附加信息被混合到编码处理单元获得的编码数据中的混合数据。
9.一种图像处理方法，包括 对输入图像数据进行压缩编码处理，以获得编码数据； 根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息；和 将编码数据和附加信息相互关联地输出。
10.一种图像处理设备，包括 分离单元，用于从其中混合了编码数据和当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息的混合数据中，分离编码数据和附加信息； 解码处理单元，用于对分离单元分离的编码数据进行压缩解码处理，以获得图像数据；和 图像处理单元，用于利用分离单元分离的附加信息，对解码处理单元获得的图像数据进行规定图像处理，以获得输出图像数据。
11.一种图像处理方法,包括 从其中混合了编码数据和当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时使用的附加信息的混合数据中，分离编码数据和附加信息； 对分离的编码数据进行压缩解码处理，以获得图像数据；和 利用分离的附加信息，对获得的图像数据进行规定图像处理，以获得输出图像数据。
全文摘要
本公开涉及图像处理设备和图像处理方法。所述图像处理设备包括编码处理单元，用于对输入图像数据进行压缩编码处理，以获得编码数据；附加信息生成单元，用于根据与输入图像数据相关的附加信息生成信息，生成当对通过对编码数据进行压缩解码处理而获得的图像数据进行规定图像处理时，使用的附加信息；和数据输出单元，用于将编码处理单元获得的编码数据和附加信息生成单元生成的附加信息相互关联地输出。
文档编号H04N7/32GK102780887SQ201210128500
公开日2012年11月14日 申请日期2012年4月27日 优先权日2011年5月9日
发明者内田真史, 宫井岳志 申请人:索尼公司