图像处理装置、图像处理方法、程序及集成电路的制作方法

文档序号:7909065阅读:189来源:国知局
专利名称:图像处理装置、图像处理方法、程序及集成电路的制作方法
技术领域
本发明涉及一种依次处理多个图像的图像处理装置,尤其涉及具有在将图像存储在存储器中并且读出存储器中存储的图像的功能的图像处理装置。
背景技术
具有将图像存储在帧存储器中并且读出帧存储器中存储的图像的功能的图像处理装置例如配备在解码按照H. 264等视频编码标准压缩的位流的视频解码器等图像解码装置中。另外,这种图像解码装置例如用于对应高清数字电视或电视会议系统中。高清影像中使用1920X1080像素尺寸的图片、即由2073600像素构成的图片。高清解码器与标准图像(SDTV)解码器相比,由于需要追加存储器,所以价格会比标准图像解码器高很多。另外,H. 264、VC-I和MPEG-2等视频编码标准对应于高清。近年来,各种各样系统中广泛使用的视频编码标准是H. 264.该标准可以比以前广泛使用的MPEG-2标准低的位率来提供良好的画质。例如,H. 264的位率是MPEG-2的一半左右。但是,在H. 264的视频编码标准中,为了实现低的位率,算法复杂化,结果,需要比以前的视频编码标准大得多的帧存储器带域或帧存储器容量。削减高清影像解码所需的帧存储器带域或帧存储器容量对于廉价实现对应于H. 264视频编码标准的图像解码装置而言是至关重要的。即,为了廉价实现图像解码装置,要求图像处理装置不降低画质地抑制帧存储器需要的带域(访问帧存储器的带宽)和容量。作为实现廉价图像解码装置的方法之一,有称为向下解码的方法。图47是表示向下解码高清影像的典型图像解码装置的功能构成的模块图。该图像解码装置1000对应于H. 264视频编码标准,具备语法解析熵解码部1001、 逆量化部1002、逆频率变换部1003、帧内预测部1004、加法部1005、解块滤波部1006、压缩处理部1007、帧存储器1008、扩展处理部1009、全分辨率运动补偿部1010和视频输出部 1011。这里,图像处理装置由压缩处理部1007、帧存储器1008和扩展处理部1009构成。语法解析熵解码部1001取得位流,对该位流进行语法解析及熵解码。熵解码中也可包含可变长度解码(VLC)或算术编码(例如CABAC :Context-based Adaptive Binary Arithmetic Coding,上下文适应性二进制算术编码)。逆量化部1002取得从语法解析熵解码部1001输出的熵解码系数并进行逆量化。逆频率变换部1003通过对逆量化后的熵解码系数进行逆离散余弦变换,生成差分图像。加法部1005在进行帧间预测时,通过将从全分辨率运动补偿部1010输出的帧间预测图像与从逆频率变换部1003输出的差分图像相加,生成解码图像。另外,加法部1005 在进行帧内预测时,通过将从帧内预测部1004输出的帧内预测图像与从逆频率变换部 1003输出的差分图像相加,生成解码图像。解块滤波部1006对解码图像进行解块滤波处理,降低块噪声。压缩处理部1007进行压缩处理。即,压缩处理部1007将该进行解块滤波处理后的解码图像压缩成低分辨率的图像,并将压缩后的解码图像作为参照图像,写入帧存储器 1008。帧存储器1008具有用于存储多个参照图像的域。扩展处理部1009进行扩展处理。即,扩展处理部1009读出帧存储器1008中存储的参照图像,将该参照图像扩展为原本的高分辨率(压缩前的解码图像的分辨率)的图像。全分辨率运动补偿部1010使用从语法解析熵解码部1001输出的运动矢量与由扩展处理部1009扩展的参照图像,生成帧间预测图像。帧内预测部1004在进行帧内预测的情况下,使用解码对象块的邻近像素,通过对该解码对象块进行帧内预测,生成帧内预测图像。视频输出部1011从帧存储器1008中读出作为参照图像存储在该帧存储器1008 中的压缩后的解码图像,将该解码图像扩大或缩小到应输出到显示器的分辨率,并输出到
显不器。这样,进行向下解码的图像解码装置1000通过压缩解码图像并写入帧存储器 1008中,可削减帧存储器1008所需的容量与带域。即,图像处理装置在将参照图像存储在帧存储器1008中时,压缩该参照图像,在从帧存储器1008中读出参照图像时,扩展该缩小后的参照图像,由此抑制帧存储器1008所需的带域和容量。这里,为了执行可削减帧存储器所需的带域与容量的向下解码,提出了多种方法 (例如参照专利文献1和非专利文献1)。上述非专利文献1的向下解码利用DCT (Discrete Cosine ^Transform,离散余弦变换),即便在多个向下解码中也有可能保持逻辑上最小限度的解码误差。图48是用于说明上述非专利文献1的向下解码的说明图。在该向下解码的扩展处理中,对参照图像块进行低分辨率的DCT,向结果生成的多个变换系数构成的系数组附加表示0的高频成分。并且,通过对附加了高频成分的系数组进行全分辨率(高分辨率)的IDCT(逆离散余弦变换),扩大参照图像块,将扩大后的参照图像块用于运动补偿。即,在该向下解码中,将图像的扩大处理用作扩展处理。另外,在上述向下解码的压缩处理中,对全分辨率的解码图像块进行全分辨率的 DCT,从结果生成的多个变换系数构成的系数组中删除高频成分。并且,通过对删除了高频成分的系数组进行低分辨率的IDCT,缩小全分辨率的解码图像块,将缩小后的解码图像块存储在帧存储器中。即,在该向下解码中,图像的缩小处理被用作压缩处理。在这种向下解码的算法中,帧存储器中存储的低分辨率的缩小图像(解码图像块)在进行原本分辨率(全分辨率)的运动补偿之前,使用离散余弦变换/逆离散余弦变换来扩大。另外,在上述专利文献1的向下解码中,代替缩小图像,将压缩数据存储在帧存储器中。图49A和图49B是用于说明上述专利文献1的向下解码的说明图。图49A所示的第1存储器管理器和第2存储器管理器相当于图47所示的压缩处理部1007和扩展处理部1009,图49A所示的第1存储器和第2存储器相当于图47所示的帧存储器1008。即,第1存储器管理器和第2存储器管理器与第1存储器和第2存储器构成图像处理装置。下面,将第1存储器管理器和第2存储器管理器统称为存储器管理器。存储器管理器在进行压缩处理时,如图49B所示,执行进行错误扩散的步骤、以及每4个像素舍去一个像素的步骤。首先,存储器管理器使用1位错误扩散算法,将由32位 (4像素X8位/像素)所示的4像素组压缩成观位G像素X7位/像素)。接着,以规定方法从4像素组中舍去一个像素,将该4像素组压缩成(3像素X7位/像素)。并且,存储器管理器向该4像素组的最后附加表示舍去方法的3位。作为结果,将32位的4像素组压缩成M位(3像素X7位/像素+3位)。先行技术文献专利文献专利文献1 美国专利第6198773号说明书非专利文献__ 专禾1J 文献 1 'Minimal error drift in frequency scalability for motion-compensated DCT coding', IEEE Transactions on Circuits and Systems for Video Technology, vol. 4,no. 4,392-406 页,1994 年 8 月发明的概要发明要解决的问题但是,进行上述非专利文献1和专利文献1的向下解码的图像解码装置中配备的图像处理装置中,存在画质经常会恶化的问题。具体地,在上述非专利文献1的向下解码中,易受参照过去图像造成的漂移错误的影响。进行向下解码的图像解码装置1000通过执行视频编码标准中未定义的上述压缩处理和扩展处理,会将误差重叠于解码图像上。若参照重叠了该误差的解码图像解码下一图像,则解码图像中逐渐累积误差。将这种误差累积称为漂移错误。即,在上述非专利文献 1的向下解码中,当缩小处理时,从由DCT生成的高次变换系数(高频的变换系数)中具有高能量的某个高清图像中,不可逆地舍去该高次变换系数。这样,缩小处理中高频成分的信息大量丢失,结果,解码图像的误差变大,该误差会引起漂移错误。由于在视频编码标准中包含帧内预测,向下解码中的视觉失真尤其在H. 264的视频编码标准的解码中显著呈现(参照ITU-T H. 264 Advanced video coding for generic audiovisual services)。帧内预测是使用位于解码对象块的周边的已解码的周边像素在帧内生成预测图像(帧内预测图像)的H. 264特有的处理。在该已解码的周边像素中重叠在先描述的误差。若将重叠了误差的像素用于帧内预测,则以使用预测图像的块单位GX4 像素、8X8像素或16X16像素)产生误差。即便解码图像中的误差仅为1像素,但若使用该像素来执行帧内预测,则会以4X4像素等构成的大的块单位产生误差,产生视觉上容易识别的块噪声。在上述专利文献1的向下解码中,由于压缩处理的最初步骤中在1位错误扩散中舍去LSB(Least Significant Bit,最低有效位)位,在平坦域中信息不可逆地丢失。因此,平坦域的画质变差(所谓平坦域是指由具有彼此非常接近的像素值的多个像素构成的域)。具有多个平坦域的长图片组(GOP :Group Of Pictures)有可能在图像中产生严重的失真。

发明内容
因此,本发明鉴于这种问题而做出,其目的在于,提供一种图像处理装置和图像处理方法,能够防止画质恶化,抑制帧存储器需要的带域和容量。用于解决问题的手段为了实现上述目的,根据本发明一方式的图像处理装置依次处理多个输入图像, 该图像处理装置具备选择部,按至少一个输入图像切换并选择第1处理模式与第2处理模式;帧存储器;存储部,当所述选择部选择所述第1处理模式时,通过删除所述输入图像中包含的预定频率的信息,缩小所述输入图像,并将缩小后的所述输入图像作为缩小图像,存储在所述帧存储器中,当所述选择部选择所述第2处理模式时,不缩小所述输入图像,而将该输入图像存储在所述帧存储器中;和读出部,当所述选择部选择所述第1处理模式时,从所述帧存储器中读出并扩大所述缩小图像,当所述选择部选择所述第2处理模式时,从所述帧存储器中读出未缩小的所述输入图像。由此,当选择了第1处理模式时,缩小输入图像并存储在帧存储器中,并且,将该缩小了的输入图像从帧存储器中读出并扩大,所以可抑制该帧存储器所需的带域和容量。 另外,当选择了第2处理模式时,将输入图像不缩小地存储在帧存储器中,原样读出该输入图像,所以可防止该输入图像的画质恶化。另外,由于对至少一个输入图像中的每个输入图像切换并选择第1处理模式与第2处理模式,所以可取得防止多个输入图像的整体画质恶化与抑制帧存储器需要的带域和容量的平衡,使两者同时实现。另外,也可所述图像处理装置还具备解码部,将所述读出部读出的扩大的缩小图像、或所述读出部读出的输入图像作为参照图像参照,通过解码位流中包含的编码图像,生成解码图像,所述存储部通过将所述解码部生成的解码图像作为输入图像处理,当选择所述第1处理模式时,缩小所述解码图像,并将缩小后的所述解码图像作为所述缩小图像,存储在所述帧存储器中,当选择所述第2处理模式时,将所述解码部生成的解码图像不缩小地存储在所述帧存储器中,所述选择部根据所述位流中包含的、涉及所述参照图像的信息, 选择第1处理模式或第2处理模式。由此,由于将帧存储器中存储的缩小图像或输入图像用作参照图像,解码位流中包含的编码图像,所以可将图像处理装置用作图像解码装置。并且,由于根据位流中包含的、例如参照帧数量等涉及参照图像的信息,切换第1处理模式与第2处理模式,所以可适当确保防止画质恶化与抑制帧存储器需要的带域和容量的平衡。另外,也可所述存储部当将缩小图像存储在所述帧存储器中时,将表示所述缩小图像像素值的数据的一部分置换为表示被删除的频率信息的至少一部分的嵌入数据,所述读出部当扩大所述缩小图像时,从所述缩小图像中提取所述嵌入数据,根据所述嵌入数据, 恢复所述频率的信息,通过向提取出所述嵌入数据的缩小图像附加所述频率的信息,扩大所述缩小图像。在现有的向下解码中,通过删除解码图像的高频成分来缩小该解码图像,将缩小后的解码图像作为参照图像(缩小图像)存储在帧存储器中。另外,当使用该参照图像解码编码图像时,通过对该参照图像追加表示0的高频成分,扩大该参照图像,在编码图像的解码中参照扩大后的参照图像。因此,删除解码图像的高频成分,将删除了高频成分的解码图像作为参照图像勉强地扩大并参照。结果,会产生视觉失真,画质恶化。但是,在本发明的一方式中,如上所述,即便将高次变换系数等高频成分作为预定频率的信息删除,也可将表示该高次变换系数的至少一部分的例如可变长度编码(编码高次变换系数)等嵌入数据嵌入参照图像(缩小图像)中。另外,当编码图像的解码中使用该参照图像时,从该参照图像中提取嵌入数据,恢复高次变换系数,使用该高次变换系数,扩大参照图像。因此,由于不舍去解码图像中包含的全部高频成分,在解码编码图像中参照的图像中包含该高频成分, 所以可削减通过该解码生成的新的解码图像中的视觉失真,防止画质恶化,来进行向下解码。并且,由于将表示参照图像像素值的数据的一部分置换为嵌入数据,所以可不增加参照图像的数据量,抑制帧存储器需要的容量或带域。即,在本发明一方式中,通过使用数字水印技术来削减向下解码中因图像的缩小或压缩信息而产生的误差,可得到高画质的高清影像。数字水印技术是为了将机器可读取的数据嵌入图像中而变更部分图像的技术。作为数字水印的嵌入数据让视听者无法识别或基本上无法识别。嵌入数据通过部分变更空间、时间或其他变换域(例如傅立叶变换域、离散余弦变换域、小波变换域等)中的媒体内容的数据采样,从而作为数字水印被嵌入。另外,在本发明的一方式中,由于代替复杂的压缩数据而将嵌入数字水印的参照图像存储在帧存储器中,所以从该帧存储器中取出参照图像并输出的视频输出部不需要特殊的扩展处理。另外,也可所述存储部将表示所述缩小图像像素值的数据中、至少包含LSB(Least Significant Bit)的一个或多个位所示的值置换为所述嵌入数据。由此,由于将LSB置换为嵌入数据,所以可将因该置换而对缩小图像的像素值造成的误差抑制到最小限度。另外,也可所述存储部还具备编码部,通过对由所述删除部删除的所述高频成分进行可变长度编码,生成所述嵌入数据,所述恢复部通过对所述嵌入数据进行可变长度解码,根据所述嵌入数据,恢复所述高频成分。由此,通过对高频成分进行可变长度编码,可将嵌入数据的数据量抑制得较小,结果,可将因嵌入数据的置换而对参照图像(缩小图像)的像素值造成的误差抑制到最小限度。另外,也可所述存储部还具备量化部,通过量化由所述删除部删除的所述高频成分,生成所述嵌入数据,所述恢复部通过逆量化所述嵌入数据,根据所述嵌入数据,恢复所述高频成分。由此,通过量化高频成分,可将嵌入数据的数据量抑制得较小,结果,可将因嵌入数据的置换而对参照图像(缩小图像)的像素值造成的误差抑制至最小限度。这样,虽然因嵌入数据的置换而丢失表示像素值的数据的一部分,但由于根据嵌入数据能够可靠地得到比该丢失的部分信息多的信息,所以产生信息增益。另外,也可所述提取部提取表示所述缩小图像像素值的位串构成的数据中、至少一个规定位所示的所述嵌入数据,将提取了所述嵌入数据的像素值,设定为所述位串对应于所述至少一个规定位的值而可能取的值的范围的中央值,所述第2正交变换部将具有设定为所述中央值的像素值的缩小图像的域从像素域变换至频域。若将提取了嵌入数据的至少一个规定位的值全部设为0,则像素值中会产生显著的误差。但是,在本发明中,由于设定像素值为位串根据该至少一个规定位的值而可能取的值的范围的中央值,所以可防止像素值产生显著的误差。另外,也可所述存储部根据所述缩小图像,判别是否应置换为所述嵌入数据,在判别为应置换的情况下,将表示所述缩小图像像素值的数据的一部分置换为所述嵌入数据, 所述读出部根据所述缩小图像,判别是否应提取所述嵌入数据,在判别为应提取的情况下, 从所述缩小图像中提取所述嵌入数据,向提取了所述嵌入数据的缩小图像附加所述频率的
fn息ο在缩小图像平坦且边缘少的情况下,即缩小图像中高次变换系数少的情况下,将表示缩小图像像素值的数据的一部分置换为嵌入数据的情况与不置换的情况相比,画质会恶化。因此,在本发明的一方式中,由于根据缩小图像来切换对嵌入数据的置换,所以对任何缩小图像均可抑制画质的恶化。另外,根据本发明一方式的图像处理装置依次处理多个输入图像,该图像处理装置具备帧存储器;缩小处理部,通过删除输入图像中包含的预定频率的信息,缩小所述输入图像,并将缩小后的所述输入图像作为缩小图像,存储在所述帧存储器中;和扩大处理部,从所述帧存储器中读出并扩大所述缩小图像,所述缩小处理部当在所述帧存储器中存储缩小图像时,将表示所述缩小图像像素值的数据一部分置换为表示被删除的所述频率信息至少一部分的嵌入数据,所述扩大处理部从所述缩小图像中提取所述嵌入数据,根据所述嵌入数据,恢复所述频率的信息,并通过向提取了所述嵌入数据的缩小图像附加所述频率的信息,扩大所述缩小图像。由此,即便将高次变换系数等高频成分作为预定频率的信息删除,也可将表示该高次变换系数至少一部分的、例如可变长度编码(编码高次变换系数)等嵌入数据嵌入缩小图像中。另外,当从帧存储器中读出该缩小图像时,从该缩小图像中提取嵌入数据,恢复高次变换系数,使用该高次变换系数,扩大缩小图像。因此,由于不舍去全部高频成分地缩小输入图像,在读出并扩大的缩小图像中包含该高频成分,所以即便不切换上述第1处理模式与第2处理模式,也可防止画质恶化,抑制帧存储器需要的带域和容量。另外,根据本发明一方式的图像解码装置依次解码位流中包含的多个编码图像, 该图像解码装置具备帧存储器,存储解码编码图像中使用的参照图像;解码部,通过参照扩大所述参照图像而得到的图像,解码所述编码图像,生成解码图像;缩小处理部,通过删除所述解码部生成的解码图像中包含的预定频率的信息,缩小所述解码图像,并将缩小后的所述解码图像作为参照图像,存储在所述帧存储器中;和扩大处理部,从所述帧存储器中读出所述参照图像并扩大,所述缩小处理部当在所述帧存储器中存储参照图像时,将表示所述参照图像像素值的数据一部分置换为表示被删除的所述频率信息至少一部分的嵌入数据,所述扩大处理部从所述参照图像中提取所述嵌入数据,根据所述嵌入数据,恢复所述频率的信息,并通过向提取了所述嵌入数据的参照图像附加所述频率的信息,扩大所述参照图像。由此,即便将高次变换系数等高频成分作为预定频率的信息删除,也可将表示该高次变换系数至少一部分的、例如可变长度编码(编码高次变换系数)等嵌入数据嵌入参照图像中。另外,当将该参照图像用于编码图像的解码时,从该参照图像中提取嵌入数据, 恢复高次变换系数,使用该高次变换系数,扩大参照图像。因此,由于不舍去解码图像中包含的全部高频成分,在解码编码图像中参照的图像中包含该高频成分,所以可削减通过该解码生成的新的解码图像中的视觉失真。结果,如上所述,可不切换第1处理模式与第2处理模式,防止画质恶化,进行向下解码。并且,由于将表示参照图像像素值的数据的一部分置换为嵌入数据,所以可不增加参照图像的数据量,抑制帧存储器需要的容量或带域。本发明不仅可实现为这种图像处理装置,也可实现为集成电路、该图像处理装置处理图像的方法、让计算机执行该方法中包含的处理的程序、存储该程序的记录媒体。发明效果本发明的图像处理装置可起到防止画质恶化、抑制帧存储器需要的带域和容量的作用效果。


图1是表示本发明实施方式1中的图像处理装置的功能构成的模块图。图2是表示以上图像处理装置的动作的流程图。图3是表示本发明实施方式2中的图像解码装置的功能构成的模块图。图4是表示以上嵌入缩小处理部的处理动作概略的流程图。图5是表示以上高次变换系数的编码处理的流程图。图6是表示以上编码高次变换系数的嵌入处理的流程图。图7是表示用于对以上高次变换系数进行可变长度编码的表的图。图8是表示以上提取扩大处理部的处理动作概略的流程图。图9是表示以上编码高次变换系数的提取和恢复处理的流程图。图10是表示以上嵌入缩小处理部的处理动作的具体例的图。图11是表示以上提取扩大处理部的处理动作的具体例的图。图12是表示根据以上变形例的图像解码装置的功能构成的模块图。图13是表示根据以上变形例的选择部的动作的流程图。图14是表示本发明实施方式3中的嵌入缩小处理部执行的编码高次变换系数的嵌入处理的流程图。图15是表示以上提取扩大处理部执行的编码高次变换系数的提取和恢复处理的流程图。图16是表示本发明实施方式4的图像解码装置的功能构成的模块图。图17是表示以上视频输出部的功能构成的模块图。图18是表示以上视频输出部的动作的流程图。图19是表示根据以上变形例的图像解码装置的功能构成的模块图。图20是表示根据以上变形例的视频输出部的功能构成的模块图。图21是表示根据以上变形例的视频输出部的动作的流程图。图22是表示本发明实施方式5的系统LSI的构成的构成图。图23是表示根据以上变形例的系统LSI的构成的构成图。图M是表示本发明实施方式6中缩小存储器视频解码器的概要的模块图。图25是涉及进行缩小DPB充足性检查的预分析器的概略图,缩小DPB充足性检查决定针对以上上位参数层和下位参数层双方的图片的视频解码模式(全分辨率或解码分辨率)。图沈是涉及以上下位层语法的缩小DPB充足性检查的流程图。图27是涉及以上预读信息生成(步骤S245)的流程图。
图观是涉及以上准时移除实例(on time removal instance)(步骤S2453)的存储的流程图。图四是涉及以上用于确认全解码模式的执行可能性的条件检查(步骤S246)的流程图。图30是以上示例的下位层语法的缩小DPB充足性检查-例1。图31是以上示例的下位层语法的缩小DPB充足性检查-例2。图32是涉及使用表示由以上预分析器提供的、涉及帧解码的全部帧的视频解码模式的信息列表、进行全分辨率视频解码或降低分辨率视频解码的实施方式的操作的概略图。图33是涉及以上示例的向下采样部件的概略图。图34是涉及以上示例的向下采样部件中使用的高次变换系数信息的编码的流程图。图35是涉及以上示例的向下采样手段中使用的高次变换系数的嵌入检查的流程图。图36是涉及向以上示例的向下采样手段中使用的向下样本像素的多个LSB嵌入表示高次变换系数的VLC代码的流程图。图37是示例说明以上具有偶数或奇数特性的4像素线的变换系数特性的说明图。图38是涉及以上示例的向上采样手段的概略图。图39是涉及以上示例的向下采样手段中使用的高次变换系数信息的提取检查的流程图。图40是涉及以上示例的向下采样手段中使用的高次变换系数的解码的流程图。图41是示例说明以上示例的向下采样手段中使用的4 — 3向下解码用量化、VLC 和空间水印方式的说明图。图42是表示不需要以上预分析器的缩小存储器视频解码器的代替简易实施方式的图。图43是涉及为了以上DPB充足性检查而仅对上位参数层信息进行句法解析的本发明代替简易实施方式的概略图。图44是涉及使用表示由以上解码器自身的句法解析编码部件提供的、涉及帧解码的全部帧的视频解码模式的信息列表、进行全分辨率视频解码或降低分辨率视频解码的代替实施方式操作的概略图。图45是示例说明以上系统LSI的实施方式的说明图。图46是示例说明以上决定全分辨率/降低分辨率解码模式中不使用预分析器的、 代替的本发明简易系统LSI的实施方式的说明图。图47是表示现有典型图像解码装置的功能构成的模块图。图48是用于说明以上向下解码的说明图。图49A是用于说明以上其他向下解码的说明图。图49B是用于说明以上其他向下解码的其他说明图。
具体实施例方式以下,参照

本发明的实施方式中的图像处理装置。(实施方式1)图1是表示本实施方式中的图像处理装置的功能构成的模块图。本实施方式中的图像处理装置10是依次处理多个输入图像的装置,具备存储部 11、帧存储器12、读出部13与选择部14。选择部14对至少一个输入图像中的每个输入图像切换并选择第1处理模式与第2 处理模式。例如,选择部14根据输入图像的特征、性质、与该输入图像关联的信息等,选择第1或第2处理模式。存储部11当选择部14选择了第1处理模式时,通过删除输入图像中包含的预定频率的信息(例如高频成分),缩小输入图像,并将缩小后的输入图像作为缩小图像,存储在帧存储器12中。另外,存储部11当选择部14选择了第2处理模式时,将输入图像不缩小地存储在帧存储器12中。读出部13当选择部14选择了第1处理模式时,从帧存储器12中读出缩小图像后扩大。另外,读出部13当选择部14选择了第2处理模式时,从帧存储器12中读出未缩小的输入图像。图2是表示本实施方式中图像处理装置10的动作的流程图。首先,图像处理装置10的选择部14选择第1处理模式或第2处理模式(步骤 Sll)。接着,存储部11将输入图像存储在帧存储器12中(步骤Si》。S卩,存储部11在步骤Sll中选择第1处理模式的情况下,缩小该输入图像,并将缩小后的输入图像作为缩小图像,存储在帧存储器12中(步骤Slh),在步骤Sll中选择第2处理模式的情况下,将该输入图像不缩小地存储在帧存储器12中(步骤S12b)。并且,读出部13从帧存储器12中读出图像(步骤S13)。即,读出部13在步骤Sll 中选择第1处理模式的情况下,从帧存储器12中读出步骤Slh中存储的缩小图像后扩大 (步骤S13a),在步骤Sll中选择第2处理模式的情况下,从帧存储器12中读出步骤S12b 中存储的未缩小的输入图像(步骤S13b)。这样,在本实施方式中,当选择第1处理模式时,缩小输入图像后存储在帧存储器 12中,并且,在读出该缩小后的输入图像时,扩大该缩小后的输入图像。由此,可抑制帧存储器需要的带域和容量。另外,在本实施方式中,当选择第2处理模式时,将输入图像不缩小地存储在帧存储器12中,原样读出该输入图像。由此,即便将输入图像存储到帧存储器12 中并读出,也不会缩小和扩大输入图像,所以可防止该输入图像的画质恶化。即,当将输入图像存储到帧存储器中并读出时,若将该输入图像原样存储到帧存储器中并原样读出,则可防止输入图像的画质恶化,但需要带域宽、容量多的帧存储器。另一方面,当将输入图像存储到帧存储器中并读出时,若如以前那样始终执行在缩小或压缩并且扩大或扩展该输入图像,则虽然能抑制帧存储器需要的带域和容量,但会使输入图像的画质恶化。因此,在本实施方式中,由于对至少一个输入图像中的每个输入图像切换并选择第1处理模式与第2处理模式,所以可取得防止多个输入图像的整体画质恶化与抑制帧存储器需要的带域和容量的平衡,使两者同时实现。
另外,本实施方式的存储部11执行输入图像的缩小方法和读出部13执行的缩小图像的扩大方法既可以是上述专利文献1或上述非专利文献1中记载的方法,也可以是其他任何方法。(实施方式2)图3是表示本实施方式中的图像解码装置的功能构成的模块图。本实施方式中的图像解码装置100对应于H. 264视频编码标准,具备语法解析熵解码部101、逆量化部102、逆频率变换部103、帧内预测部104、加法部105、解块滤波部 106、嵌入缩小处理部107、帧存储器108、提取扩大处理部109、全分辨率运动补偿部110和视频输出部111。本实施方式中的图像解码装置100的特征在于嵌入缩小处理部107和提取扩大处理部109的处理。语法解析熵解码部101取得表示多个编码图像的位流,对该位流进行语法解析及熵解码。熵解码中也可包含可变长度解码(VLC)或算术编码(例如CABAC fontext-based Adaptive Binary Arithmetic Coding)。逆量化部102取得从语法解析熵解码部101输出的熵解码系数并进行逆量化。逆频率变换部103通过对逆量化后的熵解码系数进行逆离散余弦变换,生成差分图像。加法部105当进行帧间预测时,通过将从全分辨率运动补偿部110输出的帧间预测图像与从逆频率变换部103输出的差分图像相加,生成解码图像。另外,加法部105当进行帧内预测时,通过将从帧内预测部104输出的帧内预测图像与从逆频率变换部103输出的差分图像相加,生成解码图像。解块滤波部106对解码图像进行解块滤波处理,降低块噪声。嵌入缩小处理部107进行缩小处理。即,嵌入缩小处理部107通过缩小该解块滤波处理后的解码图像,生成低分辨率的缩小解码图像。并且,嵌入缩小处理部107将该缩小解码图像作为参照图像,写入帧存储器108。帧存储器108具有用于存储多个参照图像的域。另外,本实施方式中的嵌入缩小处理部107如后所述,其特征在于通过对高次变换系数进行量化并进行可变长度编码的编码高次变换系数(嵌入数据)嵌入缩小解码图像中,生成该参照图像。下面,将本实施方式中的嵌入缩小处理部107执行的处理称为嵌入缩小处理。提取扩大处理部109进行扩展处理。即,提取扩大处理部109读出帧存储器108中存储的参照图像,将该参照图像扩大为原本的高分辨率(缩小前的解码图像的分辨率)的图像。另外,本实施方式中的提取扩大处理部109如后所述,其特征在于,提取嵌入参照图像中的编码高次变换系数,根据该编码高次变换系数,恢复高次变换系数,并向提取了编码高次变换系数的参照图像附加该高次变换系数。另外,下面将本实施方式中的提取扩大处理部109执行的处理称为提取扩大处理。全分辨率运动补偿部110使用从语法解析熵解码部101输出的运动矢量与由提取扩大处理部109扩大的参照图像,生成帧间预测图像。帧内预测部104在进行帧内预测的情况下,使用解码对象块(构成解码对象的编码图像的块)的邻近像素,通过对该解码对象块进行帧内预测,生成帧内预测图像。视频输出部111读出帧存储器108中存储的参照图像,将该参照图像扩大或缩小到应输出到显示器的分辨率,并输出到显示器。下面,详细说明本实施方式中的嵌入缩小处理部107和提取扩大处理部109的处
理动作。图4是表示本实施方式中的嵌入缩小处理部107的处理动作概略的流程图。首先,嵌入缩小处理部107对像素域的解码图像进行全分辨率(高分辨率)的频率变换(具体地为DCT等正交变换),得到由多个变换系数构成的频域的系数组(步骤 S100)。即,嵌入缩小处理部107对由NfXNf像素构成的解码图像进行全分辨率的DCT,生成由NfXNf个变换系数构成的频域的系数组,即由频域表示的解码图像。这里,例如Nf为 4。接着,嵌入缩小处理部107从频域的系数组中取出高次变换系数(高频的变换系数)后编码(步骤S102)。即,嵌入缩小处理部107从NfXNf个变换系数构成的系数组中提取表示高频成分的(Nf-Ns) XNf个高次变换系数后编码,由此生成编码高次变换系数。 这里,例如Ns为3。并且,嵌入缩小处理部107为了在下一步骤中进行低分辨率的逆频率变换,缩放频域的NsXNf个变换系数,调整这些变换系数的增益(步骤S104)。接着,嵌入缩小处理部107对缩放后的NsXNf个变换系数进行低分辨率的逆频率变换(具体地为IDCT等逆正交变换),得到由像素域表示的低分辨率的缩小解码图像(步骤 S106)。并且,嵌入缩小处理部107通过将步骤S102得到的编码高次变换系数嵌入低分辨率的缩小解码图像,生成参照图像(步骤S108)。通过这种处理,将NfXNf像素的解码图像低分辨率化即缩小而变换为NsXNf像素的参照图像。即,仅沿水平方向缩小Nf X Nf像素的解码图像。本实施方式中的嵌入缩小处理部107具备执行步骤SlOO的处理的第1正交变换部、执行步骤S102的处理的删除部、编码部和量化部、执行步骤S106的处理的第1逆正交变换部、和执行步骤S108的处理的嵌入部。这里,详细说明步骤SlOO中执行的DCT和步骤S106中执行的IDCT。由NXN像素构成的解码图像的二维DCT如下(式1)所示定义。[数式1]吵,力=Ac⑷c^ggy^—i^^cosi^ll^…(式” N二二2Ν2Ν其中,(式1)中,满足u,v,x,y = 0,1,2,. .,N_1这样的条件,x,y是像素域中的空间坐标,u,ν是频域中的频率坐标。另外,C(u)和C(V)分别满足下(式2、的条件。[数式2]
““1C(i/),C(v) = |T2 W,V = 0...(式 2)1 otherwise并且,二维 IDCT(Inverse Discrete Cosine Transform,逆离散余弦变换)如下 (式幻所示定义。[数式3]
权利要求
1.一种图像处理装置,依次处理多个输入图像,具备选择部,按至少一个输入图像切换并选择第1处理模式与第2处理模式; 帧存储器;存储部,在所述选择部选择了所述第1处理模式时,删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像,并将缩小的所述输入图像作为缩小图像存储在所述帧存储器中,在所述选择部选择了所述第2处理模式时,不缩小所述输入图像,而将该输入图像存储在所述帧存储器中;以及读出部,在所述选择部选择了所述第1处理模式时,从所述帧存储器中读出并扩大所述缩小图像,在所述选择部选择了所述第2处理模式时,从所述帧存储器中读出未缩小的所述输入图像。
2.根据权利要求1所述的图像处理装置,其中,所述图像处理装置还具备解码部,该解码部将所述读出部读出并扩大的缩小图像、或所述读出部读出的输入图像作为参照图像来参照,对位流中包含的编码图像进行解码,由此生成解码图像,所述存储部将所述解码部生成的解码图像作为输入图像处理,由此,当选择了所述第 1处理模式时,缩小所述解码图像,并将缩小的所述解码图像作为所述缩小图像存储在所述帧存储器中,当选择了所述第2处理模式时,不缩小所述解码部生成的解码图像,而将该解码图像存储在所述帧存储器中,所述选择部根据所述位流中包含的涉及所述参照图像的信息,选择第1处理模式或第 2处理模式。
3.根据权利要求2所述的图像处理装置,其中,所述存储部在将缩小图像存储在所述帧存储器中时,将表示所述缩小图像的像素值的数据的一部分置换为表示被删除的频率的信息的至少一部分的嵌入数据,所述读出部在扩大所述缩小图像时,从所述缩小图像中提取所述嵌入数据,根据所述嵌入数据恢复所述频率的信息,向被提取了所述嵌入数据的缩小图像附加所述频率的信息,由此扩大所述缩小图像。
4.根据权利要求3所述的图像处理装置,其中,所述存储部在缩小所述输入图像时,在水平方向缩小所述输入图像,由此减少所述输入图像的水平方向的像素数量,所述读出部在扩大所述缩小图像时,在水平方向扩大所述参照图像,由此增加所述缩小图像的水平方向的像素数量。
5.根据权利要求3或4所述的图像处理装置,其中,所述存储部将表示所述缩小图像的像素值的数据之中的、至少包含最低有效位的一个或多个位所示的值置换为所述嵌入数据。
6.根据权利要求3 5中某一项所述的图像处理装置,其中, 所述存储部具备第1正交变换部,将表示所述输入图像的域从像素域变换至频域; 删除部,从所述频域的输入图像中,将预定的高频成分作为所述频率的信息删除; 第1逆正交变换部,将表示被删除了所述高频成分的输入图像的域从频域变换为像素域;以及嵌入部,将表示由所述第1逆正交变换部变换的输入图像的像素值的数据的一部分, 置换为表示被删除的所述高频成分的至少一部分的所述嵌入数据。
7.根据权利要求6所述的图像处理装置,其中, 所述读出部具备提取部,提取所述缩小图像中包含的所述嵌入数据; 恢复部,根据提取出的所述嵌入数据,恢复所述高频成分;第2正交变换部,将表示被提取了所述嵌入数据的缩小图像的域从像素域变换至频域;附加部,向所述频域的缩小图像附加所述高频成分;以及第2逆正交变换部,将表示被附加了所述高频成分的缩小图像的域从频域变换为像素域。
8.根据权利要求7所述的图像处理装置,其中,所述存储部还具备编码部,该编码部对所述删除部删除的所述高频成分进行可变长度编码,由此生成所述嵌入数据,所述恢复部对所述嵌入数据进行可变长度解码,由此根据所述嵌入数据恢复所述高频成分。
9.根据权利要求7所述的图像处理装置,其中,所述存储部还具备量化部,该量化部对所述删除部删除的所述高频成分进行量化,由此生成所述嵌入数据,所述恢复部对所述嵌入数据进行逆量化,由此根据所述嵌入数据恢复所述高频成分。
10.根据权利要求7所述的图像处理装置,其中,所述提取部提取由表示所述缩小图像的像素值的位串构成的数据之中的、至少一个规定位所示的所述嵌入数据,将被提取了所述嵌入数据的像素值,设定为所述位串根据所述至少一个规定位的值而可能取的值的范围的中央值,所述第2正交变换部将具有设定为所述中央值的像素值的缩小图像的域从像素域变换至频域。
11.根据权利要求3 10所述的图像处理装置,其中,所述存储部根据所述缩小图像,判别是否应置换为所述嵌入数据,在判别为应置换的情况下,将表示所述缩小图像的像素值的数据的一部分置换为所述嵌入数据,所述读出部根据所述缩小图像,判别是否应提取所述嵌入数据,在判别为应提取的情况下,从所述缩小图像中提取所述嵌入数据,向被提取了所述嵌入数据的缩小图像附加所述频率的信息。
12.根据权利要求7所述的图像处理装置,其中,所述第1正交变换部和第2正交变换部通过对图像进行离散余弦变换,将表示所述图像的域从像素域变换至频域,所述第1逆正交变换部和第2逆正交变换部通过对图像进行逆离散余弦变换,将表示所述图像的域从频域变换为像素域。
13.根据权利要求12所述的图像处理装置,其中,所述离散余弦变换和所述逆离散余弦变换的变换对象尺寸为4X4尺寸。
14.根据权利要求3 13中某一项所述的图像处理装置,其中,所述解码部具备逆频率变换部,对所述编码图像进行逆频率变换,由此生成差分图像;运动补偿部,参照所述参照图像进行运动补偿,由此生成所述编码图像的预测图像;以及加法部,将所述差分图像与所述预测图像相加,由此生成所述解码图像。
15.一种图像处理方法,依次处理多个输入图像,其中,按至少一个输入图像切换并选择第1处理模式与第2处理模式;在选择了所述第1处理模式时,删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像,并将缩小的所述输入图像作为缩小图像存储在帧存储器中,在所述选择部选择了所述第2处理模式时,不缩小所述输入图像,而将该输入图像存储在所述帧存储器中;在选择了所述第1处理模式时,从所述帧存储器中读出并扩大所述缩小图像,在选择了所述第2处理模式时,从所述帧存储器中读出未缩小的所述输入图像。
16.一种程序,用于依次处理多个输入图像,使计算机执行按至少一个输入图像切换并选择第1处理模式与第2处理模式;在选择了所述第1处理模式时,删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像,并将缩小的所述输入图像作为缩小图像存储在帧存储器中,在所述选择部选择了所述第2处理模式时,不缩小所述输入图像,而将该输入图像存储在所述帧存储器中;在选择了所述第1处理模式时,从所述帧存储器中读出并扩大所述缩小图像,在选择了所述第2处理模式时,从所述帧存储器中读出未缩小的所述输入图像。
17.一种集成电路,依次处理多个输入图像,具备选择部,按至少一个输入图像切换并选择第1处理模式与第2处理模式;存储部,在所述选择部选择了所述第1处理模式时,删除所述输入图像中包含的预定的频率的信息从而缩小所述输入图像,并将缩小的所述输入图像作为缩小图像存储在帧存储器中,在所述选择部选择了所述第2处理模式时,不缩小所述输入图像,而将该输入图像存储在所述帧存储器中;以及读出部,在所述选择部选择了所述第1处理模式时,从所述帧存储器中读出并扩大所述缩小图像,在所述选择部选择了所述第2处理模式时,从所述帧存储器中读出未缩小的所述输入图像。
全文摘要
一种图像处理装置(10),可防止画质恶化,抑制帧存储器需要的带域和容量,具备选择部(14),切换并选择第1处理模式与第2处理模式;帧存储器(12);存储部(11),在选择了第1处理模式时,通过删除输入图像中包含的预定频率的信息,缩小该输入图像,并将缩小后的输入图像作为缩小图像,存储在帧存储器(12)中,在选择了第2处理模式时,将输入图像不缩小地存储在帧存储器(12)中;和读出部(13),在选择了第1处理模式时,从帧存储器(12)中读出缩小图像并扩大,在选择了第2处理模式时,从帧存储器(12)中读出未缩小的输入图像。
文档编号H04N7/32GK102165778SQ20108000260
公开日2011年8月24日 申请日期2010年1月14日 优先权日2009年2月10日
发明者M·彼米, V·瓦哈达尼亚, W·L·纽, 今仲隆晃, 林宗顺, 田中健 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1