图像解码装置及其方法、图像编码装置及其方法

专利名称：图像解码装置及其方法、图像编码装置及其方法
技术领域：
本发明涉及图像解码装置、图像解码程序、图像解码方法、图像 编码装置、图像编码程序以及图像编码方法。
背景技术：
已知从通过把视频编码数据进行解码所再生的多个低清晰图像 (以下，把r低清晰」记为LR)生成高清晰图像(以下，把r高清 晰J记为HR)的超清晰技术(以下，把r超清晰J记为SR)(例如， 参照「 C.A.Segall et al., "High - Resolution Images from Low-Resolution Compressed Vidio"， IEEE Signal Processing Magazine, 2003年5月，pp.37- 48 J (以下称为r非专利文献1」))。
在SR技术中，把多个LR图像与1张HR图像的关系建模，通 过统计性地处理已知信息以及推测信息，能够从多个LR图像生成HR 图像。图1表示LR图像与HR图像之间的模型。在该模型中，假定 从l张原图像HR图像101生成多帧(L张)的原图像LR图像104。
在该假定中，为了生成原图像LR图像104-1、 104-2........ 104
-L,对于原图像HR图像101适用动态模型201-1、 201-2........
201-L。这时，如果对于HR图像，根据低通滤波器和降抽样的取样
模型202 ，实施取样处理，则生成原图像LR图像104 - 1 、 104 - 2........
104 - L。这里，如果把通过解码视频编码数据生成的再生LR图像102-l、 102-2.......、 102-L与原图像LR图像104-1、 104-2........
104-L的差分假定为量化噪声103-1、 103 - 2........ 103 -L，则
帧k的原图^f象HR图^象f—k(x， z) ， HxS2M， 1S《2N与帧1的再生 LR图像y—l(m， n) ， l￡mSM, l^n^N的关系能够按照以下的公式 1建模。
y—1 = AHC ( d Jk) f一k + e—1 ......(式1)
式中，1是从1到L的整数，C (djk)是帧k与帧I的HR图像 之间的动态模型的矩阵，AH是取样模型的矩阵(H是表示HR图像 的滤波处理的4MNx4MN的矩阵，A是MNx4MN的降抽样矩阵)， e一l表示帧I的再生LR图像的量化噪声。
这样，视频编码数据的某个再生LR图像与1张HR图像能够用 表示LR-HR图像之间的时空对应的动态模型和在从HR图像向LR 图像的恶化过程中发生的噪声的信号模型建模。从而，为了从多个再 生LR图像生成1张HR图像，使用统计性的方法定义评价动态模型 或者信号模型的推测值的成本函数，求解非线性的优化处理。在该优 化处理中，对于多个LR图像的每一个，求表示LR图像-HR图像之 间的时空对应的动态信息(SR动态信息)和HR图像的解。
作为优化处理的方法，例如有coordinate decent法(参照「 H.He， L.P.Kondi， "MAP Based Resolution Enhancement of Video Sequences Using a Huber - Markov Random Field Image Prior Model, Pro" Of IEEE International Conference on Image Processing Vol. H，(西班 牙)，，，2003年9月，pp.933 - 936 J (以下，称为「非专利文献2 J ))。 在该方法中，首先，从再生LR图像通过内插处理生成虛拟HR图像 (伴随着利用了反复处理的优化的暂时的HR图像)。把HR图像固 定，利用成本函数，求表示虛拟HR图像与多个LR图像之间的时空 对应的动态信息。接着，把求出的动态信息固定，利用成本函数更新 虛拟HR图像。进而，把虛拟HR图像固定，更新动态信息。反复进 行该处理，使解收敛。

发明内容
在现有的超清晰技术中，在从多个图像生成清晰度更高的图像的 清晰度扩充处理中，由于低清晰度图像的编码噪声以及取样不清楚， 以及作为假定的模型的不确定性等的影响，难以高精度地进行低清晰 图像与高清晰图像之间的动态检测。另外，为了进行图像之间的动态 检测或者优化处理，在清晰度扩充处理中需要巨大的运算量。
本发明是为解决上述课题而完成的，其目的在于提供减轻图像清 晰度扩充处理中的运算量，同时能够提高图像之间的动态检测精度的 图像解码装置、图像解码程序、图像解码方法、图像编码装置、图像 编码程序以及图{象编码方法。
本发明的图像解码装置具备视频数据解码单元，接收视频编码 数据并进行解码，得到多个再生图像；辅助数据解码单元，接收辅助 数据并进行解码，得到辅助动态信息；清晰度扩充单元，基于由上述 辅助数据解码单元得到的辅助动态信息，生成表示上述多个再生图像 之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数 据解码单元得到的多个再生图像，生成空间清晰度比上述多个再生图
像高的高清晰图像。
如果依据上述的图像解码装置，则根据辅助动态信息生成动态矢
量，使用所生成的动态矢量和多个再生图像，生成空间清晰度比该多 个再生图像高的高清晰图像。
另外，在上述图像解码装置中，最好采用以下的形态。即，在上 述图像解码装置中，最好构成为辅助动态信息包括辅助动态矢量，清 晰度扩充单元把辅助动态矢量用作为动态矢量。
另外，在上述图像解码装置中，最好釆用辅助动态信息包括辅助
动态矢量，清晰度扩充单元使用多个再生图像检测中间动态矢量，通 过该中间动态矢量与辅助动态矢量的加法处理生成动态矢量的结构。
另外，在上述图像解码装置中，最好采用辅助动态信息包括辅助 动态矢量，清晰度扩充单元把辅助动态矢量作为动态矢量的初始动态 矢量，通过使用多个再生图像更新初始动态矢量，生成动态矢量的结构。
进而，在上述图像解码装置中，最好采用辅助动态矢量包括作为 用于生成动态矢量所需要条件的动态矢量生成条件，清晰度扩充单元 根据动态矢量生成条件从多个再生图像生成动态矢量的结构。
本发明的图像编码装置具备图像取样单元，把高清晰图像变换 为低清晰图像；视频数据编码单元，把由上述图像取样单元生成的多 个低清晰图像压缩编码，生成编码视频数据；视频数据解码单元，把 由上述视频数据编码单元生成的编码视频数据解码，得到再生低清晰 图像；辅助动态信息生成单元，使用上述高清晰图像或者上述低清晰 图像，生成在上述动态矢量的生成中所需要的辅助动态信息；清晰度 扩充单元，基于由上述辅助动态信息生成单元生成的辅助动态信息， 生成表示由上述视频数据解码单元得到的多个再生低清晰图像之间的 时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰 图像，生成再生高清晰图像；辅助数据编码单元，把由上述辅助动态 信息生成单元生成的辅助动态信息作为辅助数据进行编码。
如果依据上述图像编码装置，则使用高清晰图像或者低清晰图 像，生成在动态矢量的生成中所需要的辅助动态信息，根据所生成的 辅助动态信息生成动态矢量，使用所生成的动态矢量和多个再生低清 晰图像生成再生高清晰图像，同时，把辅助动态信息作为辅助数据进 行编码。
另外，本发明的图像解码装置具备编码数据解码单元，接收编 码数据并进行熵解码，得到作为用于生成动态矢量所需要的条件的动 态矢量生成条件和表示预测误差图像信号的编码信息；用于保存解码 图像信号的图像存储器；动态矢量生成单元，根据由上述编码数据解 码单元得到的动态矢量生成条件，从保存在上述图像存储器中的解码 图像信号生成动态矢量；预测图像信号生成单元，使用由上述动态矢 量生成单元生成的动态矢量和上述解码图像信号生成预测图像信号； 解码单元，把由上述编码数据解码单元得到的编码信息解码，得到预 测误差图像信号；保存单元，把由上述预测图像信号生成单元生成的预测图像信号与由上述解码单元得到的预测误差图像信号相加，复原 解码图像信号，把该解码图像信号保存在上述图像存储器中。
如果依据上述图像解码装置，则根据作为用于生成动态矢量所需 要的条件的动态矢量生成条件，从保存在图像存储器中的解码图像信 号生成动态矢量，使用所生成的动态矢量和解码图像信号生成预测图 像信号。另一方面，在把表示预测误差图像信号的编码信息解码得到 了预测误差图像信号以后，把上述生成的预测图像信号与上述预测误 差图像信号相加，复原解码图像信号，把该解码图像信号保存在图像 存储器中。
另外，本发明的图像编码装置具备输入单元，把输入图像信号 进行输入；用于保存解码图像信号的图像存储器；动态矢量生成条件 决定单元，根据由上述输入单元输入的输入图像信号，决定作为用于 生成动态矢量所需要的条件的动态矢量生成条件；动态矢量生成单元， 根据由上述动态矢量生成条件决定单元决定的动态矢量生成条件，从 保存在上述图像存储器中的解码图像信号生成动态矢量；预测图像信 号生成单元，使用由上述动态矢量生成单元生成的动态矢量和上述解 码图像信号，生成预测图像信号；预测误差图像信号生成单元，从由 上述输入单元输入的输入图像信号和由上述预测图像信号生成单元生 成的预测图像信号生成预测误差图像信号；编码信息取得单元，把由 上述预测误差图像信号生成单元生成的预测误差图像信号编码，得到 编码信息；局部解码单元，把由上述编码信息取得单元取得的编码信 息解码，得到解码预测误差图像信号；保存单元，从由上述预测图像 信号生成单元生成的预测图像信号和由上述局部解码单元得到的解码 预测误差图像信号复原解码图像信号，把该解码图像信号保存在上述 图像存储器中；编码数据生成单元，把由上述动态矢量生成条件决定 单元决定的动态矢量生成条件和由上述编码信息取得单元取得的编码 信息进行熵编码，生成编码数据。
如果依据上述图像编码装置，则根据所输入的输入图像信号，决 定作为用于生成动态矢量所需要的条件的动态矢量生成条件，根据所决定的动态矢量生成条件，从保存在图像存储器中的解码图像信号生 成动态矢量，使用所生成的动态矢量和解码图像信号，生成预测图像 信号。另一方面，从所输入的输入图像信号和上述所生成的预测图像 信号生成预测误差图像信号，把所生成的预测误差图像信号编码得到 编码信息，把所得到的编码信息解码得到解码预测误差图像信号。而 且，从所生成的预测图像信号和上述得到的解码预测误差图像信号复 原解码图像信号，把该解码图像信号保存在图像存储器中，同时，把 上述动态矢量生成条件和编码信息进行熵编码，生成编码数据。 另外，本发明的图像解码装置能够采用以下的形态。 本发明的图像解码装置能够采用如下的结构，该结构的特征是具
备接收视频编码数据进行解码，得到多个再生图像的视频数据解码 单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单 元；生成表示由上述视频数据解码单元得到的多个再生图像与l张高 清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述 多个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像 的清晰度扩充单元，上述清晰度扩充单元根据由上述辅助数据解码单 元得到的辅助动态信息和先前生成的高清晰图像，反复实施生成上述 动态矢量的动态矢量生成处理、从所生成的动态矢量和上述多个再生 图像生成高清晰图像的高清晰图像生成处理。
上述中，清晰度扩充单元在每次动态矢量生成处理和高清晰图像 生成处理的反复处理中，也可以采用每次根据辅助动态信息实施动态 矢量生成处理的结构，辅助动态信息包括在表示动态矢量生成处理和 高清晰图像生成处理的反复处理中的特定次数的特定次数信息，清晰 度扩充单元也可以采用在特定次数信息所表示的特定次数的动态矢量 生成处理中，实施基于辅助动态信息的动态矢量生成处理的结构。
本发明的图像解码装置能够采用如下的结构，该结构具备接收 视频编码数据进行解码，得到多个再生图像的视频数据解码单元；用
于保存清晰度扩充完毕的高清晰图像的图像存储器；生成表示上述多 个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述 多个再生图像高的第1高清晰图像，使用所生成的第1高清晰图像和
保存在上述图像存储器中的高清晰图像生成第2高清晰图像的清晰度 扩充单元；把由上述清晰度扩充单元生成的第l或者第2高清晰图像 保存在图像存储器中的图像保存单元。
另外，本发明的图像解码装置能够釆用如下的结构，该结构具备 接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元； 接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；用 于保存清晰度扩充完毕的高清晰图像的图像存储器；生成表示上述多 个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由 上述视频数据解码单元得到的多个再生图像，生成空间清晰度比上述 多个再生图像高的第1高清晰图像，根据由上述辅助数据解码单元得 到的辅助动态信息，使用所生成的第1高清晰图像和保存在上述图像 存储器中的高清晰图像生成第2高清晰图像的清晰度扩充单元；把由 上述清晰度扩充单元生成的第l或者第2高清晰图像保存在上述图像 存储器中的图像保存单元。
另外，本发明的图像解码装置能够采用如下的结构，该结构的特 征是具备接收视频编码数据进行解码，得到多个再生图像和再生动 态矢量的视频数据解码单元；接收辅助数据进行解码，得到在上述再 生动态矢量的修正中所需要的辅助动态信息的辅助数据解码单元；生 成表示多个再生图像之间的时空对应的动态矢量，使用所生成的动态 矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰 度比上述多个再生图像高的高清晰图像的清晰度扩充单元，上述清晰 度扩充单元把根据由上述辅助数据解码单元得到的辅助动态信息修正 的再生动态矢量作为上述动态矢量的初始动态矢量，通过使用上述多 个再生图像更新上述初始动态矢量，生成上述动态矢量。
另外，本发明除去能够像上述那样记述为图像解码装置以及图像 编码装置的发明以外，还能够像以下那样记述为图像解码方法、图像 解码程序、图像编码方法以及图像编码程序的发明。这只是实施形态以及产品形态不同，但是起到相同的作用和效果。
本发明的图像解码方法的特征是具备视频数据解码步骤，接收 视频编码数据并进行解码，得到多个再生图像；辅助数据解码步骤， 接收辅助数据并进行解码，得到辅助动态信息；清晰度扩充步骤，根 据在上述辅助数据解码步骤中得到的辅助动态信息，生成表示上述多 个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和在 上述视频数据解码步骤中得到的多个再生图像，生成空间清晰度比上 述多个再生图像高的高清晰图像。
本发明的图像编码方法的特征是具备图像取样步骤，把高清晰 图像变换为低清晰图像；视频数据编码步骤，把在上述图像取样步骤 中生成的多个低清晰图像压缩编码，生成编码视频数据；视频数据解 码步骤，把在上述视频数据编码步骤中生成的编码视频数据解码，得 到再生低清晰图像；辅助动态信息生成步骤，使用上述高清晰图像或 者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态 信息；清晰度扩充步骤，基于在上述辅助动态信息生成步骤中生成的 辅助动态信息，生成在上述视频数据解码步骤中得到的多个再生低清 晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多 个再生低清晰图像生成再生高清晰图像；辅助数据编码步骤，把在上 述辅助动态信息生成步骤中生成的辅助动态信息作为辅助数据进行编 码。
另外，本发明的图像解码方法的特征是具备编码数据解码步骤， 接收编码数据进行熵解码，得到作为用于生成动态矢量所需要的条件
的动态矢量生成条件和表示预测误差图像信号的编码信息；动态矢量
生成步骤，根据在上述编码数据解码步骤中得到的动态矢量生成条件，
从保存在图像存储器中的解码图像信号生成动态矢量；预测图像信号 生成步骤，使用在上述动态矢量生成步骤中生成的动态矢量和上述解 码图像信号，生成预测图像信号；解码步骤，把在上述编码数据解码 步骤中得到的编码信息进行解码，得到预测误差图像信号；保存步骤， 把在上述预测图像信号生成步骤中生成的预测图像信号和在上述解码步骤中得到的预测误差图像信号相加，复原解码图像信号，把该解码 图像信号保存在上述图像存储器中。
本发明的图像编码方法的特征是具备输入步骤，把输入图像信 号进行输入；动态矢量生成条件决定步骤，根据在上述输入步骤中输 入的输入图像信号，决定作为用于生成动态矢量所需要的条件的动态 矢量生成条件；动态矢量生成步骤，根据在上述动态矢量生成条件决 定步骤中决定的动态矢量生成条件，从保存在图像存储器中的解码图 像信号生成动态矢量；预测图像信号生成步骤，使用在上述动态矢量 生成步骤中生成的动态矢量和上述解码图像信号，生成预测图像信号； 预测误差图像信号生成步骤，从在上述输入步骤中输入的输入图像信 号和在上述预测图像信号生成步骤中生成的预测图像信号，生成预测 误差图像信号；编码信息取得步骤，把在上述预测误差图像信号生成 步骤中生成的预测误差图像信号编码，得到编码信息；局部解码步骤， 把在上述编码信息取得步骤中得到的编码信息解码，得到解码预测误 差图像信号；保存步骤，从在上述预测图像信号生成步骤中生成的预 测图像信号和在上述局部解码步骤中得到的解码预测误差图像信号复 原解码图像信号，把该解码图像信号保存在上述图像存储器中；编码 数据生成步骤，把在上述动态矢量生成条件决定步骤中决定的动态矢 量生成条件和在上述编码信息取得步骤中得到的编码信息进行熵编 码，生成编码数据。
本发明的图像解码程序是使设置在图像解码装置中的计算机起 到以下各单元的作用，这些单元是接收视频编码数据进行解码，得
到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到 辅助动态信息的辅助数据解码单元；根据由上述辅助数据解码单元得 到的辅助动态信息，生成表示上述多个再生图像之间的空间对应的动 态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多 个再生图像，生成空间清晰度比上述多个再生图像高的高清晰图像的 清晰度扩充单元。
本发明的图像编码程序是使设置在图像编码装置中的计算机起到以下各单元的作用，这些单元是把高清晰图像变换为低清晰图像 的图像取样单元；把由上述图像取样单元生成的多个低清晰图像压缩 编码，生成编码视频数据的视频数据编码单元；把由上述视频数据编 码单元生成的编码视频数据解码，得到再生低清晰图像的视频数据解 码单元；使用上述高清晰图像或者上述低清晰图像，生成在上述动态 矢量的生成中所需要的辅助动态信息的辅助动态信息生成单元；根据 由上述辅助动态信息生成单元生成的辅助动态信息，生成表示由上述 视频数据解码单元得到的多个再生低清晰图像之间的时空对应的动态 矢量，使用所生成的动态矢量和上述多个再生低清晰图像，生成再生 高清晰图像的清晰度扩充单元；把由上述辅助动态信息生成单元生成 的辅助动态信息作为辅助数据进行编码的辅助数据编码单元。
另外，本发明的图像解码程序是使设置在图像解码装置中的计算 机起到以下各单元的作用，这些单元是接收编码数据，进行熵解码， 得到作为用于生成动态矢量所需要的条件的动态矢量生成条件和表示 预测误差图像信号的编码信息的编码数据解码单元；用于保存解码图 像信号的图像存储器；根据由上述编码数据解码单元得到的动态矢量 生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量 的动态矢量生成单元；使用由上述动态矢量生成单元生成的动态矢量 和上述解码图像信号生成预测图像信号的预测图像信号生成单元；把 由上述编码数据解码单元得到的编码信息解码，得到预测误差图像信 号的解码单元；把由上述预测图像信号生成单元生成的预测图像信号
与由上述解码单元得到的预测误差图像信号相加，复原解码图像信号， 把该解码图像信号保存在上述图像存储器中的保存单元。
另外，本发明的图像编码程序是使设置在图像编码装置中的计算
机起到以下各单元的作用，这些单元是把输入图像信号进行输入的 输入单元；用于保存解码图像信号的图像存储器；根据由上述输入单
元输入的输入图像信号，决定作为用于生成动态矢量所需要的条件的
动态矢量生成条件的动态矢量生成条件决定单元；根据由上述动态矢 量生成条件决定单元决定的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢量的动态矢量生成单元；使用由上 述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测 图像信号的预测图像信号生成单元；从由上述输入单元输入的输入图 像信号和由上述预测图像信号生成单元生成的预测图像信号生成预测 误差图像信号的预测误差图像信号生成单元；把由上述预测误差图像 信号生成单元生成的预测误差图像信号编码，得到编码信息的编码信 息取得单元；把由上述编码信息取得单元取得的编码信息解码，得到 解码预测误差图像信号的局部解码单元；从由上述预测图像信号生成 单元生成的预测图像信号和由上述局部解码单元得到的解码预测误差 图像信号复原解码图像信号，把该解码图像信号保存在上述图像存储 器中的保存单元；把由上述动态矢量生成条件决定单元决定的动态矢 量生成条件和由上述编码信息取得单元取得的编码信息进行熵编码， 生成编码数据的编码数据生成单元。
如果依据以上所述的本发明，则提高图像之间的动态检测的精 度，提高再生高清晰图像的图像品质。另外，由于减少动态搜索的处 理量，因此减少图像清晰度扩充处理中的运算量。


图l表示多个再生低清晰图像与高清晰图像的关系。
图2说明与本发明的辅助数据有关的动态信息的种类。
图3说明本发明的编码装置的整体结构。
图4说明本发明的编码处理的结构。
图5说明使用了本发明的编码处理的清晰度扩充处理。
图6说明本发明的解码装置的整体结构。
图7说明使用了本发明的解码处理的清晰度扩充处理。
图8表示本发明的辅助数据的数据结构。
图9表示本发明的编码处理流程。
图IO表示使用了本发明的辅助数据的清晰度扩充处理流程。 图11表示本发明的解码处理流程。图12说明保存用于由计算机实现本发明实施形态的图像编码处 理或者图像解码处理的程序的数据存储媒体。
图13说明本发明编码处理的结构的其它例子。
图14说明使用了本发明的编码处理的清晰度扩充处理的其它例子。
图15说明使用了本发明的解码处理的清晰度扩充处理的其它例子。
图16说明块匹配法。
图17说明解码处理中的动态搜索。
图18说明使用了本发明的编码处理的视频编码处理的结构。
图19说明使用了本发明的解码处理的视频解码处理的结构。
图20说明视频编码数据的结构。
图21说明本发明的编码处理流程的其它例子。
图22说明本发明的解码处理流程的其它例子。
具体实施例方式
参照图2到图12说明本发明的实施形态。
图2说明包含在各种动态信息内的数据中的动态矢量。另外，图 3到图5表示本发明的解码装置的结构，图6以及图7表示本发明的 解码装置的结构。图8表示本发明中的辅助数据的数据格式结构。另 外，图9到图11分别说明编码的处理流程、超清晰图像生成的处理流 程以及解码的处理流程。图12说明保存用于由计算机实现图像编码处 理或者图像解码处理的程序的数据存储媒体。
本发明中的辅助数据预先具有辅助动态信息，如后所述，在辅助 动态信息中，有低清晰动态信息(LR动态信息)、修正超清晰动态 信息(修正SR动态信息)、高清晰动态信息(HR动态信息)。另夕卜， 以下，适当地把r低清晰」简略为LR，把「高清晰」简略为HR，把 r超清晰」简略为SR进行说明。另夕卜，把清晰度比「低清晰图像(LR 图像)」高的图像作为「高清晰图像(HR图像)」进行说明。首先，说明本发明实施形态的编码装置10。
图3表示本发明实施形态的编码装置IO的整体结构。编码装置 10具备图像取样单元302、块分割单元303、编码处理单元304、解码 处理单元305、数据存储器308、帧存储器307、数据存储器309和清 晰度变换/编码单元306。
原图像HR图像101在具备低通滤波器和降抽样处理单元的图像 取样单元302中，变换为清晰度比原图像HR图像低的原图像LR图 像104。被变换了的原图像LR图像104在块分割单元303中，分割 为编码块，例如，从图像的左上方向右下方，按照光栅扫描顺序输入 到编码处理单元304。编码处理单元304把输入块进行活动图像编码， 压缩成视频编码数据120。另外，编码处理单元304把一见频编码数据 120输出到解码处理单元305。解码处理单元305通过把视频编码数据 120进行解码，生成再生LR图像102以及解码动态信息(以下，称 为rDEC动态信息J )108。另外，编码处理单元304由于在内部具 有局部解码处理单元，因此解码处理单元305也可以由编码处理单元
304内的局部解码处理单元代用。
编码处理单元304以及解码处理单元305把生成的再生LR图像 102、动态信息(DEC动态信息)108以及量化参数114分别输出到 帧存储器307、数据存储器308以及数据存储器309。帧存储器307、 数据存储器308以及数据存储器309分别保存再生LR图像102、DEC 动态信息102以及量化参数114的同时，把它们输出到清晰度变换/ 编码单元306。另外，块分割、编码处理以及(局部)解码处理的详 细过程例如记栽在"MPEG - 4 Video Verification Model version 18.0，，， Output document of MPEG Pisa Meeting, January 2001 (以 下，作为参考文献l)中。
DEC动态信息108由预测类型、动态矢量(以下，把DEC动态 信息中的动态矢量作为「DECMV」)构成，针对每个编码块分别决 定了以后进行编码。
使用图2(a),说明DEC动态信息的预测类型以及DECMV。在预测类型中，有使用动态矢量进行动态预测的中间模式和不伴随动 态矢量而使用当前帧的编码完毕的像素进行空间预测的内部模式。进
而，在中间模式中，有针对当前帧的LR图像910用显示时刻以过去 的编码完毕帧的LR图像920a作为参考图像进行时间预测的前向动态 预测，以未来的编码完毕帧的LR图像920b作为参考图像进行时间预 测的后向动态预测，以这两种图像作为参考图像分别进行时间预测， 通过内插处理合成预测图像的双向预测。在图2(a)中，922a表示前 向预测的预测块，921a表示前向的DECMV， 922b表示后向预测的预 测块，921b表示后向的DECMV， 924a和924b表示双向预测的内插 前预测块，923a和923b表示双向预测的前向DECMV和后向 DECMV。
接着，使用图4以及图5说明清晰度变换/编码单元306。清晰度 变换/编码单元306具备清晰度扩充处理单元310、辅助数据生成单元 351、辅助数据编码/速率控制单元311、帧存储器315。另外，辅助数 据生成单元351具备低清晰动态补偿单元312、超清晰动态补偿单元 313、高清晰动态补偿单元314。低清晰动态补偿单元312把LR动态 信息109 (后述)生成为辅助数据，超清晰动态补偿单元313把修正 SR动态信息111 (后述)生成为辅助信息，高清晰动态补偿单元314 把HR动态信息112 (后述)生成为辅助数据。
清晰度变换/编码单元306以在编码处理单元304以及解码处理 单元305中生成的多个再生LR图像、DEC动态信息(包括DECMV ) 和量化参数作为输入，进行局部清晰度扩充处理。另外，在清晰度变 换/编码单元306中，清晰度扩充处理单元310通过局部清晰度扩充处 理生成再生HR图像106，从外部输入原图像HR图像101和原图像 LR图像104。使用这些图像以及信息，清晰度变换/编码单元306生 成辅助清晰度扩充处理的辅助数据，在辅助数据编码/速率控制单元 311中，实施辅助数据的编码处理(即，生成辅助数据113)。
在本实施形态中，在辅助数据113的生成中，使用再生HR图像 106、 SR动态信息(超清晰动态信息)110、量化参数114、原图像HR图像101和原图像LR图像104。另外，所谓超清晰动态信息意味 着表示再生HR图像与多个LR图像之间的时空对应的动态信息。
参照图4，说明清晰度变换/编码单元306的内部结构。使用涉及 与在实施清晰度扩充的帧上加入了显示时刻前后的3个帧总计7个帧 的信息实施清晰度变换/编码单元306的处理。即，在把3个帧前的帧 编码了以后，实施清晰度扩充处理。
本实施形态中的编码装置10中的清晰度扩充处理以及辅助数据 的编码处理分为7个步骤。以下，根据处理顺序说明动作。
在笫1步骤中，在低清晰动态补偿单元312中，使用原图像LR 图像104，把DEC动态信息108修正为高精度的LR动态信息109。 LR动态信息由LR图像的块位置信息和辅助动态矢量(以下，把LR 动态信息中的动态矢量作为「LRMVJ )构成。低清晰动态补偿单元 312接受在实施清晰度扩充处理的再生LR图像上加入了其前后2个 帧的再生LR图像(在视频编码时是动态预测的参考图像)的总计3 张再生LR图像102、相对应的3张原图像LR图像104和DEC动态 信息108的输入，把LR动态信息109输出到辅助数据编码/速率控制 单元311和清晰度扩充处理单元310。
使用图2(b),说明LR动态信息。在LR动态信息中，有在不 具有DECMV的块中新添加辅助动态矢量(LRMV)的类型、以及虽 然DECMV存在但是把其值变更为不同辅助动态矢量(LRMV)的类 型《
在添加LRMV的类型中，对于不具有DECMV的块915a，在实 施清晰度扩充的帧的原图像LR图像910和前帧的参考图像即再生LR 图像920a之间实施动态搜索。而且，把评价值(例如，块内的像素的 差方和)为最小的动态矢量检索为LRMV。在图2 (b)中，前帧的 再生LR图像920a上的块926a成为评价值最小，检索相对应的动态 矢量LRMV925a。另外，在最小的评价值大于预先设定的阈值的情况 下，判断为其块的动态矢量无效，不进行LR动态信息的添加。在最 小的评价值小于阈值的情况下，把检索出的动态矢量作为LRMV的LR动态信息109输出到辅助数据编码/速率控制单元311和清晰度扩 充处理单元310。
另一方面，在变更为LRMV的类型中，对于具有DECMV的块 915b，在实施清晰度扩充的帧的原图像LR图像910和参考图像的原 图像LR图像920b之间实施动态检索。而且，检测评价值(例如，块 内的像素的差方和)成为最小的动态矢量。在图2 (b)中，后方帧的 LR图像920b上的块926b成为评价值最小，检测出相对应的动态矢 量925b。把该动态矢量与DECMV进行比较，在差分值大于预先设定 的阈值的情况下，把以检测出的动态矢量作为LRMV的LR动态信息 109输出到辅助数据编码/速率控制单元311和清晰度扩充处理单元 310。
如后所述，把DECMV作为表示用SR技术检测出的多个LR图 像与HR图像之间的时空对应的动态信息(SR动态信息)的初始数据 使用。该初始数据越接近实际的动态，越能够减少在SR动态信息的 检测中花费的时间。从而，通过使用把解码动态信息进行修正所生成 的低清晰动态信息，能够减少清晰度扩充处理中的运算时间。
在第2步骤中，在清晰度扩充处理单元310中，实施再生HR图 像106和SR动态信息110的生成处理。清晰度扩充处理单元310输 入在实施清晰度扩充的再生LR图像102上加入了前后3个帧的再生 LR图像102 (参照再生LR图像)共7张再生LR图像、在其编码中 使用的DEC动态信息108和LR动态信息109，生成再生LR图像106 和SR动态信息110。
图5表示清晰度扩充处理单元310的内部结构。首先，在初始数 据生成单元405中，生成用于进行清晰度扩充处理的初始数据。具体 地讲，初始数据生成单元405把DEC动态信息108和LR动态信息 109作为输入，计算由清晰度扩充处理单元310检测的SR动态信息 110的动态矢量的初始数据。
这里，说明SR动态信息。SR动态信息由再生LR图像的帧号和 动态矢量(以下，把SR动态信息中的动态矢量作为「SRMV」)构成。如在背景技术中说明过的那样，为了实施使用了 SR技术的清晰 度扩充处理，对于6张参照再生HR图像上的各像素，需要检测以再 生HR图像为参照图像时的动态矢量(SRMV)。另外，原图像LR 图像上的1个像素能够通过在原图像HR图像上的多个像素中实施低 通滤波和降抽样来生成。
使用图2 (c)，说明SRMV。在图2 (c)中，1格表示1个像 素。另外，如果关注6张参照再生LR图像的1张再生LR图像920 上的像素927，则像素927在再生HR图像940的上面，假定相当于 与像素927相对应的像素941和其周边的8个像素构成的像素块942。 这时，能够通过在由从再生HR图像上的像素块942用9个动态矢量 检测出的9个像素构成的像素块944上实施低通滤波和降抽样计算像 素927的预测像素945。从而，像素927的SRMV943成为像素927 与预测像素945的误差为最小的9个动态矢量。
在本实施形态中的初始数据生成单元405中，对于6张参照再生 LR图像上的所有像素计算再生LR图像上的1个像素的预测中所需要 的9个SRMV的初始值。如图1所示，LR图像通过在HR图像上实 施低通滤波和降抽样而生成。因此，为了决定1张参照再生LR图像 上的所有像素与再生HR图像上的对应，对于把参照再生LR图像放 大为HR图像尺寸的图像(参照HR图像)上的像素，可以把再生HR 图像的对应点作为SRMV的初始值进行检测。即，在再生LR图像上 的1个像素的预测中所需要的9个像素块944的初始SRMV中，与再 生LR图像上的邻接像素的初始SRMV重合的MV成为相同的值。
这里，如果把图2(c)的再生LR图像920考虑为再生HR图像 940的紧前面的帧，则图2 (a)以及(b)的再生LR图像920a与图 像920相对应，再生LR图^f象910与再生HR图1象940的清晰度扩充 前的LR图像相对应。另外，通过沿着反方向搜索(从图像920a向图 像910的方向)把再生LR图像920a作为参照图像时的再生LR图像 910的DECMV或者LRMV，求图像920a上的像素与图像910的对 应点。这时，对于不存在一致对应点的像素，通过动态矢量的空间内插处理计算对应点。进而，把与对应点相当的LR图像单位的动态矢 量扩充为HR图像单位的动态矢量。
接着，通过沿着反方向搜索以图像920a的紧前面帧的再生LR 图像为参照图像时的再生LR图像920a的DECMV或者LRMV，求 图像920a的紧前面帧的再生LR图像上的像素与图像920a的对应点。 这时，对于没有一致对应点的像素，通过动态矢量的空间内插处理求 对应点。进而，从图像910与图像920a之间的对应点和图像920a与 图像920a的紧前面帧之间的对应点，计算图像920a的紧前面帧的再 生LR图像上的像素与图像910的对应点，把与对应点相当的LR图 像单位的动态矢量扩充为HR图像单位的动态矢量。通过对于全部6 张参照再生LR图像，沿着从再生HR图像940离开的方向连续地实 施该处理，生成SRMV检索的初始数据。
接着，在超清晰图像合成单元410生成再生HR图像106。超清 晰图像合成单元410把7张再生LR图像102和在初始数据生成单元 405生成的SRMV搜索的初始数据以及量化参数114作为输入，实施 由动态检索单元411进行的SR动态信息110的优化和由编码噪声推 定单元412进行的再生HR图像106的优化的反复处理，输出SR动 态信息110和再生HR图像106 (使用了反复处理的优化的详细过程 例如参照非专利文献1 )。
在第3步骤中，在超清晰动态补偿单元313中，把SR动态信息 110使用原图像修正为高精度的修正SR动态信息111。超清晰动态补 偿单元313接受6张参照再生LR图像的原图像LR图像104、在清晰 度扩充处理对象的再生LR图像上加入了 6张参照再生LR图像的总 计7张的原图像即原图像HR图像101以及SR动态信息110的输入， 把修正SR动态信息111输出到清晰度扩充处理单元310和辅助数据 编码/速率控制单元311。
修正SR动态信息由再生LR图像上的块位置信息、参照帧号、 块尺寸、辅助动态矢量(以下，把修正SR动态信息中的动态矢量作 为r修正SRMVJ )构成。块尺寸在通过把几个像素部分汇总在一起编码，用于减少辅助数据的代码量的目的。属于修正SR动态信息的 修正SRMV的数量在块尺寸为lxl像素的情况下是9个，在NxN像 素的情况下成为(2xN+l) x (2xN+l)个。
在超清晰动态补偿单元313中，使用6张原图像LR图像和原图 像HR图像，检测6张参照再生LR图像上的像素与原图像HR图像 之间的SRMV。进而，在原图像LR图像上的对象像素与其预测像素 的差分值大于预先确定的阈值的情况下，不进行基于低通滤波和降抽 样的取样处理，在原图像LR图像之间检测SRMV。针对指定了的数 种分割块用平均值对检测出的SRMV与所输入的SRMV的差分值进 行比较，在差分值大于阈值的情况下，把检测出的SRMV的平均值和 构成要素数据作为修正SR动态信息111输出。另外，即使在SRMV 的差分值小于阈值的情况下，在适用了检测出的SRMV和所输入的 SRMV时的预测像素与原图像LR图像上的像素的差分值的块的差方 和大于阈值的情况下，也把检测出的SRMV的平均值和构成要素数据 输出为修正SR动态信息111。根据该修正SRMV，提高再生LR图像 与进行了清晰度扩充的HR图像之间的对应点的推定精度，提高再生 HR图像的图像品质。另外，由于能够缩短SRMV的检测中花费的时 间，因此能够缩短在超清晰图像的生成中的运算时间。
在第4步骤中，在清晰度扩充处理单元310中，再次调整再生 HR图像106和SR动态信息110。清晰度扩充处理单元310把实施清 晰度扩充的再生LR图像102及其前后3个帧的再生LR图像102以 及修正SR动态信息111作为输入，更新并输出再生HR图像106和 SR动态信息110。具体地讲，在超清晰图像合成单元410中，在把 SRMV置换为修正SRMV以后，实施由动态检索单元411进行的SR 动态信息110的优化和由编码噪声推定单元412进行的再生HR图像 106的优化的反复处理，更新SR动态信息110和再生HR图像106(使 用了反复处理的优化的详细过程例如参照非专利文献1)。
在第5步骤中，在高清晰动态补偿单元314中，使用生成完毕的 前3个帧的再生HR图像(参照HR图像)和原图像HR图像，生成用于进一步改善再生HR图像的图像品质的动态信息。高清晰动态补 偿单元314把多个参照HR图像107、再生HR图像106和再生HR 图像的原图像即原图像HR图像101作为输入，把参照HR图像107 与再生HR图像106之间的HR动态信息112输出到清晰度扩充处理 单元310和辅助数据编码/速率控制单元311。
HR动态信息由参照HR图像上的块位置信息、参照帧号、块尺 寸、辅助动态矢量(以下，把HR动态信息中的r动态矢量J作为HRMV) 构成。
使用图2(d)说明HRMV。在图2(d)中，表示对于把再生 HR图像940上的块946用紧前面帧的参照HR图像950上的块952 进行更新时，在参照HR图像950上块946与空间上同一位置的块951 以及进4亍更新的块952之间的空间动态矢量成为HRMV954的情况。 块尺寸在通过把多个像素部分汇总在一起进行编码，减少辅助数据的 代码量的目的下使用。
在高清晰动态补偿单元314中，首先，对于预先指定的多种分割 块，比较原图像HR图像和再生HR图像，检测块像素的差分值的差 方和大于预先确定的阈值的块。然后，从原图像HR图像抽取检测位 置的块，以多个参照HR图像为对象搜索与抽取块的差分值的差方和 为最小的块位置。而且，在搜索的结果得到的块与抽取块的差分值的 差方和小于阈值的情况下，输出相对应的HR动态信息112。根据利 用该原图像高清晰图像的信息的HR动态信息，使用过去扩充了清晰 度的高品质的参照高清晰图像，能够修正再生高清晰图像的画质，提 高再生HR图像的图像品质。
在第6步骤中，在清晰度扩充处理单元310中实施再生HR图像 106的画质改善处理。清晰度扩充处理单元310把参照HR图像107 以及HR动态信息112作为输入，更新并输出再生HR图像106。具 体地讲，在图5的图像锐化单元420的动态补偿单元421中基于HR 动态信息112,从参照HR图像107—个一个地抽取块图像，在画质 修复单元422把抽取出的块图像合成到再生HR图像上。对于所有的HR动态信息实施该处理，输出更新了的再生HR图像106。在合成方 法中，使用与原来的再生HR图像上的对应块的加权内插。
在第7步骤中，在辅助数据编码/速率控制单元311中把由辅助 数据生成单元351生成的辅助信息即LR动态信息109、修正SR动态 信息111和HR动态信息112编码，生成辅助数据113，向解码装置 20输出。
图8表示与1张再生HR图像有关的辅助数据的数据格式。成为 由辅助数据编码/速率控制单元311进行的编码对象的辅助数据113从 用于检索1帧部分的辅助数据的起始的开始代码701开始。在开始代 码中，使用在辅助数据内不发生其数据图形的独特代码。同步代码707 是用于针对后述的每种数据类型区别1帧的辅助数据的独特代码，紧 接在开始代码以后进行省略。从数据类型702到动态矢量705用可变 长度代码进行编码(关于可变长度代码，参照专利文献l)。
块位置信息703表示在参照帧号和图像(在LR动态信息以及修 正SR动态信息中是LR图像，在HR动态信息中是HR图像)上的 像素位置。另外，在数据类型是LR动态信息的情况下，参照帧号由 于根据DEC动态信息决定，因此仅把像素位置的信息编码。
块尺寸信息704表示把上述的像素位置作为左上端的块的尺寸。 动态矢量密度信息708对于上述块范围，表示编码的辅助动态矢量的 像素间隔。从而，除去像素间隔是O的情况，即块中编码的辅助动态 矢量是l个的情况以外，由反复环712把多个辅助动态矢量编码。动 态矢量按照水平成分、垂直成分的顺序把LRMV、修正SRMV或者 HRMV的矢量值编码。实际上编码的动态矢量作为与预测动态矢量的 差分矢量。
在LRMV中，对于不存在DECMV的块，邻接3个块的动态矢 量成分的中间值(动态矢量的中间值预测参照参考文献1)，对于存 在DECMV的块，DECMV的矢量值成为预测值。在修正SRMV和 HRMV中，对于相同数据类型的动态矢量，相邻3个块的动态矢量成 分的中间值成为预测值。辅助数据编码/速率控制单元311在编码的信息量多的情况下， 根据优先顺序减少信息量。在使高速优先的情况下，按照LR动态信 息、修正SR动态信息，HR动态信息的顺序优先，在使再生HR图像 的图像品质优先的情况下，按照HR动态信息、修正SR动态信息、 LR动态信息的顺序优先。另夕卜，在同一种数据类型内，使评价值(LR 动态信息与DECMV的差分值，修正SR动态信息与SRMV的差 分值，HR动态信息从参照SR图像抽取的块与再生HR图像上的对 应块之间的像素单位的差方和)大的块优先。
接着，说明本发明实施形态的解码装置20。
图6表示本发明实施形态的解码装置20的整体结构。解码装置 20具备解码处理单元501、清晰度扩充处理单元502、帧存储器503、 数据存储器504、数据存储器505、帧存储器508和辅助数据解码/分 离单元531。
首先，视频编码数据120在解码处理单元501解码为再生LR图 像102。解码了的再生LR图像102保存在帧存储器503中，解码了 的动态信息(DEC动态信息)108保存在数据存储器504中，解码了 的量化参数114保存在数据存储器505中，依照来自清晰度处扩充处 理单元502的请求进行输出。解码处理的详细过程例如记载在"Text of ISO/IEC 14496 — 2 Third Edition", March 2003 (以下，作为参考文 献2)中。清晰度扩充处理单元502把再生LR图像102、 DEC动态 信息108、量化参数114、辅助数据113解码的辅助信息(由辅助数据 解码/分离单元531解码以及分离了的LR动态信息109、修正SR动 态信息111以及HR动态信息112)以及参照HR图像107(从帧存储 器508输出的在过去生成的再生HR图像)作为输入，生成再生HR 图像106。
图7表示清晰度扩充处理单元502的内部结构以及辅助数据解 码.分离单元531 。清晰度扩充处理单元502请求输入再生LR图像102、 DEC动态信息108、量化参数114、解码了的辅助数据113以及参照 HR图像107 (已经生成的再生HR图像)，而这时，再生LR图像和DEC动态信息需要与在实施清晰度扩充的帧中加入了显示时刻前后 的3个帧总计7个帧有关的信息，或者参照HR图像前面的3个帧部 分的信息。即，在把3个帧前面的再生LR图像解码后实施清晰度扩 充处理。
本发明实施形态的解码装置20中的清晰度扩充处理分为3个步 骤。以下，根据处理顺序说明动作。
在第1步骤中，进行LR动态信息109的解码和SRMV搜索的 初始数据生成。首先，在辅助数据解码/分离单元531从清晰度扩充处 理对象帧的辅助数据113分离LR动态信息109的数据，进行可变长 度解码。接着，初始数据生成单元405把解码了的LR动态信息109 和7个帧部分的DEC动态信息108作为输入，生成SRMV检索的初 始数据。关于初始数据生成单元405的动作由于已经在图5中说明过， 因此在这里舍去说明。
在第2步骤中，进行修正SR动态信息111的解码和再生HR图 像106的生成。首先，由辅助数据解码/分离单元531从清晰度扩充对 象帧的辅助数据113分离修正SR动态信息111的数据，进行可变长 度解码。接着，超清晰图像合成单元510把解码了的修正SR动态信 息lll、 7张再生LR图像102、 SRMV搜索的初始数据以及量化参数 114作为输入，生成再生HR图像106。具体地讲，在动态检索单元 511中，在根据修正SR动态信息111把SRMV搜索的初始数据修正 了以后，通过实施由动态检索单元511进行的SRMV的优化和由编码 噪声推定单元512进行的再生HR图像106的优化的反复处理，使再 生HR图像106收敛(关于使用了反复处理的优化的详细过程例如参 照非专利文献l)。其中，关于用修正SR动态信息修正了的SRMV， 由于能够推定为是精度高的值，因此仅进行限定在整数像素以下的实 数值范围中的微调整。
在第3步骤中，进行HR动态信息112的解码和再生HR图像106 的画质改善处理。首先，由辅助数据解码/分离单元531从清晰度扩充 对象帧的辅助数据113分离HR动态信息112的数据，进行可变长度解码。接着，图像锐化单元520使用HR动态信息112和参照HR图 像107实施画质改善处理。具体地讲，由动态补偿单元521基于HR 动态信息112从参照HR图像107 —个一个地抽取块图像，在画质修 复单元522通过把抽取出的块图像合成在由超清晰图像合成处理单元 510所生成的再生HR图像123上，更新再生HR图像106。对于所有 的HR动态信息实施该处理，输出更新了的再生HR图像106。在合 成方法中，使用与原来再生HR图像上的对应块的加权内插。
图9表示实施本发明的编码处理流程。另外，图9的各步骤的详 细过程由于与图3、图4、图5的说明重复，因此在这里仅说明处理的 流程。编码处理开始601以后，在处理602中，通过基于低通滤波和 降抽样的取样处理，把原图像HR图像变换为原图像LR图像。在处 理603中，把变换了的原图像LR图像进行视频编码的同时，通过局 部解码处理生成再生LR图像和DEC动态信息。在处理604中，使用 原图像LR图像，把DEC动态信息的至少一部分修正为高精度的LR 动态信息。在处理605中，使用多个帧的DEC动态信息和LR动态信 息，生成SRMV检索的初始数据。在处理606中，通过清晰度扩充处 理，从多个再生LR图像生成再生HR图像和SR动态信息。在步骤 607中，使用原图像HR图像和原图像LR图像，把在处理606中生 成的SR动态信息的 一部分修正为高精度的修正SR动态信息。在处理 608中，把SRMV置换为在处理607中生成的修正SRMV，再次实施 清晰度扩充处理，更新再生HR图像和SR动态信息。在处理洲9中， 使用参照HR图像，检测用参照HR图像改善作为对象的再生HR图 像的图像品质的参照HR图像与再生HR图像之间的动态信息(HR 动态信息)。在步骤610中，使用在处理609中检测出的HR动态信 息和参照HR图像，改善再生HR图像的图像品质。在处理611中， 把在处理604中生成的LR动态信息、在处理607中生成的修正SR 动态信息和在处理609中生成的HR动态信息编码，生成辅助数据。 在结束了处理611以后，结束编码处理(处理612)。
图IO表示实施本发明的解码处理内的超清晰图像生成处理流程。另外，图IO的各步骤的详细过程由于与图7的说明重复，因此在这里 仅说明处理的流程。在超清晰度图像生成处理开始801以后，在处理 802中，把LR动态信息解码。在处理803中，使用在处理802中解 码了的LR动态信息和多个帧DEC动态信息，生成SRMV搜索的初 始数据。在处理804中，把修正SR动态信息解码。在处理805中， 把在处理804中解码了的修正SR动态信息设定为SRMV搜索的初始 数据的同时，在把修正SR动态信息的更新限定在整数像素以下的范 围内这样的条件下，搜索SRMV，从多个帧的再生LR图像生成再生 HR图像。在处理806中，把HR动态信息解码。在处理807中，基 于在处理806中解码了的HR动态信息，从参照HR图像改善再生HR 图像的图像品质。在结束了处理807以后，结束超清晰度图像生成处 理(处理808)。
图ll表示实施本发明的解码处理流程。另外，图ll的各步骤的 详细过程由于与图6以及图7的说明重复，因此在这里仅说明处理的 流程。在解码处理开始901以后，在处理902中，把编码视频数据解 码，生成再生低清晰图像、DEC动态信息和量化参数。接着，在处理 903中实施被编码了的辅助数据的解码，生成LR动态信息、修正SR 动态信息和HR动态信息。然后，在处理卯4中，使用在处理卯3中 解码了的LR动态信息和多个帧的DEC动态信息，生成SRMV搜索 的初始数据。在处理905中，把在处理903中解码了的修正SR动态 信息设定为SRMV搜索的初始数据的同时，在把修正SR动态信息的 更新限定在整数像素以下的范围内这样的条件下搜索SRMV，从多个 帧的再生LR图像生成再生HR图像。在处理卯6中，基于在处理903 中解码了的HR动态信息，从参照HR图像改善再生HR图像的图像 品质。在结束了处理906以后，结束解码处理(处理卯7)。
图12用于说明使用保存了上述实施形态的图像编码处理或者图 像解码处理的程序的软盘等存储媒体，由计算机系统实施的情况。
图12 (b)表示从软盘的正面观看的外观、剖面构造以及软盘， 图12 (a)表示作为存储媒体主体的软盘的物理格式的例子。软盘FD安装在外壳F内部，在该软盘的表面上，同心圆形地形成从外周向内 周的多个磁道Tr，各磁道沿着角度方向分割为16个扇区Se。从而， 在保存了上述程序的软盘中，在上述软盘FD上分配的区域上，记录 作为上述程序的数据。
另外，图12 (c)表示用于在软盘FD上进行上述程序的记录再 生的结构。在把上述程序记录到软盘FD中时，从计算机系统Cs经过 软盘驱动器写入作为上述程序的数据。另外，在由软盘内的程序把上 述编码或者解码装置构筑在计算机系统中的情况下，由软盘驱动器从 软盘读出程序，传送到计算机系统。
另外，在上述说明中，作为数据记录媒体使用软盘进行了说明， 而使用光盘也能够同样进行。另外，记录媒体不限于这些，IC卡、盒 式ROM等只要是能够记录程序，则就能够同样地实施。另外，作为 计算机，包括具备CPU,进行由软件实施的处理或者控制的DVD播 放器、机顶盒、便携电话等。
以上说明了本发明的实施形态，而也可以进^f亍以下的变形，每种 形态都包含在本发明中。
(1)涉及功能的利用部分的变形例
并不需要齐备所有构成本发明的辅助数据即辅助信息的LR动态 信息、修正SR动态信息、HR动态信息，在仅使用其一部分辅助动态 信息，从低清晰图像生成高清晰图像的情况下，也能够得到同样的效 果。
即，即使在使用清晰度比原图像LR图像高的原图像HR图像和 原图像LR图像的双方或者其中一方生成本发明的辅助数据的情况 下，也能够提高图像解码装置以及图像编码装置中的图像之间的动态 检测的精度，提高再生高清晰图像的图像品质。另外，由于减少图像 解码装置以及图像编码装置的动态搜索的处理量，因此能够减少图像 清晰度扩充处理中的运算量。
具体地讲，如果依据本发明的图像解码装置以及图像编码装置， 则在采用仅把修正SR动态信息构成为辅助数据时，采用把修正SR动态信息和HR动态信息构成为辅助数据时，采用把修正SR动态信息、 HR动态信息和LR动态信息构成为辅助信息时的哪一种情况下都能 够实现上述那样的提高像素品质以及减少运算量。另外，在采取不使 用一部分辅助动态信息的结构的情况下，在图像编码装置io的辅助数
据生成单元351中，不进行与其辅助动态信息相对应的动态信息的生 成就能够实现。
另外，即使没有SRMV搜索初始数据也能够实施图5、图7的超 清晰度图像合成处理。从而，在没有实施初始数据生成和LR动态信 息编码的情况下，本发明的修正SR动态信息和HR动态信息也是有 效的。
进而，即使没有由图像锐化处理进行的再生HR图像的画质改善 处理也能够实施通过图5、图7的超清晰图像合成处理生成的再生HR 图像。从而，在没有实施图像锐化处理和HR动态信息的编码的情况 下，本发明的LR动态信息和修正SR动态信息也是有效的。
另外，即使在不是从来自视频编码数据的解码图像，而是从通过 照相机等单元取得的多个图像或者预先保存在硬盘等装置中的多个图
像生成清晰度更高的超清晰图像的情况下，本发明的辅助数据也是有 效的。在这种情况下，虽然不存在DEC动态信息，但是修正SR动态 信息和HR动态信息是有效的。
(2)涉及功能定义的变更的变形例
把在图像锐化处理中抽取出的参照HR图像上的块合成到再生 HR图像中的方法不限于加权合成处理。即使在抽取出的块中置换再 生HR图像的部分的情况下，本发明的HR动态信息也是有效的。
另外，从HR图像变换为LR图像时的低通滤波器的种类没有限 制。在图2(c)的说明中，滤波器的分支数在水平/垂直方向都取为3 个分支，而长分支数的滤波器或者系数不同的滤波器也是有效的。除 此以外，说明了 HR图像上的9像素与LR图像上的1个像素相对应 的情况、但是并不限于这种对应。具体地讲，由于如果所对应的HR 图像的像素是1个像素则能够生成LR图像上的1个像素，因此也可以缺少滤波器产生影响的区域内的像素的一部分。进而，在图2(c) 中，把由降抽样舍弃的像素作为滤波整理后的HR图像的偶数列以及 偶数行的像素，但是并不限于这种情况。即使在由低通滤波处理的HR 图像上把实数位置的样品作为LR图像上的像素样品的情况下，本发 明也是有效的。
进而，SRMV搜索初始数据生成方法并不限于在图5中说明过的 方法。不是沿着从再生HR图像离开的方向搜索的方法，依照根据帧 间隔把动态矢量定标的方法也是有效的。
(3)涉及辅助数据的编码方法的变形例
本发明的成为编码对象的辅助数据的数据格式并不限于图8的格 式。另外，动态矢量的预测方法也不限于在图8中说明过的方法。
另外，在图8的数据格式中，代替把块位置信息作为参照帧号信 息，把像素位置进行编码的方法，把图像进行块分割，把有无从左上 方开始按照光栅扫描顺序编码的辅助动态信息进行编码的方法也是有 效的。这时，并不一定需要块尺寸信息。
进而，在图8的数据格式中，代替把块位置信息作为参照帧号信 息，进而，把像素位置信息、块尺寸信息、动态矢量密度信息进行编 码的方法，把图像进行块分割，从左上方开始按照光栅扫描顺序把有 无动态矢量进行编码的方法也是有效的。
另外，在图8的数据格式中，针对每个帧把数据类型的信息进行 编码，也可以考虑去除重复环713，对于辅助数据信息内的各块把数 据类型进行编码的情况。在该格式中，由于针对每个块的辅助动态信 息添加同步码，因此在希望从辅助数据检索特定像素的辅助动态信息 的情况下是有效的。
进而，动态矢量的编码精度没有限定。例如，记载在参考文献2 或者"Text of ISO / IEC 14496 - 10 Advanced Video Coding 3rd Edition", September 2004 (以下，作为参考文献3)中的高精度的动 态矢量也是有效的。
另外，在图8的说明中，根据可变长度代码进行辅助数据的构成要素的编码，但是并不限于这种方法。记载在专利文献3中的算术编
码方法等也是有效的。
(4)涉及辅助数据的构成要素的变形例 辅助数据的构成要素并不限于上述实施形态的记载。 另外，图8的辅助动态矢量信息还包括表示在2个像素图像之间
没有相对应的动态矢量的情况。视频顺序的任意2个像素内的像素完
全一对一地相对应的状况极其稀少，表示没有对应点的信息是有效的。 进而，图8的辅助动态矢量信息还包括不是按照矢量值，而是按
照块尺寸信息指定的范围的动态搜索范围信息的情况。在这种情况下，
省略动态矢量密度信息。根据该搜索范围指定，能够缩减动态矢量的
检测时间。
另外，图8的辅助动态矢量信息在不是矢量值，而是表示旋转、 放大、变形等的动态参数的情况下也是有效的。关于动态参数(仿射 变换参数、投影变换参数)等详细内容记载在参考文献l中。
进而，在图2 (b)中，把LR动态信息的预测类型限定为DEC 动态信息的预测类型或者缺省值，然而并不限定于此。在这种情况下， 在LR动态信息中包括预测类型(前向预测/后向预测/双向预测 等)。另外，在适用记载在专利文献3中的使用了多个参照帧的动态 预测的编码/解码方式的情况下，在DEC动态信息中包括参照帧号。 进而，如在专利文献3中记栽的那样，在能够从多种类型选择实施动 态预测的块尺寸的编码/解码方式的情况下，在DEC动态信息中还包 括块尺寸。在这种情况下，同样地在LR动态信息中也包括参照帧号 和块尺寸。
另外，不需要对于再生LR图像上的所有像素求出SRMV。根据 包藏等的影响，在不能够通过再生HR图像检测的情况下，不使用该 像素进行优化处理也能够生成有效的再生HR图像。
进而，修正SR动态信息的块位置信息不是采用以再生LR图像 为基准的值，而是采用以再生HR图像为基准的值也是有效的。在这 种情况下，当动态密度信息是l时(对于块内的所有像素把动态矢量编码)，块内的像素数与像素单位的修正SRMV的数量一致。
另外，辅助动态信息的块的形状也可以是任意形状。在这种情况 下，也可以把形状信息进行编码。在形状信息的编码方法中，例如有 在专利文献2中所示的使用了算术编码的方法。
(5) 涉及动态推定的方法的变形例
上述中，在多个原图像LR图像与原图像HR图像之间实施修正 SRMV的检测，而由于不是使用原图像LR图像而是使用HR图像实 施的方法也提高SRMV的精度，因此效果也很高。这种情况下，块位 置信息的像素位置成为HR图像上的值。
另外，在上述中，在多个再生LR图像与再生HR图像之间实施 SRMV的检测，而由于不是使用再生LR图像而是使用参照HR图像 实施的方法也提高SRMV的精度，因此效果也很高。
(6) 涉及整体结构的变形例
上述中，把视频顺序的编码/解码方法采取为参考文献1以及参 考文献2中的方法，但是并不限于这些方法。
另外，在上述中，用非专利文献1和非专利文献2说明了清晰度 扩充方法以及推定模型，而在从多个低清晰度图像生成高清晰度图像 的技术中，由于能够适用本发明的辅助信息的编码以及利用了该编码 的高画质处理，因此并不限定于该方法。
进而，上述中，把在清晰度扩充处理中使用的再生LR图像的数 量取为7张，而由于在除此以外的数量下也能够实施本发明，因此在 数量上没有限定。另外，参照HR图像的数量也没有限定。
本说明书中介绍的清晰度扩充处理是把1张未知的高清晰度图像 与多个已知的低清晰图像的关系建立公式，推测满足这些公式的最佳 的高清晰图像和动态信息的技术，非专利文献l以及非专利文献2是 使用统计性的方法推定满足评价函数的最佳的高次矢量的技术的例 子。如在文献r Sung Cheol Park et al, "Super - Resolution Image Reconstruction: A Technical Overview", IEEE Signal Processing Magazine, May 2003」(以下，作为参考文献4)中所示的那样，在清晰度扩充处理中有各种方法，而本说明书的辅助数据在使用动态矢 量表现高清晰度图像与多个低清晰图像之间的关系的情况下能够适用
所有方法。作为非专利文献1或者2以外的方法，有求解联立方程式 的方法，或者使用了向凸集合的投影帧构架(projections onto convex sets)的方法(例如，「A.M.Tekalp， M.K.Ozkan and M.I.Sezan， "High—resolution image reconstruction from low—resolution image sequences and space varying image restoration", in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing ( ICASSP ) ， San Fransisco, CA.， vol.3， Mar. 1992， pp.169 — 172 J ,(以下，作为 专利文献5))等。在所生成的高清晰图像中，对于作为已知的多个 低清晰度图像，空间的清晰度升高，具有在图像上生成在多个低清晰 度图像之间的对位和合成处理(例如，镶嵌)中不发生的高频成分的 特征。
上述中，在图5和图7的编码噪声推定单元412的处理中，把量 化参数114作为输入，而在不需要量化参数的编码噪声推定处理中也 能够实施本发明。因此，有无清晰度扩充处理中的量化参数并不影响 实施本发明。
上述中，根据预测类型、动态矢量(DECMV)构成DEC动态 信息108,但并不限定于该构成要素。例如，如参考文献3那样，在 把多个再生LR图像作为参考图像的方式中，由于需要针对每个预测 块选择参照帧号，因此参照帧号也包含在DEC动态信息中。 (7)辅助数据的生成方法
在上述图4中的超清晰动态补偿单元313的说明中，在原图像 LR图像上的对象像素与其预测像素的差分值大于预先确定的阈值的 情况下，把在修正SRMV的检测中使用的参照图像从原图像LR图像 替换为原图像HR图像，但是原图像HR图像的利用并没有限定于该 方法。例如，也可以不使用原图像LR图像，而对于所有的像素使用 原图像HR图像。另外，关于修正SR信息111的输出条件，在图4 的说明中，规定为针对每个所指定的多种分割块中用平均值把检测出的SRMV与包含在SR信息110中的SRMV的差分值进行比较，在 差分值大于阈值情况下进行输出，但是并不限定于该方法。例如，也 可以不是MV的差分值，而是把检测出的SRMV、适用了SRMV时 的预测值与原图像上的像素的差分值用作为输出条件。另外，分割块 的尺寸选择方法也不限定于一种方法。进而，在图4的说明中把输出 的修正SRMV作为检测出的SRMV的块平均值，但是并不限于这种 方法。例如，也可以不是把检测MV的平均值而是把块内的SRMV 作为恒定值，以块单位进行检测。
关于低清晰动态补偿单元以及高清晰动态补偿单元中的辅助数 据选择方法，同样也没有限定于一种方法。
进而，关于涉及辅助数据编码/速率控制单元中的辅助动态信息 的选择的优先顺序以及评价方法，也不限定于在图4的说明中表示的 方法。例如，即使在使用了考虑代码量的评价方法的情况下，利用了 本发明的辅助数据的清晰度扩充处理也是有效的。 (8)变形例(5)的实施形态
在超清晰合成单元410中，使用多张再生LR图像102生成再生 HR图像106和多个再生LR图像之间的SR动态信息110,而如变形 例(4)或者(5)所示，通过使用HR图像之间的动态推定，可以预 料提高SR动态信息以及修正SR动态信息的推定精度。因此，使用图 13、图14以及图15详细地说明HR图像之间的动态推定的实施形态。 另外，这里，关于变形例(1)，以清晰度扩充处理仅需要SR动态信 息的情况为例进行说明。
图13表示清晰度变换/编码单元306的结构，即图4的变形例。 清晰度扩充处理单元310是从多个再生LR图<象102生成再生HR图 像106和SR动态信息IIO的处理单元，图14示出其内部结构。
图14成为图5的变形例。如从图的输入输出端可知，清晰度扩 充处理单元310和超清晰动态补偿单元313的结构与图4、图5不同。 即，在本发明中，使用SR信息的清晰度扩充处理的方法不限于图5， 修正SR信息的生成方法也不限于图4。在图2(c)的说明中，把SR信息作为表示再生HR图像与多个LR图像之间的时空对应的动态信 息。因此，在图2(c)的例子中，与LR图像上的1个像素相对应的 SRMV (修正SRMV)的条数根据从HR图像变换为LR图像时使用 的低通滤波器的分支数决定(在图2 (4)中是9条)。然而，SRMV 的结构如在变形例(4)和(5)中表示的那样，没有限定于图2(c) 的结构，在本实施例中，为了成为表示再生HR图像与多个HR图像 之间的时空对应的信息，SR信息如在变形例(4)中说明的那样，与 HR图像上的1个像素相对应的SRMV (修正SRMV)成为1条。
在从动态模型的观点考虑2个例子的差别的情况下，图2(c)的 SRMV包括图1的动态模型201和取样模型202在内，表示原图像 HR图像101与多个原图像LR图像102的时空对应，对此，本实施 例的SRMV表示动态模型201的动态矢量，即原图像HR图像101与 多个原图像HR图像的时空对应。由于原图像HR图像和原图像LR 图像是未知的，因此在图2(c)中，从虛拟生成的虚拟HR图像和再 生LR图像生成SR信息。对此，在本实施例中，除去虚拟HR图像 以外，对于多个再生LR图像也生成虛拟的HR图像，通过HR之间 的动态推定生成SR信息。从而，由于2个例子SR信息的生成方法不 同，因此虽然根据相同的动态模型，但是所得到的结果不同。如果依 据本实施例，则认为通过适当地选择虛拟HR图像，能够提高再生HR 图像的品质以及处理速度。另外，由于把原图像HR图像之间的动态 矢量活用为修正SRMV，因此认为辅助数据的导入效果也比图2 (c) 高。
在本实施例中，图13的局部清晰度扩充处理单元310相当于图5 的超清晰图像合成单元410。在局部清晰度扩充处理单元310中，与 图5相同，把多个再生LR图像102作为输入，但在输入到动态检测 单元411之前，把它们在图像放大处理单元406中变换为放大图像 118。关于图像放大处理单元406的处理，在本发明中没有限定，可以 考虑单纯的线性内插处理、使用了 B-spline函数的样条内插处理， 进而，可以考虑在通过内插处理放大的图像中利用非专利文献1记载的图像修复模型改善画质的方法等。
在清晰度扩充处理中，通过反复进行清晰度扩充处理单元310的 处理，来谋求再生HR图像的高画质的情况很多。这种情况下，对于 清晰度扩充对象的再生LR图像，首先(第l次反复处理)，把在图 像扩大处理单元406生成的扩大图像118作为虚拟HR图像119,输 入到动态搜索单元411。然后，在生成了虛拟的再生HR图像的第2 次以后的反复处理中，通过在开关407代替放大图像118,把参照HR 图像107 (虛拟的再生HR图像)选择为虛拟HR图像119输入到动 态搜索单元411。对于参照再生LR图像，在第1次反复处理之前， 有时已经通过清晰度扩充处理生成再生HR图像(参照HR图像107 )。 在这种情况下，在开关407,把参照HR图像107选择为虚拟HR图 像。这样，通过利用参照HR图像107，能够期待提高由动态搜索单 元411生成的SR信息110的推定精度或者缩短处理运算时间这样的 效果。
在动态搜索单元411中，通过2张HR图像之间的动态推定，生 成SR信息110。所生成的SR信息110输入到超清晰动态补偿单元311。 在超清晰动态补偿单元311中，使用原图像把SR动态信息IIO修正 成高精度的修正SR动态信息111。在本实施例中，超清晰动态补偿单 元313接受在与多个(L张)参照再生LR图像相对应的原图像HR 图像上加入了清晰度扩充处理对象的再生HR图像的总计(L+l)张 原图《象HR图像101和SR动态信息110的输入，检测修正SRMV。 而且，对于SRMV与修正SRMV的差(或者SRMV与适用了 SRMV 和修正SRMV时的预测误差的差)大的区域或者在最佳的SRMV的 检测中需要大量运算时间的区域，生成修正SR动态信息lll，输出到 清晰度扩充处理单元310和辅助数据编码/速率控制单元311。另外， 如在变形例(7)中所示的那样，超清晰动态补偿单元313中的修正 SR动态信息的生成方法并不限于一种方法。修正SR动态信息例如可 以考虑由参照HR图像(把参照再生LR图像放大为HR尺寸的图像) 上的块位置信息、参照帧号、块尺寸、修正SRMV所构成的信息。块尺寸在通过把几个像素部分汇总在一起进行编码，用于减少辅助数据
的代码量的目的。属于修正SR动态信息的修正SRMV的数量当块尺 寸是NxN像素时成为大于1小于等于NxN个。修正SRMV的数量通 过在修正动态矢量信息中添加动态矢量密度信息708等的信息，能够 在解码一侧明示。
清晰度扩充处理单元310使用修正SR动态信息111,用动态搜 索单元411更新SR动态信息110。在编码噪声推定单元412中，使用 实施清晰度扩充的再生LR图像102和L张再生LR图像102,以及 更新了的SR动态信息110,生成虚拟的再生HR图像106。这样，在 本实施例中，通过反复进行清晰度扩充处理和超清晰动态补偿处理， 优化再生HR图像106、 SR动态信息110以及修正SR动态信息111。 作为优化方法，可以考虑确定辅助数据的代码量，调整修正SR动态 信息111使得在其代码量下再生HR图像106与原图像HR图像的误 差成为最小的方法等，然而本申请并没有限定优化方法。另外，在修 正SR动态信息111的优化以后，需要根据修正SR动态信息的适用方 法，再次生成再生HR图像，使得在编码一侧和解码一侧能够生成相 同的再生HR图像106。优化了的修正SR动态信息通过由辅助数据编 码/速率控制单元311进行编码，成为辅助数据113,向解码装置传送。
在本实施例中，也像在变形例(1)所示的那样，即使在不是从 来自视频编码数据的解码图像，而是从多个图像生成清晰度更高的图 像的情况下，本发明也是有效的。另外，如变形例(4)所示，不需要 对于所有的像素计算SRMV,对于没有发现对应点的像素，不使用其 像素的动态数据生成再生HR图像106。从而，在本实施例中也如在 变形例(4)中说明过的那样，作为修正SR动态信息，发送表示没有 使用对象像素的动态数据的信息是有效的。
图15表示本实施例的清晰度扩充处理单元502的内部结构以及 辅助数据解码/分离单元531。在本实施例中，图15的清晰度扩充处理 单元502相当于图7的超清晰图像合成处理单元510。
清晰度扩充处理单元502 <吏用再生LR图像102、解码了的修正SR动态信息111以及参考HR图像107(已经生成的再生HR图像)， 生成再生HR图像106和SR动态信息110。首先，由辅助数据解码/ 分离单元531从清晰度扩充对象帧的辅助数据113分离修正SR动态 信息111，进行可变长度代码。然后，清晰度扩充处理单元502由图 像放大处理单元406生成放大图像118。如在图14中所示那样，按照 预先确定的顺序从放大图像118和参照HR图像107选择虛拟HR图 像119。然后，使用多个虚拟HR图像119和修正SR动态信息111， 生成SR动态信息110和再生HR图像106。具体地讲，通过反复处理 由动态检索单元511进行的SRMV的生成和由编码噪声推定单元512 进行的再生HR图像106的生成进行优化。
在本实施例中，在HR图像之间进行SR动态信息110的生成， 而在不存在参照HR图像(第l次反复处理)的情况下，省略图像放 大处理单元的处理，在再生LR图像之间实施动态推定，通过动态矢 量值的内插处理或者零次保持法放大为SRMV。因此，在本实施形态 中，依照反复处理的次数，有时修正SR动态信息的构成要素即修正 SRMV的意义或者数量不同。另外，还可以考虑把不是由原图像之间 的动态搜索，而是由通常的再生图像之间的动态搜索检测出的动态矢 量作为修正SR动态信息，为了减少解码一侧的运算量进行传送的情 况。
关于修正SR动态信息的利用方法，可以考虑若干种方法，在本 申请中并没有限定于一种方法。作为利用修正SRMV的方法，可以考 虑不进行SRMV的动态搜索而适用修正SRMV的方法、在适用了修 正SRMV以后，通过动态搜索进行再次调整的方法，然后，从通过实 施动态搜索检测出的SRMV和修正SRMV决定最终的SRMV的方法。 关于再次调整，可以考虑实际上考虑了在再生HR图像的生成中使用 的再生LR图像的差别，进行调整使得再生HR图像成为高品质的情 况、把以块单位传送的修正SRMV改善为像素单位的SRMV的情况 或者改善修正SRMV像素精度等的情况等各种提高MV的精度的情 况。关于从2个动态矢量决定最终的动态矢量的方法，可以考虑修正SRMV是通过实施动态搜索检测出的SRMV与最终的SRMV的差分 矢量的情况、或者修正SRMV与通过实施动态搜索检测出的SRMV 的平均值是最终的SRMV的情况等。即，既可以是修正SR动态信息 包括修正SRMV,把该修正SRMV用作为动态矢量的形态，还可以是 修正SR动态信息包括修正SRMV，使用多个再生图像检测中间动态 矢量，通过该中间动态矢量与修正SRMV的相加处理，生成动态矢量。 另外，修正SR动态信息包括修正SRMV，把修正SRMV作为动态矢 量的初始动态矢量，通过使用多个再生图像更新初始动态矢量也可以 生成动态矢量。
另外，关于与利用修正SR动态信息时的反复处理的对应，也可 以考虑多种方法。如果大致区分，则有在所有次数的反复处理中适用 相同的修正SRMV的方法和仅在反复处理的特定次数中适用的方法。 关于后者，根据用于减少运算量等的理由，进而可以考虑在相同的区 域或者块中传送对于反复次数不同的修正SRMV的情况。
在该变形例中，说明了编码装置、解码装置，而关于图9~图11 所示的处理流程，同样也能够变形。在这种情况下，虽然没有图示， 然而通过上述说明过的方法实施在图10的超清晰处理805中所示的虛 拟HR图像119的生成。另外，该变形例的图像编码处理或者图像解 码处理如在图12中说明的那样，能够由基于程序的计算机系统实施。 (9)涉及利用参照HR图像的变形例
在图5和图7中，利用HR动态信息112实施画质锐化处理，而 即使是在高清晰动态补偿单元314中没有使用HR辅助信息的方法， 也能够实施画质锐化处理。这种情况下，使用多个参照HR图像107、 编码噪声推定单元412 (512)输出的再生HR图像123以及由画质修 复处理已经修正了的清晰度扩充对象图像的虛拟的再生HR图像上的 像素数据，由动态补偿单元421 ( 521 )检测HRMV。这时，可以考 虑通过利用再生HR图像上的修正完毕的像素数据，提高像素精度。 例如，在以块单位按照光栅扫描顺序实施了修正处理的情况下，能够 在搜索中使用更新了的再生HR图像上的当前块的上端和左端的更新完毕的像素。在画质修复单元422 ( 522)中利用检测出的HRMV改 善再生HR图像106的画质。另外，如在变形例(2)中所示那样，在 图像锐化处理中，使用参照HR图像改善再生HR图像的画质的方法 并没有限定于一种。除去把2个图像(从参照HR图像107和HRMV 生成的HR图像与虚拟的再生HR图像1123)的像素部分地进行加权 合成的方法以外，还有置换为参照HR图像所生成的HR图像上的像 素的方法，或者使用多个参照HR图像107和虛拟HR图像之间的 SRMV谋求优化再生HR图像的方法等。进而，这里，用HR动态信 息112 j奮正由动态补偿单元421 (521 )检测出的HRMV的方法作为 提高画质锐化处理的性能的方法也是有效的。这种情况下，包含在HR 动态信息112中的动态矢量(修正HRMV)成为由动态补偿单元421 检测出的HRMV与最终的HRMV之间的差分动态矢量。另外，作为 画质锐化处理的方法，准备使用在图5和图7中说明过的HRMV的 方法、使用在这里说明了的修正HRMV的方法和由动态补偿单元421 (521)检测HRMV的方法等，在HR动态信息的构成要素中包括其 选择信息的方法作为提高画质锐化处理的处理效率的方法也是有效 的。
另外，上述中，在图5、图7、图14以及图15的编码噪声推定 单元中，使用多个再生LR图像102和SR动态信息110实施再生HR 图像123(在图14和图15中是106)的优化，而对于存在生成完毕的 再生HR图像的帧，代替再生LR图像102使用参照HR图像107也 是有效的。在这种情况下，再生HR图像107输入到图5和图14的编 码噪声推定单元412以及图7和图15的编码噪声修正单元512中。另 外，在该变形例中，还可以设想图1中省略了取样模型202的模型。 关于动态模型201，能够利用在图14和图15的说明中表示的虛拟HR 图像之间的SRMV。
(10)涉及辅助数据的构成要素的利用方法的变形
并不需要全部传送构成要素的数据，对于在编码一侧和解码一侧 唯一决定的信息，能够从传送的构成要素去除。例如，在使用在编码一侧和解码一侧共同具有的图像的特征等信息，能够规定构成要素的 一部分的情况下，能够省略传送其构成数据。在构成要素的数据的组 合中，对于不需要的数据，也能够从所传送的构成要素去除。例如， 当适用表示是否针对每个块传送辅助动态矢量的方法时，不需要传送 块位置信息，根据状况，也不需要传送辅助动态矢量。另外，如在变
形例(4)中说明过的那样，在表示任意的区域或者块的SRMV在再 生HR图像的生成中无效的情况下，也不需要传送修正SRMV。进而， 还有不是根据编码 一 侧和解码 一 侧的默认的规则来抑制传送构成要素 的 一部分数据的方法，而是在构成要素中包括表示进行哪种数据传送 的模式信息，明示地表示所传送的构成要素的方法。
作为传送辅助数据的方法，把构成要素的数据分为序列单位、帧 单位、片单位(由多个块构成)、块单位等分层传送的方法也是用于 减少代码量的有效方法。即，通过依照其分派的任务分层传送构成要 素的数据能够减少代码量。在这种情况下，在上位层次中所传送的信 息不需要在下位中传送。例如，在作为帧单位的辅助信息传送块尺寸 的情况下，在块单位中的辅助动态信息中，不需要传送该信息。这种 情况下，也把以块单位传送的共同要素的数据分割在若干个传送型(构 成要素数据不同的组合)或者传送组(构成要素数据的分类)中，在 解码 一侧明示地表示与传送型或者传送組的组合相对应的模式信息的 方法是有效的。进而，还有把模式信息作为片单位或者帧单位的信息 传送的方法，可以说作为控制反映区域或者帧单位下的图像的变化倾 向的方法是有效的。
作为其它的辅助数据传送方法，有把构成要素的数据根据其局部 性分为若干个组，传送表示是否变更各组的构成要素的值的信息的方 法。可以认为根据该方法能够减少辅助数据的代码量。对于没有变更 组的数据，预先确定适用在前面刚传送的值或者缺省值的规定。变更 的组的构成要素的数据作为辅助数据传送。
如在变形例(4)中所示那样，LR动态信息、修正SR动态信息 以及HR动态信息的构成要素没有限定。例如，也可以考虑用块单位传送LR动态信息、修正SR动的信息以及HR动态信息的种类(数 据类型702 )的方法。另外，如在变形例(8)或者在上述中说明过的 那样，明示辅助动态信息的构成要素的数据的组合或者传送方法的模 式信息也包含在构成要素的变形例中。该模式信息的传送方法不限于 修正SR动态信息，对于LR动态信息或者HR动态信息也能够适用。
进而，作为构成要素的数据明示地表示在变形例(8)中所示的 修正SR动态信息的利用方法的方法也是有效的，4吏用原图像，根据 在编码一侧要求的信息，能够有效地实施解码一侧中的处理。关于该 辅助动态信息的利用方法也不限于修正SR动态信息，对于LR动态 信息或者H R动态信息的利用方法也能够同样适用。在利用方法的信 息中，包括调整辅助动态信息的适用方法(不进行解码器中的动态搜 索，反映辅助动态信息，或者用解码器调整辅助动态信息)时的调整 方法(生成更细微单位的动态矢量，调整动态矢量的像素精度)。另 外，还包括在变形例(8 )中说明过的表示与反复处理的对应的信息(在 所有的反复处理中适用辅助动态信息，仅在特定的反复次数的处理中 适用)或者表示反复处理的特定次数的信息。作为表示辅助动态信息 的利用方法，还可以考虑通过把表示辅助动态信息的利用目的(减少 运算量，提高再生HR图像的品质)的信息传送到接收一侧，变更接 收一侧中的处理的方法。
另一方面，作为其它的例子，还可以考虑对于动态矢量密度信息 707,不向接收一侧传送而表示动态矢量数量的方法，或者根据块尺寸 信息唯一地决定的方法。
进而，关于LR动态信息，由于有在不具有DECMV的块中新添 加LRMV的方法和虽然存在DECMV但是把其值变更为不同的 LRMV的方法，因此还可以考虑不是从DECMV生成而是明示地传送 该LRMV利用信息。这种情况下，通过在构成要素中包括块尺寸，能 够为了清晰度扩充处理而提供精度更高的动态信息。
作为HR动态信息的变形例，首先，有动态推定的方法。作为是 在再生HR图像之间(变形例(9))实施，还是使用原图像HR图像实施的适应选择，通过把动态推定方法作为HR动态信息的构成要素 的数据传送，能够谋求减少HR动态信息的代码量和优化再生HR图 像画质。另外，关于画质改善修复处理(使用参照HR图像改善再生 HR图像的画质的处理)，由于也有加权合成方法或者置换为参照HR 图像的方法等若干种候选，因此通过明示地传送表示合成方法的信息 能够期待再生HR图像的画质改善。
关于SR动态信息也可以考虑变形。例如，SRMV在图5中是表 示LR图像与HR图像的时空对应的数据，而在图14中，是表示HR 图像之间或者LR图像之间的时空对应的数据，表现方法不同。作为 清晰度信息，通过以帧单位或者块单位明示地传送该差别，能够进行 与局部的特征对应的画质改善，带来画质的进一步改善。因此，通过 在修正SR信息的构成要素上添加该信息，代替修正SRMV进行传送， 即使不传送SRMV，也能够提高SRMV的检测精度。另外，如图14 或者图15所示那样，在SRMV的检测中使用的虚拟HR图像的候选 中，有放大图像和参照HR图像，可以选择任一种。通过在修正SR 信息的构成要素上添加用于明示地选择虚拟HR图像的种类的参照图 像信息，能够预料将提高SRMV的检测精度。这时也不需要传送修正
s画v。
关于修正SR动的信息的变形例，除去上述示出的以外还可以考 虑修正SRMV的清晰度信息(LR图像水平的MV或者HR图像水平 的MV)。通过传送该数据，能够明示地表示适应于区域的局部特征 的清晰度，另外，还可以考虑通过明示地表示有效的反复处理次数， 在所指定的反复处理次数以后，向接收一侧传送不需要再次搜索该区 域的SRMV的情况。根据该信息，能够抑制无效的动态搜索处理。 (11)辅助数据的应用
至此为止，以修正SRMV等辅助动态矢量为中心说明了辅助动 态信息的传送以及辅助动态信息。在这种情况下，通过将有用的动态 矢量通知给接收一侧，在接收一侧能够生成更高品质的再生HR图像。 另一方面，如果着眼于在清晰度扩充处理单元中生成的SRMV等动态矢量，则在动态矢量的生成所需要的条件，例如用于实施动态搜索的 方法和条件根据预先确定的规则在接收一侧实施。以下，以动态搜索 为例进行说明。在该动态搜索中，有与图像的各种特征相对应的多种 方法，而在把搜索出的动态矢量向接收一侧传送的情况下，能够使用 原数据在发送一侧决定用于动态搜索的最佳方法以及条件。然而，如 清晰度扩充处理那样，在使用解码完毕的像素数据进行动态搜索的情 况下，在不具有原数据的接收一侧需要确定其方法或者条件。因此， 这里，表示在具有原始数据的编码一侧，实施用于动态搜索的理想方 法以及条件的选定，把该信息作为辅助动态信息向接收一侧传送的方 法。该方法由于也使用原图像数据，具有提高动态矢量的精度的效果 以及缩短在动态矢量的检测中所需要的时间的效果，因此可以认为是
提高再生HR图像的品质以及效率的有效方法。另外，为了在以后的 处理中利用再生HR图像，需要在编码一侧和接收一侧生成相同的再 生HR图像，因此需要在编码一侧和接收一侧共同具有动态搜索的方 法和条件。为了实现共同具有，有在编码一侧和接收一侧预先进行动 态搜索的方法或者预先决定条件的方法，而如在这里所示，通过作为 辅助动态信息进行传送，能够减少与图像的局部性相对应的运算量或 者提高HR图像的画质。
关于动态搜索的方法和的条件(以下，称为动态搜索条件信息) 的种类或者数量，在本说明书中没有限定。关于其种类的例子，有搜 索范围或者搜索方法等，详细情况在后面叙述。图13中说明动态搜索 条件信息的生成方法。虽然没有图示，然而在该情况下，认为再生HR 图像106也输出到超清晰动态补偿单元313。超清晰动态补偿单元313 把动态搜索条件信息的候选包含在修正SR动态信息111中，输入到 清晰度扩充处理单元310。在清晰度扩充处理单元310中，根据包含 在修正SR动态信息111中的动态搜索条件信息，生成SR动态信息 110和再生HR图^象106。超清晰动态补偿单元313使用再生HR图像 106和原图像HR图像，评价动态搜索条件信息(例如，评价值是绝 对值差和)。对于多个动态搜索条件信息的候选实施该处理，选择评价结果为最佳的条件信息。另外，动态搜索条件信息的生成方法的决
定方法不限于该方法。例如，不是再生HR图像与原图像HR图像的 比较，而是把在清晰度扩充处理单元中生成的SRMV与在超清晰动态 补偿单元313中生成的修正SRMV111进行比较，选择其差为最小时 的动态搜索条件信息的方法也是有效的。在这种情况下，不需要向超 清晰动态补偿单元313输出再生HR图像106。
关于动态搜索条件信息的传送方法，与动态矢量信息一样可以考 虑若干种方法，分为帧单位或者块单位分层传送的方法也是用于减少 代码量的有效方法。关于所传送的数据，可以考虑直接传送数据的方 法，或者准备若干种候选，传送选择信息的方法。传送数值的方法的 自由度高，但是另一方面将带来代码量的增大。因此，可以认为是在 以序列单位或者帧单位等批量单位传送时可用的方法。在以块单位或 者像素单位传送的情况下，基本上适用从候选中选择的方法。
这里，说明了在利用辅助动态矢量和动态搜索条件信息的清晰度 扩充处理中适用的方法。而像本变形例这样，在辅助动态信息有可能 包括动态搜索条件信息的情况下，作为图像区域内的局部的处理，需 要根据能够利用的辅助动态矢量以及动态搜索条件信息，实施不同的 处理。
在辅助动态信息包括辅助动态矢量而不包括动态搜索条件信息 的情况下，清晰度扩充处理单元利用复原了的辅助动态矢量，检测其 区域(块)的SRMV (HRMV)，生成再生HR图像。利用方法的详 细过程由于已经在变形例(8)的修正SRMV的利用方法中说明过， 因此在这里省略。作为辅助动态矢量的复原方法，如在图8的说明中 所示， 一般是把根据预先确定的方法所求出的预测动态矢量与通过辅 助数据的解码得到的差分动态矢量相加的方法，在本申请中并不限定 于如在变形例(3)中所示那样。例如，在解码了的动态矢量是通过预 先确定的方法检测出的SRMV (HRMV)与最终的SRMV ( HRMV ) 的差分动态矢量的情况下，由于即使直接编码其代码量也很少，因此 能够省略预测处理。另外，关于准备多种辅助动态矢量的利用方法时的选定方法，有通过把选定信息作为辅助动态信息传送，可以明示地 传送适用方法的方法，或者根据条件(例如，辅助动态信息中的构成 要素的数据值)唯一决定的方法等。
在辅助动态信息包括动态搜索条件信息而不包辅助动态矢量的 情况下，清晰度扩充处理单元根据解码了的动态搜索方法或者条件，
检测其区域(块)的SRMV (HRMV)，在再生HR图像的生成中利 用。这时，在解码了的动态搜索条件信息中没有包括所必需的所有信 息的情况下，对于其信息，适用预先确定的值。例如，在比预先确定 的值小的搜索范围内就足够的条件下，通过发送搜索范围的信息，具 有能够减少动态搜索所需要的运算量的效果。
另外，作为辅助动态信息包括动态搜索条件信息而不包括辅助动 态矢量的其它例子，可以考虑根据预先确定的动态搜索的条件信息检 测出SRMV ( HRMV )以后，根据解码了的条件信息修正检测出的 SRMV(HRMV)的方法，或者才艮据解码了的动态搜索条件信息修正 通过前面的反复处理检测出的SRMV (HRMV)的方法等。例如，通 过传送用于修正SRMV (HRMV)的小的搜索范围，具有取得运算量 与搜索性能的平衡等的效果。另外，关于具有多个动态搜索条件信息 的利用方法的候选时的选定方法，有通过把选定信息作为辅助动态信 息传送，能够明示地传送适用方法的方法，或者依照条件(例如，辅 助动态信息中的构成要素的数据值)唯一决定的方法等。
在辅助动态信息同时包括辅助动态矢量和动态搜索条件信息的 情况下，有从根据动态搜索条件信息检测出的SRMV (HRMV)和复 原了的辅助动态矢量决定最终的SRMV (HRMV)的方法。在这种情 况下的例子中，包括辅助动态矢量是根据动态搜索条件信息检测出的 SRMV (HRMV)与最终的SRMV (HRMV)的差分矢量的情况。例 如，对于动态搜索条件信息用帧单位或者片单位等大的区域单位替换， 需要块单位以上的精度的动态矢量，通过仅把来自推断值的差分值进 行编码能够减少代码量。在使用了动态矢量的分散性大的邻接区域中 的动态矢量的动态矢量预测的性能恶化的区域中是有效的。另外，根据动态搜索条件信息以很少的运算量检测大致的动态矢量，通过把其 与差分动态矢量相加这样的顺序，还具有能够减少动态搜索的运算量 的效果。
作为辅助动态信息同时包括辅助动态矢量和动态搜索条件信息 的其它例子，有根据动态搜索条件信息修正复原了的辅助动态矢量， 把修正了的辅助动态矢量作为最终的动态矢量的方法。如果依据该方 法，则对于广泛的区域(块)传送辅助动态矢量，根据动态搜索条件 信息，能够把所传送的辅助动态矢量修正为更狭窄区域(块或者像素) 的动态矢量。因此，能够减少代码量。进而，还有在用辅助动态信息
把SRMV (HRMV)修正了以后，根据动态搜索条件信息再次调整修 正SRMV(HRMV)的方法。
关于是否有辅助动态矢量以及动态搜索条件信息，可以考虑作为 变形例(10)的前半部分所示那样的模式信息明示地表示的方法等。 另外，关于包含在动态搜索条件信息中的方法或者条件等参数，通过 分别使用分层传送能够减少代码量。
由于还有辅助动态信息既不包括辅助动态矢量也不包括动态搜 索条件信息的情况，因此说明这种情况下的清晰度扩充处理的顺序的 例子。其中之一是辅助动态信息包括表示其区域(块)的动态矢量在 再生HR图像的生成中无效的信息的情况。在这种情况下，清晰度扩 充处理单元不实施其区域(块)的SRMV (HRMV)的动态搜索，不 使用其区域的SRMV (HRMV)生成再生HR图像。如果以上述非专 利文献1 (图1的模型)为例，则有对于矩阵C (d—lk)，代替成为 不可使用的动态矢量，使用相邻像素的动态矢量，通过内插处理生成 的动态矢量代用的方法，或者对于矩阵H，在使与成为不可使用的动 态矢量相对应的滤波器系数为0的基础上，调整与成为不可使用的动 态矢量关联的像素相对应的滤波器系数的方法。另外，作为既不包括 辅助动态矢量也不包括动态搜索条件信息的其它情况，有辅助动态信 息包括其区域(块)的SRMV(SRMV)的更新处理为有效的反复处 理的次数的情况。在这种情况下，清晰度扩充处理单元在所指定的次数以后的反复处理中，不用再次搜索其区域的SRMV (HRMV)，实 施再生HR图像的生成。
以下，表示在动态搜索中必要条件的例子。
a) 动态检索方法
在图2中，作为动态检测方法使用块匹配法进行了说明，而在动 态搜索方法中，有梯度法(例如，专利第3271369号(作为参考献6 ))、 像素匹配法(例如，专利第2934151号(作为参考文献7))、样板 匹配法(例如特开平1 - 228384 (作为参考文献8))等多种方法。这 些方法的有效性由于根据像素内区域的特征而不同，因此通过作为动 态搜索的条件向解码一侧通知适宜的方法，能够期待提高解码一侧的 动态检测的性能。
b) 搜索范围和搜索中心
在进行动态输出时，如果搜索图像整体则需要巨大的运算量，因 此通常设计搜索范围，在其范围内进行搜索。理想的输出范围由于根 据图像区域的特征而不同，因此其条件对于输出结果带来的影响也很 大。从而，通过明示地向解码一侧传送适当的搜索范围，能够进行无 浪费的动态搜索。另外，通过适当地设定速度范围的中心，能够减小 搜索范围。从而，通过向解码一侧明示地传送决定搜索中心的方法， 能够提高解码一侧中的伴随动态搜索的处理效率。作为决定动态搜索 中心的方法，例如有利用从邻接区域的动态搜索结果推测出的动态量 的方法或者以动态量0为搜索中心的方法等。图16中表示块匹配的例 子。图中，把a100作为当前帧，把a101作为搜索对象块，把a200 作为参照帧，把与块a101在空间上一致的a201作为参照帧上的块。 a202是a101的邻接块的动态矢量，在用于设定块a101的搜索中心 a204时使用。把搜索范围a206设定在搜索中心a204的周围，通过在 搜索范围内进行搜索，检测动态矢量a203和预测块a205。作为用于 决定搜索中心的动态矢量，把块al01的左、上、右上的3个块的动态 矢量作为候选，在编码器中的动态搜索中频繁使用从各成分的中央值 构成的动态矢量。C)搜索块尺寸
关于实施动态搜索的单位，根据图像区域的特征所适宜的尺寸也 不同。例如，在块匹配的情况下，准备多种搜索块尺寸，通过以序列 单位、帧单位、片单位或者块单位(比搜索块尺寸大)向解码一侧传 送搜索块尺寸，提高动态搜索的精度。另外，也有不是按照块单位而 是把任意形状作为单位进行动态搜索的情况。在这种情况下，传送形 状信息(三角片等)或者区域分割的方法等。
d) 动态搜索方法
在进行动态搜索时，由于如果在搜索范围内搜索整体则需要大量 的运算量，因此可以考虑在搜索范围内抽样搜索的情况。从而，通过 设置明示地向解码一侧传送动态搜索的方法的功能，能够调整运算量 和搜索性能。作为动态搜索方法，有在搜索范围内无遗漏地进行搜索 的全搜索，以纵横数像素间隔进行搜索，按照以更狭窄的像素间隔搜 索检索出的位置周围这样的顺序缩小动态的树形搜索等。另外，不是 在搜索范围内进行一次搜索，而是以大的块尺寸搜索大的搜索范围， 根据其结果确定搜索中心，以小的块尺寸搜索更小的搜索范围这样的 分层搜索作为减少运算量的方法也是有效的。另外，在该分层搜索中， 需要根据层数传送搜索范围和搜索块尺寸。
e) 搜索顺序
关于实施动态搜索时的搜索顺序，有从左上向右下按照光栅扫描 顺序在动态搜索的范围内进行搜索的方法，或者从动态搜索范围的中 心向外按照螺旋顺序进行搜索的方法等若干种方法。通过明示地向解 码一侧传送搜索顺序，使得在编码一侧和解码一側都能够得到同样的 结果。另外，为了实现高速，有设置中止搜索的条件的情况。关于该 搜索中止条件(预测误差的阈值等)，通过明示地向解码一侧表示， 也能够减少解码单元的动态搜索中需要的运算时间。
f) 动态检索精度
关于动态搜索中的动态检索精度，实际上在MPEG等标准方式 中使用l像素精度、1/2像素精度、1/4像素精度，进而l/8像素精度等多种精度。通过向解码一侧传送该搜索精度，也能够谋求优化 运算时间和画质。另外，关于实数像素的生成方法，通过向解码一侧 传送其方法，能够谋求优化画质。 g)评价函数
作为进行动态搜索时的评价函数，使用预测误差信号的块绝对值 和、相同的差方和、预测误差信号的绝对值和以及从动态矢量代码量 计算出的评价值等多种方法。关于评价函数，在具有原数据的编码一 侧进行选择，向解码一侧传送，能够谋求优化运算时间和动态搜索性 能。除此以外，还有动态模式(平行移动模式、仿射变换模式、投影 变换模式)、动态搜索方法(前向、反向)等各种条件。
至此为止，以清晰度扩充处理为前提，示出了把在动态矢量的生 成中所需要的条件进行编码/传送的方法，而向接收一侧传送在动态矢 量的生成中所需要的条件的顺序在接收一侧能够没有限制地适用在生 成动态矢量的装置或者软件中。例如，在解码一侧生成的视频编码等
中能够适用动态矢量。图16说明在视频编码方式中，使用解码完毕的 像素数据在解码一侧搜索动态矢量的方法。a200表示解码完毕的前 帧，alOO表示编码对象的当前帧。a100以块单位从左上向右下按照光 栅扫描顺序编码，图中，表示a103的区域的块(7个块)编码/解码完 毕。在搜索块al01的动态矢量时，从解码完毕区域的解码数像素数椐 构成样板al08，检测样板内的误差和为最小的区域a208。这时，作为 动态矢量检测a203，块a205成为块a101的预测块。在编码一侧，把 编码块a101与预测块a205的误差块编码，动态矢量不编码。在解码 一侧，按照与编码一侧相同的条件进行动态搜索检测动态矢量。然后， 通过把根据在解码一侧检测出的动态矢量生成的预测块和解码了的误 差块相加，求编码块的再生值。从而，这样在解码一侧，在包括生成 与动态矢量关联的信息的处理的视频编码中，在具有原数据的编码一 侧决定实施动态搜索的条件，通过把该条件向解码一侧传送，能够提 高编码一侧中的动态搜索的性能。关于在动态矢量的生成中所需要的 条件的编码方法，分层的传送方法是有效的。图20表示一般的视频编码的数据构造。
一般的视频数据由表示序列整体的编码条件的序列标
题bll、表示帧单位的编码条件的帧标题b12、表示片单位的编码条 件的片标题b13、表示动态矢量或者预测方法等的块单位的编码条件 的块标题b14以及包括预测误差信号的编码数据的块数据b15构成。 依照其局部性，通过把在动态矢量的生成中所需要的各种条件分为4 种标题信息进行编码，提高编码效率。
图18和图19表示在解码一侧生成的动态矢量的视频编码的编码 装置以及解码装置的例子。图18表示编码装置的结构。当前帧a100 在块分割单元ci02分割为编码块a101。编码块a101输入到动态搜索 条件决定单元c112和减法器c103。动态搜索条件决定单元c112把在 动态矢量的生成中所需要的条件的候选c115输出到动态搜索单元 c114。另外，关于在动态矢量生成中所需要的条件中以序列单位或者 帧单位选择的条件，事先在动态搜索条件单元使用原图像选择。作为 选择方法，例如，通过对于多种条件的候选实施使用了原图像的动态 搜索处理，能够选择适当的条件。动态搜索单元cll4从帧存储器clll 输入解码完毕的前帧a200和样板a108，根据在动态矢量的生成中所 需要的条件c115，检测动态矢量a203。动态补偿单元cll3从帧存储 器clll的解码完毕的前帧a200抽取与动态矢量a203相对应的预测块 c120，输出到动态搜索条件决定单元c112。动态搜索条件决定单元 c112把与在动态矢量的生成中所需要的条件的多个候选相对应的预 测块c120与输入块a101进行比较，决定预测误差绝对值和为最小的 预测块a205。另外，把这时的条件作为在动态矢量的生成中所需要的 条件c117输出到动态搜索条件编码单元c120。动态搜索条件编码单 元c120把在动态矢量的生成中所需要的条件编码，把编码的信息输出 到熵编码单元。关于编码方法没有限定，如上所述，能够使用分层构
造或者分成组的方法、限定使用模式信息进行编码的构成要素的方法、 直接传送数值的方法、准备多种编码信息的候选进行选择的方法、把 来自从邻接块推定的预测值的差分编码等。
预测块205输出到减法器c103和加法器c108。在减法器c103中，计算输入块a101与预测块a205的误差块c104，输出到误差块编码单 元c105。误差块编码单元c105进行误差块的编码处理，把误差编码 数据c106输出到熵编码单元cllO和误差块解码单元c107。误差块解 码单元c107把误差编码数据解码，复原再生误差块c118，输出到加 法器cl08。加法器cl08通过再生误差块c118与预测块c205的相加处 理生成再生块c109，合成到帧存储器内的当前帧的再生图像上。最后， 熵编码单元cllO把误差编码数据c106和表示在动态矢量的生成中所 需要的条件的信息c119以及各种标题信息进行合成，输出编码数据 cll6。
图19表示解码装置的结构。编码数据cll6在熵解码单元中解码 成解码数据d102，由分离单元d103分离为误差编码数据c106和表示 在动态矢量的生成中所需要的条件的信息c119。表示在动态矢量的生 成中所需要的条件的信息c119由动态搜索条件解码单元d109解码成 在动态矢量的生成中所需要的条件c117。动态搜索单元d107从帧存 储器的dl06输入解码完毕的前帧a200和样板a108，根据在动态矢量 的生成中所需要的条件c117，检测动态矢量a203。动态补偿单元dl08 从帧存储器dlll的解码完毕的前帧a200抽取与动态矢量a203相对应 的预测块c205，输出到加法器d105。误差块解码单元dl04把误差编 码数据解码，复原再生误差块c118，输出到加法器d105。加法器dl05 通过再生误差块c118与预测块c205的相加处理生成再生块c109，合 成到帧存储器内的当前帧的再生图像上。
在视频编码的例子中，也可以考虑块共同具有动态矢量和在动态 矢量的生成中所需要的条件的情况。在这种情况下，根据在动态矢量 的生成中所需要的条件，解码器修正解码了的动态矢量。另外，在其 它的例子中，从解码器根据在动态矢量的生成中所需要的条件生成的 动态矢量和解码了的动态矢量，生成最终的动态矢量。这种情况下， 解码动态矢量认为是由解码器生成的动态矢量与最终的动态矢量的差 分动态矢量。这样，在接收一侧，在生成动态矢量的装置或者软件中， 能够适用向接收一侧一起传送在动态矢量的生成中所需要的条件和动态矢量的方法。
在该变形例中，说明了编码装置、解码装置，而对于编码/解码 处理流程也同样能够变形。另外，该变形例的图像编码处理或者图像
解码处理如在图12中所说明的那样，能够通过基于程序的计算机系统 实施。
图21和图22中表示实施本变形例的编码处理流程以及解码处理 流程中的块处理。对于序列标题、帧标题的编码/解码省略说明，在编 码处理中，在动态矢量生成中所需要的条件中，把以帧单位以及序列 单位传送的信息按照它们的单位进行选择。作为选择的方法，如在图 18的说明中所示的那样，利用使用了原图像的动态搜索。在解码处理 中，把序列标题、帧标题的编码数据解码后保存，在进行各块的解码 处理时使用。
图21中说明实施本变形例的编码处理流程的块处理。在块编码 开始处理c201以后，在处理c202中，输入下一个编码块。在处理c203 中，选定在动态矢量的生成中所需要的条件的候选。在处理204中， 根据该条件，如图17所示那样，使用解码完毕的图像和样板检测动态 矢量。在处理c205中，从解码完毕的图像取得与动态矢量相对应的预 测块。在处理c206中，评价编码块与预测块的预测误差绝对值和。关 于在动态矢量的生成中所需要的条件的多个候选，反复进行处理c203 到处理c206，选择预测误差绝对值和最小时的动态矢量生成条件和预 测块。在处理c207中，把编码块与预测块的各像素相减，生成误差块。 在处理c208中，把误差块编码(例如，离散余弦变换、量化)。在处 理c209中，把误差块解码(例如，量化变换系数的反量化和反离散余 弦变换)。在处理c210中，把解码了的误差块与预测块相加，复原解 码块。在处理c211中，把误差块的编码信息(量化变换系数)和在处 理c206中选择的表示在动态矢量的生成中所需要的条件的信息进行 熵编码，生成编码数据，在处理c212中结束块编码处理。
在图22中说明实施本实施例的解码处理流程的块处理。在块解 码的开始处理d201以后，在处理d202中，输入与下一个解码块相对应的编码数据。在处理d203中，把解码数据进行熵解码，取得在动态 矢量的生成中所需要的条件和误差块的编码信息。在处理d204中，根 据该条件，如图17所示，使用解码完毕的图像和样板检测动态矢量。 在处理d205中，从解码完毕的图像取得与动态矢量相对应的预测块。 在处理d206中，把误差块的编码信息解码(例如，量化系数的反量化 和反离散余弦变换)。在处理d207中，把解码了的误差块与预测块相 加，复原解码块，在处理d208中结束块编码处理。
除去动态矢量以外，对于在解码一侧生成参照帧、预测模式(单 向预测、双向预测)、预测块的生成方法(从2个预测块生成1个预 测块的方法)等与动态矢量有关的信息的情况，在编码一侧决定用于 生成这些信息所需要的条件，通过把该信息传送到解码一侧，能够提 高其信息的生成性能。另外，还包括一次生成的用于修正这些信息的 条件。
权利要求
1. 一种图像解码装置，其特征在于，具备视频数据解码单元，接收视频编码数据并进行解码，得到多个再生图像；辅助数据解码单元，接收辅助数据并进行解码，得到辅助动态信息；清晰度扩充单元，基于由上述辅助数据解码单元得到的辅助动态信息，生成表示上述多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由上述视频数据解码单元得到的多个再生图像，生成空间清晰度高于上述多个再生图像的高清晰图像。
2. 根据权利要求1所述的图像解码装置，其特征在于 上述辅助动态信息包括辅助动态矢量，上述清晰度扩充单元把上述辅助动态矢量用作为上述动态矢量。
3. 根据权利要求1所述的图像解码装置，其特征在于 上述辅助动态信息包括作为为了生成上述动态矢量所需要的条件的动态矢量生成条件，上述清晰度扩充单元基于上述动态矢量生成条件从上述多个再 生图像生成上述动态矢量。
4. 一种图像编码装置，其特征在于，具备 图像取样单元，把高清晰图像变换为低清晰图像； 视频数椐编码单元，把由上述图像取样单元生成的多个低清晰图像压缩编码，生成编码视频数据；碎见频数据解码单元，把由上述视频数椐编码单元生成的编码视频 数据解码，得到再生低清晰图像；辅助动态信息生成单元，使用上述高清晰图像或者上述低清晰图像，生成在上述动态矢量的生成中所需要的辅助动态信息；清晰度扩充单元，基于由上述辅助动态信息生成单元所生成的辅助动态信息，生成表示通过上述视频数据解码单元得到的多个再生低清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述多个再生低清晰图像，生成再生高清晰图像；辅助数据编码单元，把由上述辅助动态信息生成单元生成的辅助动态信息作为辅助数据进行编码。
5. —种图像解码装置，其特征在于，具备 编码数据解码单元，接收编码数据并进行熵解码，得到作为为了生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像 信号的编码信息；用于保存解码图像信号的图像存储器；动态矢量生成单元，基于由上述编码数据解码单元得到的动态矢 量生成条件，从保存在上述图像存储器中的解码图像信号生成动态矢 量；预测图像信号生成单元，使用由上述动态矢量生成单元生成的动态矢量和上述解码图像信号，生成预测图像信号；解码单元，把由上述编码数据解码单元得到的编码信息进行解 码，得到预测误差图像信号；保存单元，把由上述预测图像信号生成单元生成的预测图像信号 与由上述解码单元得到的预测误差图像信号相加，复原解码图像信号， 把该解码图像信号保存在上述图像存储器中。
6. —种图像编码装置，其特征在于，具备 输入单元，把输入图像信号进行输入；用于保存解码图像信号的图像存储器； 动态矢量生成条件决定单元，基于由上述输入单元所输入的输入 图像信号，决定作为为了生成动态矢量所需要的条件的动态矢量生成条件；动态矢量生成单元，基于由上述动态矢量生成条件决定单元所决 定的动态矢量生成条件，从保存在上述图像存储器中的解码图像信号 生成动态矢量；预测图像信号生成单元，使用由上述动态矢量生成单元生成的动 态矢量和上述解码图像信号，生成预测图像信号；预测误差图像信号生成单元，从由上述输入单元输入的输入图像 信号和由上述预测图像信号生成单元生成的预测图像信号，生成预测 误差图像信号；编码信息取得单元，把由上述预测误差图像信号生成单元生成的预测误差图像信号编码，得到编码信息；局部解码单元，把由上述编码信息取得单元取得的编码信息解码，得到解码预测误差图像信号；保存单元，从由上述预测图像信号生成单元所生成的预测图像信 号和由上述局部解码单元得到的解码预测误差图像信号，复原解码图 像信号，把该解码图像信号保存在上述图像存储器中；编码数据生成单元，把由上述动态矢量生成条件决定单元所决定 的动态矢量生成条件和由上述编码信息取得单元取得的编码信息进行 熵编码，生成编码数据。
7.—种图像解码方法，其特征在于，具备视频数据解码步骤，接收视频编码数据并进行解码，得到多个再 生图像；辅助数据解码步骤，接收辅助数据并进行解码，得到辅助动态信息；清晰度扩充步骤，基于在上述辅助数据解码步骤中得到的辅助动 态信息，生成表示上述多个再生图像之间的时空对应的动态矢量，使 用所生成的动态矢量和在上述视频数据解码步骤中得到的多个再生图 像，生成空间清晰度高于上述多个再生图像的高清晰图像。
8. —种图像编码方法，其特征在于，具备 图像取样步骤，把高清晰图像变换为低清晰图像； 视频数据编码步骤，把在上述图像取样步骤中生成的多个低清晰图像压缩编码，生成编码视频数据；视频数据解码步骤，把在上述视频数据编码步骤中生成的编码视 频数据解码，得到再生低清晰图像；辅助动态信息生成步骤，使用上述高清晰图像或者上述低清晰图 像，生成在上述动态矢量的生成中所需要的辅助动态信息；清晰度扩充步骤，基于在上述辅助动态信息生成步骤中生成的辅 助动态信息，生成表示在上述视频数据解码步骤中得到的多个再生低 清晰图像之间的时空对应的动态矢量，使用所生成的动态矢量和上述 多个再生低清晰图像生成再生高清晰图像；辅助数据编码步骤，把在上述辅助动态信息生成步骤中生成的辅 助动态信息作为辅助数据进行编码。
9. 一种图像解码方法，其特征在于，具备编码数据解码步骤，接收编码数据并进行熵解码，得到作为为了 生成动态矢量所需要的条件的动态矢量生成条件和表示预测误差图像信号的编码信息；动态矢量生成步骤，基于在上述编码数据解码步骤中得到的动态 矢量生成条件，从保存在图像存储器中的解码图像信号生成动态矢量；预测图像信号生成步骤，使用在上述动态矢量生成步骤中生成的 动态矢量和上述解码图像信号，生成预测图像信号；解码步骤，把在上述编码数据解码步骤中得到的编码信息进行解 码，得到预测误差图像信号；保存步骤，把在上述预测图像信号生成步骤中生成的预测图像信 号和在上述解码步骤中得到的预测误差图像信号相加，复原解码图像 信号，把该解码图像信号保存在上述图像存储器中。
10.—种图像编码方法，其特征在于，具备 输入步骤，把输入图像信号进行输入；动态矢量生成条件决定步骤，基于在上述输入步骤中所输入的输 入图像信号，决定作为为了生成动态矢量所需要的条件的动态矢量生 成条件；动态矢量生成步骤，基于在上述动态矢量生成条件决定步骤中所 决定的动态矢量生成条件，从保存在图像存储器中的解码图像信号生 成动态矢量；预测图像信号生成步骤，使用在上述动态矢量生成步骤中生成的 动态矢量和上述解码图像信号，生成预测图像信号；预测误差图像信号生成步骤，从在上述输入步骤中输入的输入图 像信号和在上述预测图像信号生成步骤中生成的预测图像信号，生成预测误差图像信号；编码信息取得步骤，把在上述预测误差图像信号生成步骤中生成的预测误差图像信号编码，得到编码信息；局部解码步骤，把在上述编码信息取得步骤中得到的编码信息解码，得到解码预测误差图像信号；保存步骤，从在上述预测图像信号生成步骤中所生成的预测图像信号和在上述局部解码步骤中得到的解码预测误差图像信号，复原解 码图像信号，把该解码图像信号保存在上述图像存储器中；编码数据生成步骤，把在上迷动态矢量生成条件决定步骤中所决 定的动态矢量生成条件和在上述编码信息取得步骤中得到的编码信息 进行熵编码，生成编码数据。
全文摘要
本发明提供图像解码装置、图像解码程序、图像解码方法、图像编码装置、图像编码程序以及图像编码方法。其中，图像解码装置具备接收视频编码数据进行解码，得到多个再生图像的视频数据解码单元；接收辅助数据进行解码，得到辅助动态信息的辅助数据解码单元；基于由辅助数据解码单元得到的辅助动态信息，生成表示多个再生图像之间的时空对应的动态矢量，使用所生成的动态矢量和由视频数据解码单元得到的多个再生图像，生成空间清晰度高于多个再生图像的高清晰图像的清晰度扩充单元。
文档编号G06T3/40GK101437162SQ200810175399
公开日2009年5月20日 申请日期2005年11月18日 优先权日2004年11月19日
发明者文仲丞, 铃木芳典, 陈朝庆 申请人:株式会社Ntt都科摩