动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
【专利摘要】本发明的压缩动态图像编码装置，其利用来自帧存储器(10)的参照图像检索与影像输入信号的图像区域最类似的图像区域，生成运动矢量。根据运动矢量和来自帧存储器的参照图像，生成运动补偿后的参照图像。通过将运动补偿后的参照图像与影像输入信号相减，生成预测残差。通过将对预测残差进行正交变换处理、量化处理、逆量化处理、逆正交变换处理的结果与运动补偿后的参照图像相加，生成保存于存储器的参照图像。通过对预测残差进行正交变换处理、量化处理、可变长度编码处理，生成编码影像输出信号。参照图像包括影像显示画面内侧的画面内参照图像(A、B、C)和影像显示画面外侧的画面外参照图像(D)，画面外参照图像(D)基于画面内参照图像(A、B、C)的类似的多个参照图像(A、B)的位置关系而生成。
【专利说明】动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
[0001]本发明申请是国际申请日为2009年03月04日、国际申请号为PCT/JP2009/000969、进入中国国家阶段的国家申请号为200980157830.2、发明名称为“压缩动
态图像编码装置、压缩动态图像解码装置、压缩动态图像编码方法及压缩动态图像解码方法”的发明申请的分案申请。
【技术领域】
[0002]本发明涉及压缩动态图像编码装置、压缩动态图像解码装置、压缩动态图像编码方法及压缩动态图像解码方法，尤其涉及在可用压缩动态图像编码处理或压缩动态图像解码处理进行来自画面外部的周边区域的运动补偿时，有效提高扩大参照图像的精度的技术。
【背景技术】
[0003]在MPEG-2、MPEG-4、H.263、H.264等国际标准动态图像编码方法中，为了使用时间方向的关联来实现高编码效率，而使用帧间预测编码。帧的编码模式包括:不使用帧间的关联地进行编码的I帧、根据过去编码的I帧预测的P帧、能够根据过去编码的2帧预测的B帧。I帧称为帧内独立帧，P帧称为单向预测帧，B帧称为双向预测帧。
[0004]该帧间预测编码中，从动态图像减去运动补偿后的参照图像(预测图像)，对该减法得出的预测残差进行编码。编码处理包括DCT(离散余弦变换)等正交变换、量化和可变长度编码的处理。运动补偿(动作校正)包括使帧间预测的参照帧空间移动的处理，运动补偿的处理是按被编码帧的模块单位进行的。在图像内容没有动作时，使用与没有移动的被预测像素同一位置的像素。在有动作时，检索最合适的模块，将移动量作为运动矢量。运动补偿的模块在MPEG-2的编码方法中是16像素X 16像素/16像素X 8像素的模块，在
H.263的编码方法中是16像素X 16像素/8像素X 8像素的模块，在MPEG-4的编码方法中是16像素X 16像素/16像素X 8像素/8像素X 8像素的模块，在H.264的编码方法中是16像素X 16像素/16像素X 8像素/8像素X 16像素/8像素X 8像素/8像素X 4像素/4像素X8像素/4像素X4像素的模块。
[0005]MPEG-2的编码方法中，不允许运动矢量从画面内脱离，因此存在实际动作来自画面外部时不能进行准确运动补偿这样的缺点。对此，在MPEG-4、H.263、H.264的编码方法中，采用可进行来自画面外部的周边区域的运动补偿的非限制运动矢量。非限制运动矢量称为 Unrestricted Motion Vector。
[0006]另外，下述专利文献I中记载了如下内容:为了使预测像素的模块或运动补偿像素的模块的一部分能够检测表示参照图像外部的运动矢量，在输出针对运动矢量的运动补偿像素的参照图像输出机构设置预测参照图像的周边像素的周边像素预测机构。
[0007]下述专利文献I中还记载了将作为参照图像的周边图像的扩大参照图像取为参照图像的所有像素值的平均值或最接近的参照图像的像素值。[0008]专利文献1:日本特开平6-351001号公报
【发明内容】
[0009]本发明人在本发明之前对下一代的国际标准动态图像编码方式进行了研究开发。
[0010]图1是表示在本发明之前由本发明人研究出的基于国际标准动态图像编码方式研究的压缩动态图像编码装置(编码器)的结构的图。
[0011]图1所示的压缩动态图像编码装置(编码器)1000包括减法器1、正交变换器2、量化器3、编码器4、逆量化器5、逆正交变换器6、加法器7、运动补偿器8、运动矢量检索器
9、帧存储器10。
[0012]减法器I的一个输入端子与运动矢量检索器9的输入端子被供给应编码的影像输入信号。运动矢量检索器9执行动作推定(ME:Motion Estimation)，因此从其输出端子生成运动矢量，该运动矢量被供给至执行运动补偿(MC:Motion Compensation)的运动补偿器8和执行可变长度编码(VLC Variable Length Coding)的信号处理的编码器4。运动补偿器8的输出信号被供给至减法器I的另一输入端子和加法器7的一个输入端子。减法器I的输出信号被供给至执行正交余弦变换(DCT:Discrete Cosine Transform)等正交变换的正交变换器2的输入端子，正交变换器2的输出信号被供给至执行量化处理的量化器3的输入端子。量化器3的输出信号被供给至编码器4的输入端子，而经由执行逆量化处理的逆量化器5和执行正交余弦变换(IDCT:Inverse Discrete Cosine Transform)等的逆正交变换的逆正交变换器6被供给至加法器7的另一输入端子。从编码器4的输出端子生成作为编码影像输出信号的MPEG的视频流，而从加法器7的输出生成参照图像(局部解码图像)并保存于帧存储器10。从帧存储器10读出的参照图像被供给至运动补偿器8和运动矢量检索器9，在运动矢量检索器9利用参照图像检索最适合作为应编码的影像输入信号模块的模块，将移动量作为运动矢量而输出。运动补偿器8根据运动矢量和从帧存储器10读出的参照图像生成运动补偿后的参照图像(预测图像)并供给至减法器I的另一输入端子，因此生成基于减法器I中影像输入信号与参照图像(预测图像)相减而得的预测残差。预测误差用于通过接受正交变换器2的正交变换、量化器3的量化、编码器4的可变长度编码这些编码处理，而从编码器4的输出端子生成作为编码影像输出信号的MPEG视频流。
[0013]上述编码处理是按每一影像画面(帧或场)进行的，将画面细分而成的模块(通常为16像素X16像素，MPEG中称为“微模块”)成为处理单位。即，对每一应编码的模块从已经编码的参照图像选择最类似的模块(预测图像)，将编码图像(模块)与预测图像的差分信号编码(正交变换、量化等)。被编码模块与预测信号在画面内的相对位置之差被称为运动矢量。
[0014]如先前说明的那样，MPEG-2的编码方法中不允许运动矢量从画面内脱离，因此在实际运动来自画面外部时，存在不能进行准确的运动补偿这样的缺点。因此在MPEG-4的编码方法中，采用可进行来自画面外部的周边区域的运动补偿的非限制运动矢量(UMV:Unrestricted Motion Vector)。
[0015]图2是说明为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，将上述专利文献I记载的参照图像的周边图像即扩大参照图像作为最接近的参照图像的像素值时的扩大参照图像的图。
[0016]在图2中，边界线20是表示画面内与画面外的边界的线，边界线20内侧的画面内存在对象物(对象)的参照图像21，边界线20外侧的画面外存在根据对象物(对象)的最接近参照图像的像素值生成的扩大参照图像22。
[0017]但是，由本发明人研究得知，在图2所示的在本发明之前由本发明人研究的扩大参照图像的生成方法中存在下述问题。
[0018]由图2所示的方法生成的画面外的图像即大参照图像22由于未考虑画面内的对象物(对象)的参照图像21的配置方向，因此画面外的扩大参照图像22的形状与实际形状多有很大不同。结果，可知产生(I)扩大参照图像的部分的差分信号变大这样的问题。还可知产生(2)不能选择扩大参照图像的像素，差分信号的功率增加、编码效率降低，应编码的模块的运动矢量的大小/方向与周围的模块的运动矢量不同，运动矢量的编码量增大这样的问题。这些问题带来的后果是，由图1所示的压缩动态图像编码装置(编码器)1000生成的编码影像输出信号的信息量显著增大。最终，在一定的信息编码量下再现画质发生恶化，而为了维持一定的再现画质，MPEG视频流的信息量增大。
[0019]如此，本发明是基于在本发明之前本发明人的研究而做出的。
[0020]因此，本发明的目的在于在可用压缩动态图像编码处理或压缩动态图像解码处理进行来自画面外部的周边区域的运动补偿时，提高扩大参照图像的精度。
[0021]本发明的另一目的在于减轻再现画质的劣化，并减轻用于维持一定再现画质的MPEG视频流的信息量的增大。
[0022]本发明的上述及其他目的和新特征，将通过本说明书的记载和附图而得以清楚。
[0023]简要说明本申请公开的发明中代表性的技术方案如下。
[0024]S卩，本发明的代表性实施方式是一种压缩动态图像编码装置(1000)，通过利用从帧存储器(10)读出的参照图像检索与应编码的影像输入信号的图像区域最类似的图像区域，生成运动矢量。
[0025]根据上述运动矢量和从上述帧存储器(10)读出的上述参照图像，生成作为预测图像的运动补偿后的参照图像。
[0026]通过将上述运动补偿后的参照图像与上述应编码的影像输入信号相减，生成预测残差。
[0027]通过将对上述预测残差进行正交变换处理、量化处理、逆量化处理、逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器(10)的上述参照图像。
[0028]通过对上述预测残差进行上述正交变换处理、上述量化处理、可变长度编码处理，生成编码影像输出信号(参照图3)。
[0029]上述参照图像包括影像显示画面内侧的画面内参照图像(A、B、C)和上述影像显示画面外侧的画面外参照图像(D)，上述画面外参照图像(D)基于上述画面内参照图像(A、B、C)的类似的多个参照图像(A、B)的位置关系而生成(参照图5)。
[0030]简要说明本申请公开的发明中的代表性技术方案所得到的效果如下。
[0031]S卩，在可用压缩动态图像编码处理或压缩动态图像解码处理进行来自画面外部的周边区域的运动补偿时，能够提高扩大参照图像的精度。【专利附图】
【附图说明】
[0032]图1是表示在本发明之前由本发明人研究出的基于国际标准动态图像编码方式研究的压缩动态图像编码装置(编码器)的结构的图。
[0033]图2是说明为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，专利文献I记载的将参照图像的周边图像即扩大参照图像作为最接近的参照图像的像素值时的扩大参照图像的图。
[0034]图3是表示本发明实施方式I的压缩动态图像编码装置(编码器)的结构的图。
[0035]图4是表示图3所示的本发明实施方式I的压缩动态图像编码装置(编码器)上附加的参照图像画面扩大单元11的结构的图。
[0036]图5是说明为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，在附加了图4所示的参照图像画面扩大单元11的图3所示的本发明实施方式I的压缩动态图像编码装置中生成参照图像的周边图像的扩大参照图像的方法的图。
[0037]图6是说明由图5所示的本发明实施方式I的扩大参照图像的生成方法生成画面内和画面外的对象物(对象)的参照图像的情形的图。
[0038]图7是表示对由图3所示的本发明的实施方式I的压缩动态图像编码装置(编码器)生成的编码影像输出信号即MPEG视频流进行解码的本发明实施方式2的压缩动态图像解码装置(解码器)的结构的图。
[0039]图8是表示对由图3所示的本发明实施方式I的压缩动态图像编码装置(编码器)生成的编码影像输出信号即MPEG视频流进行解码的本发明实施方式3的压缩动态图像解码装置(解码器)的其他结构的图。
[0040]图9是说明为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，在附加了参照图像画面扩大单元11的图3所示的本发明实施方式I的压缩动态图像编码装置中生成参照图像的周边图像的扩大参照图像的其他方法的图。
[0041]附图标记的i兑明
[0042]1000...压缩动态图像编码装置(编码器)
[0043]1...减法器
[0044]2...正交变换器
[0045]3...量化器
[0046]4...编码器
[0047]5...逆量化器
[0048]6...逆正交变换器
[0049]7...加法器
[0050]8...运动补偿器
[0051]9...运动矢量检索器
[0052]10...帧存储器
[0053]11...参照图像画面扩大单元
[0054]111...类似度计算单元
[0055]112...最类似像素检索单元[0056]113...参照画面外像素生成单元
[0057]50...参照画面内与画面外的边界
[0058]A、B、C...边界线50的内侧的参照图像
[0059]D...边界线50的外侧的扩大参照图像
[0060]W...扩大参照画的宽度
[0061]60...参照画面内与画面外的边界
[0062]61...边界线的内侧的对象物(对象)的参照图像
[0063]62...边界线的外侧的扩大参照图像
[0064]70...压缩动态图像解码装置(解码器)
[0065]71...解码器
[0066]72...逆量化器
[0067]73...逆正交变换器
[0068]74...运动补偿器
[0069]75...加法器
[0070]76...帧存储器
[0071]77...参照图像画面扩大单元
[0072]80...压缩动态图像解码装置(解码器)
[0073]81...解码器
[0074]82...逆量化器
[0075]83...逆正交变换器
[0076]84...运动补偿器
[0077]85...加法器
[0078]96...帧存储器 86
[0079]L0...参照画面内与画面外的边界
[0080]LI, L2, L3...延长直线
[0081]90...位于边界线LO外侧的扩大参照图像
[0082]91?99...参照画面内的内侧的画面内的许多参照图像
【具体实施方式】
[0083]1.实施方式的概要
[0084]首先，说明本申请公开的发明的代表性实施方式的概要。在代表性实施方式的概要说明中标注括号而参照的图中附图标记不过是例示包含于该附图标记所示的结构要素的概念中。
[0085]〔I〕本发明的代表性实施方式是一种压缩动态图像编码装置(1000)，利用从帧存储器(10)读出的参照图像检索与应编码的影像输入信号的图像区域最类似的图像区域，从而生成运动矢量。
[0086]根据上述运动矢量和从上述帧存储器(10)读出的上述参照图像，生成作为预测图像的运动补偿后的参照图像。
[0087]通过将上述运动补偿后的参照图像与上述应编码的影像输入信号相减，生成预测残差。
[0088]通过将对上述预测残差进行正交变换处理、量化处理、逆量化处理、逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器(10)的上述参照图像。
[0089]通过对上述预测残差进行上述正交变换处理、上述量化处理、可变长度编码处理，生成编码影像输出信号(参照图3)。
[0090]上述参照图像包括影像显示画面内侧的画面内参照图像(A、B、C)和上述影像显示画面外侧的画面外参照图像(D)，上述画面外参照图像(D)基于上述画面内参照图像(A、B、C)的类似的多个参照图像(A、B)的位置关系而生成(参照图5)。
[0091]根据上述实施方式，由于画面外参照图像⑶是基于画面内参照图像(A、B、C)的类似的多个参照图像(A、B)的位置关系而生成，因此在可用压缩动态图像编码处理进行来自画面外部的周边区域的运动补偿时，能够提高扩大参照图像的精度。
[0092]优选的实施方式中，上述画面内参照图像(A、B、C)的类似的上述多个参照图像(A、B)的一个参照图像(A)接近上述画面内参照图像与上述画面外参照图像的边界线(50)，
[0093]上述多个参照图像(A、B)的另一参照图像(B)比上述一个参照图像(A)远离上述边界线(50)地位于上述画面内参照图像的内部，
[0094]上述画面外参照图像⑶隔着上述边界线(50)与上述一个参照图像㈧临近，
[0095]在上述一个参照图像(A)与上述画面外参照图像(D)的位置关系为大致相同的位置关系下，上述画面内参照图像(A、B、C)的其他参照图像(C)与上述另一参照图像(B)接近，
[0096]基于上述其他参照图像的图像信息(C)，生成上述画面外参照图像(D)的图像信息(参照图5)。
[0097]其他优选的实施方式中，上述画面内参照图像包括多个起点的参照图像(91、92、93)。
[0098]在上述画面外参照图像(90)与上述多个起点的参照图像(91、92、93)之间存在多条延长直线(L1、L2、L3)。
[0099]计算上述多条延长直线(L1、L2、L3)的各延长直线上的参照图像(91、96、97 ;92、94、98 ;93、95、99)的多个类似度，选择上述多个类似度中最高类似度的延长直线(L2)。
[0100]基于具有上述最高类似度的上述延长直线(L2)的上述参照图像(92、94、98)的图像信息，生成上述画面外参照图像(90)的图像信息(参照图9)。
[0101]其他优选的实施方式中，基于具有上述最高类似度的上述延长直线(L2)的上述参照图像(92、94、98)的上述图像信息的统计处理结果，生成上述画面外参照图像(90)的图像信息(参照图9)。
[0102]具体的实施方式是，将表示在上述画面内参照图像的上方、下方、左方、右方的各方向是否生成上述画面外参照图像的信息附加于上述编码影像输出信号。
[0103]〔2〕另一方案的实施方式是一种压缩动态图像解码装置(70)，利用编码影像输入信号的解码处理提取运动矢量。
[0104]根据上述运动矢量和从上述帧存储器(76、86)读出的上述参照图像，生成作为预测图像的运动补偿后的参照图像。
[0105]通过将对上述编码影像输入信号进行上述解码处理、逆量化处理和逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器(76、86)的上述参照图像。
[0106]从上述帧存储器(76、86)生成解码影像输出信号(参照图7、图8)。
[0107]上述参照图像包括影像显示画面内侧的画面内参照图像(A、B、C)和上述影像显示画面外侧的画面外参照图像(D)，上述画面外参照图像(D)基于上述画面内参照图像(A、B、C)的类似的多个参照图像(A、B)的位置关系而生成(参照图5)。
[0108]根据上述实施方式，由于画面外参照图像(D)是基于画面内参照图像(A、B、C)的类似的多个参照图像(A、B)的位置关系而生成，因此在可用压缩动态图像解码处理进行来自画面外部的周边区域的运动补偿时，能够提高扩大参照图像的精度。
[0109]优选的实施方式中，上述画面内参照图像(A、B、C)的类似的上述多个参照图像(A、B)的一个参照图像(A)接近上述画面内参照图像与上述画面外参照图像的边界线
(50)，
[0110]上述多个参照图像(A、B)的另一参照图像(B)比上述一个参照图像(A)远离上述边界线(50)地位于上述画面内参照图像的内部，
[0111]上述画面外参照图像⑶隔着上述边界线(50)与上述一个参照图像㈧临近，
[0112]在上述一个参照图像(A)与上述画面外参照图像(D)的位置关系为大致相同的位置关系下，上述画面内参照图像(A、B、C)的其他参照图像(C)与上述另一参照图像(B)接近，
[0113]基于上述其他参照图像的图像信息(C)，生成上述画面外参照图像(D)的图像信息(参照图5)。
[0114]其他优选的实施方式中，上述画面内参照图像包括多个起点的参照图像(91、92、93)。
[0115]在上述画面外参照图像(90)与上述多个起点的参照图像(91、92、93)之间存在多条延长直线(L1、L2、L3)。
[0116]计算上述多条延长直线(L1、L2、L3)的各延长直线上的参照图像(91、96、97 ;92、94、98 ;93、95、99)的多个类似度，选择上述多个类似度中最高类似度的延长直线(L2)。
[0117]基于具有上述最高类似度的上述延长直线(L2)的上述参照图像(92、94、98)的图像信息，生成上述画面外参照图像(90)的图像信息(参照图9)。
[0118]其他优选的实施方式中，基于具有上述最高类似度的上述延长直线(L2)的上述参照图像(92、94、98)的上述图像信息的统计处理结果，生成上述画面外参照图像(90)的图像信息(参照图9)
[0119]具体的实施方式是从上述编码影像输入信号提取表示在上述画面内参照图像的上方、下方、左方、右方的各方向是否生成上述画面外参照图像的信息。
[0120]省略关于上述信息中表示否的方向的上述画面外参照图像的生成。
[0121]2.实施方式的详细内容
[0122]进一步详细说明本发明的实施方式。在用于说明实施例的所有附图中，对同样构件标注相同附图标记，省略其重复说明。[0123][实施方式I]
[0124]《压缩动态图像编码装置的结构》
[0125]图3是表示本发明的实施方式I的压缩动态图像编码装置(编码器)的结构的图。
[0126]图3所示的本发明的实施方式I的压缩动态图像编码装置(编码器)1000与图1所示的压缩动态图像编码装置同样，包括减法器1、正交变换器2、量化器3、编码器4、逆量化器5、逆正交变换器6、加法器7、运动补偿器8、运动矢量检索器9、帧存储器10。
[0127]而且，图3的本发明的实施方式I的压缩动态图像编码装置1000中，在帧存储器10附加连接有图1的压缩动态图像编码装置未包含的参照图像画面扩大单元11。
[0128]《参照图像画面扩大单元的结构》
[0129]图4是表示图3所示的本发明的实施方式I的压缩动态图像编码装置(编码器)1000上附加的参照图像画面扩大单元11的结构的图。
[0130]图4所示的参照图像画面扩大单元11包括类似度计算单元111、最类似像素检索单元112、参照画面外像素生成单元113。
[0131]从帧存储器10将画面内像素值供给至参照图像画面扩大单元11的类似度计算单元111，从类似度计算单元111将差分信息供给至最类似像素检索单元112，从最类似像素检索单元112将类似位置信息供给至参照画面外像素生成单元113。从帧存储器10将画面内像素值供给至参照画面外像素生成单元113，从参照画面外像素生成单元113将画面外像素值供给至帧存储器10。
[0132]《扩大参照图像的生成方法)》
[0133]图5是说明为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，在附加有图4所示的参照图像画面扩大单元11的图3所示的本发明的实施方式I的压缩动态图像编码装置中生成参照图像的周边图像的扩大参照图像的方法的图。
[0134]图5中边界线50是显示画面内与画面外的边界的线。在边界线50内侧的画面内存在许多参照图像A、B、C...，为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，需要在边界线50的外侧生成扩大参照图像D。
[0135]例如，在接近边界线50的画面内的参照图像A临近处，在边界线50的外侧生成扩大参照图像D时，首先检索边界线50内侧的许多参照图像来选择与接近边界线50的画面内的参照图像A最类似的画面内的参照图像B。结果，根据边界线画面内参照图像A和最类似画面内参照图像B的位置关系决定移动量和移动方向，生成矢量V。
[0136]接着，在边界线画面内参照图像A与外侧扩大参照图像D的位置关系为大致同一位置关系下，将与最类似画面内参照图像B临近的画面内参照图像C复制而拼接到外侧扩大参照图像D的位置，从而生成扩大参照图像D。
[0137]以下同样地，对纵向的边界线50的多个边界线画面内参照图像反复进行与上述同样的处理，从而以所需的横向宽度w生成扩大参照图像。通过对横向的边界线50的多个边界线画面内参照图像反复进行同样的处理，从而能够以所需的纵向宽度生成扩大参照图像。
[0138]图6是说明由图5所示的本发明的实施方式I的扩大参照图像的生成方法生成画面内和画面外的对象物(对象)的参照图像的情形的图。[0139]在图6中，边界线60是显示画面内和画面外的边界的线，在边界线60内侧的画面内存在对象物(对象)的参照图像61，而在边界线60外侧的画面外存在扩大参照图像62。
[0140]根据图6所示的本发明的实施方式I的扩大参照图像的生成方法，在作为画面外图像的扩大参照图像62考虑了画面内对象物(对象)的参照图像61的配置方向(矢量V)，因此画面外的扩大参照图像22的形状与实际形状高精度一致。结果，可得到如下效果:(1)扩大参照图像的部分的差分信号变小；(2)能够选择扩大参照图像的像素，差分信号的功率减少、编码效率提高，而应编码模块的运动矢量的大小方向与周围模块的运动矢量相同，运动矢量的编码量变小。
[0141][实施方式2]
[0142]《压缩动态图像解码装置的结构》
[0143]图7是表示对由图3所示的本发明的实施方式I的压缩动态图像编码装置(编码器)生成的编码影像输出信号即MPEG视频流进行解码的本发明的实施方式2的压缩动态图像解码装置(解码器)的结构的图。
[0144]图7所示的压缩动态图像解码装置(解码器)70包括解码器71、逆量化器72、逆正交变换器73、运动补偿器74、加法器75、帧存储器76、参照图像画面扩大单元77。
[0145]向执行可变长度解码(VLD:Variable Length Decoding)信号处理的解码器71供给作为编码影像输出信号的MPEG视频流，解码器71的输出信号仅由执行逆量化处理的逆量化器72和执行逆正交余弦变换(IDCT)等逆正交变换的逆正交变换器73而被供给至加法器75的一个输入端子。从解码器71的输出端子生成运动矢量，该运动矢量被供给至运动补偿器74。运动补偿器74根据运动矢量和从帧存储器76读出的参照图像生成运动补偿后的参照图像(预测图像)，并供给至加法器75的另一输入端子。因此，在加法器75执行逆正交变换器73的逆正交变换输出与预测图像的加法，从帧存储器76生成解码影像信号。
[0146]在图3所示的本发明的实施方式I的压缩动态图像编码装置中，使用图4的参照图像画面扩大单元11，如图5和图6所示那样，为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV),生成扩大参照图像。
[0147]在图7所示的本发明的实施方式2的压缩动态图像解码装置中，由使用图4的参照图像画面扩大单元11的图3的压缩动态图像编码装置生成扩大参照图像，为了对利用该扩大参照图像的采用非限制运动矢量(UMV)的MPEG视频流进行解码而附加参照图像画面扩大单元77。即，图7的压缩动态图像解码装置中，按照在解码处理时所供给的采用非限制运动矢量(UMV)的MPEG视频流而使用参照图像画面扩大单元77由画面内参照图像生成画面外扩大参照图像。利用该画面外的扩大参照图像来执行采用可进行来自画面外部的周边区域的运动补偿的非限制运动矢量(UMV Unrestricted Motion Vector)的MPEG-4的编码视频流的压缩动态图像解码处理。
[0148]另外，进行与上述相同的参照图像画面扩大方法的图7的压缩动态图像解码装置用于对视频流准确解码。这是由于若编码装置和解码装置不能总是保持同一参照画面，则无法解码准确的图像。因此，图7的压缩动态图像解码装置的参照图像画面扩大单元77利用与图5、图6所示的压缩动态图像编码装置的参照图像画面扩大单元相同的方法，可在进行压缩动态图像解码处理时由画面内参照图像生成画面外的扩大参照图像。在参照图像画面扩大单元77利用与后述的图9所示的方法相同的方法，由画面内参照图像生成画面外的扩大参照图像时，压缩动态图像编码装置、压缩动态图像解码装置这二者必须使用图9所示的方法。也可以并用图5、图6所示的方法和图9所示的方法，或并用包括以往的MPEG-4等的图像扩大的两种或三种方法。在该并用时，在对视频流内的各帧编码时，需要表示是由哪一方法进行画面扩大处理，在解码装置中利用指定的方法对画面扩大处理后的各帧进行解码，从而能够得到准确的再生图像。
[0149][实施方式3]
[0150]《压缩动态图像解码装置的其他的结构》
[0151]图8是表示对由图3所示的本发明实施方式I的压缩动态图像编码装置(编码器)生成的编码影像输出信号即MPEG视频流进行解码的本发明实施方式3的压缩动态图像解码装置(解码器)的其他结构的图。
[0152]图8所示的压缩动态图像解码装置(解码器)80包括解码器81、逆量化器82、逆正交变换器83、运动补偿器84、加法器85、帧存储器86。图8的压缩动态图像解码装置(解码器)80中，解码器81、逆量化器82、逆正交变换器83、加法器85、帧存储器86与图7的压缩动态图像解码装置(解码器)70所含的解码器71、逆量化器72、逆正交变换器73、加法器75、帧存储器76分别具有等效的工作功能。图8的压缩动态图像解码装置(解码器)80所含的运动补偿器84具有图7的压缩动态图像解码装置(解码器)70的运动补偿器74和参照图像画面扩大单元77这二者的工作功能。因此，在图8的压缩动态图像解码装置中，也能与图7的压缩动态图像解码装置同样，在解码处理时按照采用非限制运动矢量(UMV)的MPEG视频流使用运动补偿器84由画面内参照图像生成画面外的扩大参照图像。在图8的压缩动态图像解码装置中，也能利用该画面外的扩大参照图像，执行采用了可进行来自画面外部的周边区域的运动补偿的非限制运动矢量(UMV)的MPEG-4的编码视频流的压缩动态图像解码处理。
[0153]图8的压缩动态图像解码装置的运动补偿器84与图7所示的压缩动态图像解码装置的参照图像画面扩大单元77同样地利用与图5、图6所示的方法相同的方法，可在压缩动态图像解码处理时由画面内参照图像生成画面外的扩大参照图像。该运动补偿器84可利用与后述的图9所示的方法相同的方法由画面内参照图像生成画面外的扩大参照图像。
[0154][实施方式4]
[0155]《扩大参照图像的其他的生成方法》
[0156]图9是说明为了实现MPEG-4的编码方法所采用的非限制运动矢量(UMV)，在附加有参照图像画面扩大单元11的图3所示的本发明的实施方式I的压缩动态图像编码装置中生成参照图像的周边图像的扩大参照图像的其他方法的图。
[0157]在图9中边界线LO是表示画面内与画面外的边界的线。边界线LO内侧的画面内存在许多参照图像91?99...，为了实现MPEG-4的编码方法采用的非限制运动矢量(UMV)，需要在边界线LO的外侧生成扩大参照图像90。
[0158]例如，由图3所示的本发明的实施方式I的压缩动态图像编码装置的参照图像画面扩大单元11计算在扩大参照图像90与画面内第I起点的参照图像91之间的直线LI上配置的画面内的多个第I参照图像91、96、97的类似度。接着，由图3的本发明实施方式I的压缩动态图像编码装置的参照图像画面扩大单元11计算在扩大参照图像90与画面内第2起点的参照图像92之间的直线L2上配置的画面内的多个第2参照图像92、94、98的类似度。同样，由图3所示的本发明的实施方式I的压缩动态图像编码装置的参照图像画面扩大单元11计算在扩大参照图像90与画面内第3起点的参照图像93之间的直线L3上配置的画面内的多个第3参照图像93、95、99的类似度。按照由该类似度计算计算出的最高类似度，决定边界线LO外侧的扩大参照图像90。
[0159]S卩，例如假定最高类似度的延长直线为第2直线L2，则以规定系数将配置在直线L2上的画面内多个第2参照图像92、94、98的各辉度信号和各色相信号相乘，并求出相乘而得的值的总和而将其平均化，从而能够决定边界线LO外侧的扩大参照图像90的辉度信号和色相信号。
[0160]不言而喻，由使用图9所示的周扩大参照图像的生成方法的压缩动态图像编码装置生成扩大参照图像，为了对采用利用该扩大参照图像的非限制运动矢量的MPEG -TS进行解码，可以使用如图7、图8所示的压缩动态图像解码装置(解码器)。
[0161]以上基于实施方式具体说明了由本发明人完成的发明，但不言而喻，本发明不限于此，可在不脱离其要旨的范围内进行各种变更。
[0162][其他实施方式]
[0163]例如，图3所示的压缩动态图像编码装置1000所含的减法器1、正交变换器2、量化器3、编码器4、逆量化器5、逆正交变换器6、加法器7、运动补偿器8、运动矢量检索器9、参照图像画面扩大单元11不限于分别由专用硬件进行的信号处理。即，这些信号处理可以由利用压缩动态图像编码装置1000所含的中央处理单元(CPU)执行的软件处理置换。
[0164]图7所示的压缩动态图像解码装置(解码器)70所含的解码器71、逆量化器72、逆正交变换器73、运动补偿器74、加法器75、参照图像画面扩大单元77不限于分别由专用硬件进行的信号处理。即，这些信号处理可以由利用压缩动态图像编码装置1000所含的中央处理单元(CPU)执行的软件处理置换。
[0165]而且，在图5所示的参照图像的画面内与画面外的边界线50的外侧生成扩大参照图像D时的扩大方向不限于四边形的参照图像的所有四个边。例如，可以基于从搭载于动态图像拍摄器件的加速度传感器输出的动态图像拍摄器件的移动方向，限制扩大参照图像的生成方向。能够在动态图像拍摄器件的移动矢量的X方向和Y方向限制扩大参照图像的生成方向。即，在限制生成方向时，将在哪一方向限制扩大参照图像生成的信息、在哪一方向未限制扩大参照图像生成的信息与视频流叠加，从而能够简化对视频流解码的动态图像解码装置的解码处理。例如，关于上述的限制扩大参照图像生成的信息(限制信息)，可以是对于画面的各方向在未限制扩大参照图像生成设为“1”，在限制时设为“0”，做成按上下左右顺序排列该信号而成的4位信息。例如在4位信息为“0001”时，如用P帧(单向预测帧)摄像机向右方移动的情况那样，表示需要生成画面的右方的扩大参照图像。该限制信息可附加在编码图像的每一帧，也能以多个帧单位附加。在前者的情况下，能够与各帧单位的摄像机的动作等适应地适当设定限制方向，因此不会降低编码效率，就能限制扩大参照图像的生成。关于扩大最小图像生成受限制的方向，可以采用MPEG-4等中使用的扩大方法。
[0166]而且，在如交错图像那样上部图像和底部图像在每行不同时，应编码的影像输入信号被分割为上部和底部，在各部进行图5所示的扩大参照图像的生成。[0167]本发明不限于采用可进行来自画面外部的周边区域的运动补偿的非限制运动矢量(UMV)的MPEG-4的编码方法及解码方法。
[0168]本发明能够广泛适用于利用使用时间方向的关联的帧间预测编码、运动矢量检测和运动补偿、扩大参照图像等的压缩动态图像编码装置、压缩动态图像解码装置、压缩动态图像编码方法及压缩动态图像解码方法。
【权利要求】
1.一种动态图像编码装置，其特征在于， 利用从帧存储器读出的参照图像检索与应编码的影像输入信号的图像区域最类似的图像区域，从而生成运动矢量， 根据上述运动矢量和从上述帧存储器读出的上述参照图像，生成作为预测图像的运动补偿后的参照图像， 通过将上述运动补偿后的参照图像与上述应编码的影像输入信号相减，生成预测残差， 通过将对上述预测残差进行正交变换处理、量化处理、逆量化处理、逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器的上述参照图像， 通过对上述预测残差进行上述正交变换处理、上述量化处理、可变长度编码处理，生成编码影像输出信号，其中， 上述参照图像包括影像显示画面内侧的画面内参照图像和上述影像显示画面外侧的画面外参照图像， 上述画面内参照图像包括成为起点的多个参照图像， 上述画面外参照图像与上述成为起点的多个参照图像之间存在多条延长直线， 计算上述画面外参照图像与上述多条延长直线的各延长直线上的参照图像的类似度，选择上述多个类似度中最高类似度的延长直线， 基于具有上述最高类似度的上述延长直线的上述参照图像的图像信息，生成上述画面外参照图像的图像信息。
2.根据权利要求1所述的动态图像编码装置，其特征在于， 基于具有上述最高类似度的上述延长直线的上述参照图像的上述图像信息的统计处理结果，生成上述画面外参照图像的图像信息。
3.根据权利要求1或2所述的动态图像编码装置，其特征在于， 将表示在上述画面内参照图像的上方、下方、左方、右方的各方向是否生成上述画面外参照图像的信息附加于上述编码影像输出信号。
4.一种动态图像解码装置，其特征在于， 利用编码影像输入信号的解码处理提取运动矢量， 根据上述运动矢量和从帧存储器读出的参照图像，生成作为预测图像的运动补偿后的参照图像， 通过将对上述编码影像输入信号进行上述解码处理、逆量化处理和逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器的上述参照图像， 从上述帧存储器生成解码影像输出信号，其中， 上述参照图像包括影像显示画面内侧的画面内参照图像和上述影像显示画面外侧的画面外参照图像， 上述画面内参照图像包括成为起点的多个参照图像， 上述画面外参照图像与上述成为起点的多个参照图像之间存在多条延长直线， 计算上述画面外参照图像与上述多条延长直线的各延长直线上的参照图像的类似度，选择上述多个类似度中最高类似度的延长直线， 基于具有上述最高类似度的上述延长直线的上述参照图像的图像信息，生成上述画面外参照图像的图像信息。
5.根据权利要求4所述的动态图像解码装置，其特征在于， 基于具有上述最高类似度的上述延长直线的上述参照图像的上述图像信息的统计处理结果，生成上述画面外参照图像的图像信息。
6.根据权利要求4或5所述的动态图像解码装置，其特征在于， 从上述编码影像输入信号提取表示在上述画面内参照图像的上方、下方、左方、右方的各方向是否生成上述画面外参照图像的信息， 省略关于上述信息中表示否的方向的上述画面外参照图像的生成。
7.一种动态图像编码方法，其特征在于， 利用从帧存储器读出的参照图像检索与应编码的影像输入信号的图像区域最类似的图像区域，从而生成运动矢量， 根据上述运动矢量和从上述帧存储器读出的上述参照图像，生成作为预测图像的运动补偿后的参照图像， 通过将上述运动补偿后的参照图像与上述应编码的影像输入信号相减，生成预测残差， 通过将对上述预测残差进行正交变换处理、量化处理、逆量化处理、逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器的上述参照图像， 通过对上述预测 残差进行上述正交变换处理、上述量化处理、可变长度编码处理，生成编码影像输出信号，其中， 上述参照图像包括影像显示画面内侧的画面内参照图像和上述影像显示画面外侧的画面外参照图像， 上述画面内参照图像包括成为起点的多个参照图像， 上述画面外参照图像与上述成为起点的多个参照图像之间存在多条延长直线， 计算上述画面外参照图像与上述多条延长直线的各延长直线上的参照图像的类似度，选择上述多个类似度中最高类似度的延长直线， 基于具有上述最高类似度的上述延长直线的上述参照图像的图像信息，生成上述画面外参照图像的图像信息。
8.根据权利要求7所述的动态图像编码方法，其特征在于， 基于具有上述最高类似度的上述延长直线的上述参照图像的上述图像信息的统计处理结果，生成上述画面外参照图像的图像信息。
9.根据权利要求7或8所述的动态图像编码方法，其特征在于， 将表示在上述画面内参照图像的上方、下方、左方、右方的各方向是否生成上述画面外参照图像的信息附加于上述编码影像输出信号。
10.一种动态图像解码方法，其特征在于， 利用编码影像输入信号的解码处理提取运动矢量， 根据上述运动矢量和从帧存储器读出的参照图像，生成作为预测图像的运动补偿后的参照图像， 通过将对上述编码影像输入信号进行上述解码处理、逆量化处理和逆正交变换处理的结果与上述运动补偿后的参照图像相加，生成保存于上述帧存储器的上述参照图像，从上述帧存储器生成解码影像输出信号，其中， 上述参照图像包括影像显示画面内侧的画面内参照图像和上述影像显示画面外侧的画面外参照图像， 上述画面内参照图像包括成为起点的多个参照图像， 上述画面外参照图像与上述成为起点的多个参照图像之间存在多条延长直线， 计算上述画面外参照图像与上述多条延长直线的各延长直线上的参照图像的类似度，选择上述多个类似度中最高类似度的延长直线， 基于具有上述最高类似度的上述延长直线的上述参照图像的图像信息，生成上述画面外参照图像的图像信息。
11.根据权利要求10所述的动态图像解码方法，其特征在于， 基于具有上述最高类似度的上述延长直线的上述参照图像的上述图像信息的统计处理结果，生成上述画面外参照图像的图像信息。
12.根据权利要求10或11所述的动态图像解码方法，其特征在于， 从上述编码影像输入信号提取表示在上述画面内参照图像的上方、下方、左方、右方的各方向是否生成上述画面外参照图像的信息， 省略关于 上述信息中表示否的方向的上述画面外参照图像的生成。
【文档编号】H04N19/136GK103888780SQ201410076413
【公开日】2014年6月25日 申请日期:2009年3月4日 优先权日:2009年3月4日
【发明者】望月诚二, 木村淳一, 江浜真和 申请人:瑞萨电子株式会社