图像信息编码设备的制作方法

专利名称：图像信息编码设备的制作方法
技术领域：
本发明涉及一种当经由网络介质(诸如卫星广播、有线电视、互联网、或移动电 话)接收或者在存储介质(诸如光盘或磁盘、或者闪存)上处理在MPEG、H. 26x等情况 下利用诸如离散余弦变换或者卡洛(Karhimen-Loeve)变换的正交变换以及利用运动补 偿进行压缩的图像信息(比特流)时使用的图像信息编码设备和编码方法。日本专利申 请No. 2007-050778是于2007年2月28日在日本提交的专利申请，并且将日本专利申请 No. 2007-050778视为基础申请，本申请是要求日本专利申请No. 2007-050778的优先权的 申请，通过引用将该日本专利申请纳入本申请中。
背景技术：
近年来，将图像信息作为数字数据对待的设备已经在由广播站进行的信息散布以 及由普通家庭进行的信息接收中得到普及，所述装置在这种情况下旨在高效地发送和存储 信息，并且符合用于通过利用图像信息特有的冗余利用诸如离散余弦变换的正交变换以及 利用运动补偿对图像信息进行压缩的方案(诸如MPEG)。具体地讲，定义为通用图像编码方案的MPEG2 (IS0/IEC 13818-2)是一种覆盖隔 行扫描图像和逐行扫描图像以及标准分辨率图像和高清晰度图像的标准，并且当前广泛用 于包括专业应用和消费者应用的各种应用。利用MPEG2压缩方案，例如，在720X480像素 的标准分辨率隔行扫描图像的情况下，分配4Mbps到8Mbps的编码速率(比特率)，而在 1920 X 1088像素的高分辨率隔行扫描图像的情况下，分配18Mbps到22Mbps的编码速率，由 此能够实现高压缩率和良好的图像质量。MPEG2主要用于适合用于广播的高图像质量编码，但是与实现低于在MPEGl中确 定的编码速率的编码速率(比特率)即更高压缩率的编码方案不兼容。人们认为，随着移 动终端的普及，今后对于这种编码方案的需要将增加，并且针对这种增加的需要而对MPEG4 编码方案进行标准化。关于图像编码方案，在1998年12月，这种方案的规范被批准为ISO/ IEC 14496-2国际标准。此外，近年来，原先旨在对用于远程电信会议的图像进行编码的称作H. 26L的标 准(ITU-T Q6/16 VCEG)的标准化已在进行之中。人们知道，尽管与诸如MPEG2或MPEG4的 传统编码方案相比，H. 26L需要更大量计算以对图像进行编码和解码，但是利用H. 26L实现 了更高的编码效率。此外，在当前，作为MPEG4活动的一部分，通过加入在H. 26L中不支持的 功能，作为基于H. 26L的增强压缩视频编码的联合模型，已执行了实现更高编码效率的标 准化。关于标准化的计划，在2003年3月建立了称作H. 264和MPEG-4 Part 10 (Advanced Video Coding(先进视频编码))的国际标准。
图13是示出了输出基于AVC标准的图像压缩信息的图像信息编码设备100的示 意性结构的框图。图像信息编码设备100包括A/D转换器单元101、画面重新布置缓冲器102、加法 器103、正交变换单元104、量化单元105、无损编码单元106、存储缓冲器107、逆量化单元 108、正交逆变换单元109、去块滤波器110、帧存储器111、帧内预测单元112、运动预测/补 偿单元113、速率控制单元114等。在图13所示的图像信息编码设备100中，A/D转换器单元101将输入的图像信号 转换成数字信号，并且将该数字信号提供给画面重新布置缓冲器102。然后，画面重新布置 缓冲器102根据要从图像信息编码设备100输出的图像压缩信息的图像群(GOP =Group of Pictures)结构执行帧重新布置。这里，对于要在其上执行帧内编码(即利用单个帧的编码)的图像信息，关于输入 的图像信息与由帧内预测单元112产生的像素值之间的差的差信息被输入到正交变换单 元104。然后，正交变换单元104对该差信息执行诸如离散余弦变换或者卡洛变换的正交变 换。正交变换单元104将通过正交变换获得的变换系数提供给量化单元105。量化单元105对从正交变换单元104提供的变换系数执行量化处理，并且将量化 后的变换系数提供给无损编码单元106。无损编码单元106对从量化单元105提供的量化后的变换系数执行诸如可变长度 编码或者算术编码的无损编码。经无损编码单元106进行了无损编码的变换系数被存储在 存储缓冲器107中，并且输出为图像压缩信息。量化单元105的行为由速率控制单元114控制。此外，量化单元105将量化后的 变换系数提供给逆量化单元108。此外，正交逆变换单元109对量化后的变换系数执行正交 逆变换处理，由此将其变换成解码的图像信息。在去块滤波器110对该信息去除块噪声后， 将该信息存储在帧存储器111中。关于在帧内预测单元112中应用于块/宏块的帧内预测 模式的信息被发送给无损编码单元106，并且被编码为图像压缩信息中的报头信息的一部 分。另一方面，对于要在其上执行帧间编码即利用多个帧的编码的图像信息，将从画 面重新布置缓冲器102提供的图像信息输入给运动预测/补偿单元113。运动预测/补偿 单元113从帧存储器111读取要同时参考的图像信息。运动预测/补偿单元113执行运动 预测/补偿处理以产生参考图像信息，并且将该参考图像信息提供给加法器103。加法器 103将从画面重新布置缓冲器102提供的图像信息变换成表示该图像信息与参考图像信息 之间的差的差信号。运动预测/补偿单元113同时将运动矢量信息提供给无损编码单元 106。无损编码单元106对运动矢量信息执行诸如可变长度编码或者算术编码的无损编码 处理，并且形成要插入到图像压缩信息的报头部分中的信息。其它处理与关于要进行帧内 编码的图像压缩信息的处理相同。图14是示出了利用诸如离散余弦变换或者卡洛变换的正交变换以及利用运动补 偿来实现图像压缩的图像信息解码设备200的示意性结构的框图。图像信息解码设备200包括存储缓冲器201、无损解码单元202、逆量化单元203、 正交逆变换单元204、加法器205、画面重新布置缓冲器206、D/A转换器单元207、帧存储器 208、运动预测/补偿单元209、帧内预测单元210、去块滤波器211等。
在图14所示的图像信息解码设备200中，存储缓冲器201临时存储输入的图像压 缩信息，并且将存储的图像压缩信息传送给无损解码单元202。无损解码单元202根据确 定的图像压缩信息的格式，对从存储缓冲器201传送的图像压缩信息执行诸如可变长度解 码或者算术解码的处理。另外，当帧是帧内编码的帧时，无损解码单元202还对存储在图像 压缩信息的报头部分中的帧内预测模式信息进行解码，并且将该信息提供给帧内预测单元 210。此外，当帧是帧间编码的帧时，无损解码单元202还对存储在图像压缩信息的报头部 分中的运动矢量信息进行解码，并且将该信息提供给运动预测/补偿单元209。逆量化单元203对从无损解码单元202提供的量化后的变换系数进行逆量化，并 且将该变换系数提供给正交逆变换单元204作为变换系数。正交逆变换单元204根据预定 方案对从逆量化单元203提供的变换系数执行四阶正交逆变换。这里，当帧是帧内编码的帧时，经历了正交逆变换处理的图像信息被提供给加法 器205并且与由帧内预测单元210产生的预测图像信息进行组合。另外，在去块滤波器211 对该信息去除块噪声后，将该信息存储在画面重新布置缓冲器206中。在由D/A转换器单 元207执行D/A转换处理后将该信息输出。另一方面，当帧是帧间编码的帧时，运动预测/补偿单元209基于经历了由无损解 码单元202进行的无损解码处理的运动矢量信息以及基于存储在帧存储器208中的图像信 息产生参考图像信息，并且将该参考图像信息提供给加法器205。加法器205将该参考图像 信息与正交逆变换单元204的输出进行组合。其它处理与关于帧内编码的帧的处理相同。本申请的现有技术文献的示例包括日本未审专利申请公报No. 2003-289544、日本 未审专利申请公报No. 2004-289808、日本未审专利申请公报No. 2004-274732、日本未审专 利申请公报No. 2004-187264、日本未审专利申请公报No. 2004-274694和日本未审专利申 请公报 No. 2006-129177。

发明内容
同时，在AVC编码方案中，能够参考多个图像。这些图像保存在解码图像缓冲器 (DPB)中，该解码图像缓冲器(DPB)是用于存储用于进行预测的解码图像的图像缓冲存储 器。在解码图像缓冲器(DPB)中，短期被参考的图像被标记为短期参考图像(用于短期参 考)，长期被参考的图像被标记为长期参考图像(用于长期参考)，并且没有被参考的图像 被标记为非参考图像(未用于进行参考)，由此对每个图像进行标记。解码图像被一次保存在解码图像缓冲器(DPB)中。这些解码图像在利用重新布置 的输出顺序所指定的输出定时被输出。解码图像缓冲器(DPB)的大小由类(profile)和级(level)定义，并且不被定义 为图像的数目而被定义为比特量。换言之，即使当使用相同的类和级进行定义时，图像的数 目根据图像的图像帧进行改变。例如，在主类和4级的情况下，用于存储用于预测的解码图 像的图像缓冲器的最大大小(MaxDPB 最大解码图像缓冲器大小)是12288. OX 1024字节。 因此，在1440X1088和4:2:0的情况下，能够在解码图像缓冲器(DPB)中保存的图像的数 目是5。另一方面，在1920X1088和4:2:0的情况下，能够在解码图像缓冲器(DPB)中保存 的图像的数目是4。需要利用有限大小的DPB执行编码从而使输出顺序与参考关系之间没 有矛盾。
作为用于管理解码图像缓冲器(DPB)的处理，有两种类型的管理处理。第一管理 处理是滑动窗口处理。第二管理处理是自适应存储器控制处理。滑动窗口处理是利用先入 先出(FIFO)方案管理解码图像缓冲器(DPB)，并且按照帧号(framejum)的顺序从较小帧 号开始释放图像的处理。在自适应存储器控制处理中，能够以任何方式对解码图像缓冲器 (DPB)中的图像进行管理。用于自适应存储器控制处理的管理命令称作存储器管理控制操 作(MMCO)命令。利用MMCO命令，例如，可将短期参考图像设置为非参考图像，可将长期参 考图像设置为非参考图像，通过将长期帧索引分配给短期参考图像可将短期参考图像设置 为长期参考图像，可以设置长期帧索引的最大值，并且可以将所有参考图像设置为非参考 图像。在自适应存储器控制处理中，利用参考图像列表来管理参考图像。可以用利用参 考图像列表重新排序的任何顺序来替换参考图像列表中的顺序。当没有利用参考图像列表 重新排序时，利用从短期参考图像到长期参考图像的顺序产生参考图像列表。由于近年的研究，称作分层B图像结构的GOP结构在编码效率和图像质量方面引 人关注。图15的部分(A)和(B)是示出了典型分层B图像结构(G0P-1)的示例的图。在 图15的部分(A)中，按照显示顺序示出了图像的类型和图像顺序计数(POC)，并且各个图 像之间的参考关系由箭头指示。另外，在图15的部分(B)中，示出了各个图像的解码顺序。 此外，在图15的部分㈧和⑶中，Br表示要参考的B图像。然而，由于该结构需要大量的重新布置缓冲器，所以存在利用诸如图16所示的结 构的GOP结构(G0P-2)的情况。在图16的部分㈧中，按照显示顺序示出了图像的类型和 图像顺序计数(POC)，并且各个图像之间的参考关系由箭头指示。另外，在图16的部分(B) 中，按照解码顺序示出了这些图像。此外，在图16的部分㈧和⑶中，Br表示要参考的 B图像。如上所述，在主类、4级、以及1920 X 1088和4 2 0的图像帧的情况下，在解码图像 缓冲器(DPB)中能够保存的图像的数目是4。在G0P-2结构中，当在解码图像缓冲器(DPB)中能够保存的图像的数目是4(max_ dec_frame_buffering = 4)并且能够用于参考的图像的数目是3 (num_ref_frames = 3) 时，获得诸如图17的部分(A)到(D)中所示的参考关系的参考关系。在图17的部分㈧中，按照显示顺序示出了图像的类型和图像顺序计数，并且各 个图像之间的参考关系由箭头指示。另外，在图17的部分⑶中，示出了各个图像的解码顺
序。此外，在图17的部分(C)和(D)中，示出了各时刻TO、Tl........T15、...的解码图
像缓冲器(参考图像缓冲器和非参考图像缓冲器)和显示缓冲器的内容。在这种情况下， 如图17的部分(A)中的粗线箭头所示，不存在在时间上最接近的参考表面。此外，由于进 行参考从而跳过I图像，所以不能执行从不是瞬时解码刷新图像的I图像起的随机访问。这里，IDR图像是图像序列中的开始图像。瞬时解码刷新图像包括I片段或切换I 片段(switching I slice)，并且利用瞬时解码刷新图像，将对比特流进行解码所需的诸如 参考图像缓冲器的状态、帧号和图像顺序计数的所有状态复位。在H. 264/AVC中，由于允许 进行从I图像后的P图像参考该I图像前的图像的帧间预测，所以典型的I图像不足以将 这些状态完全复位，并且需要利用瞬时解码刷新图像。如上所述，利用传统技术，不能够参考在时间上最接近并且被视为高度相关的图 像的图像，并且此外，传统技术具有如下问题不能够执行从不是瞬时解码刷新图像的I图像起的随机访问。因此，鉴于诸如上述问题的传统问题，本发明旨在在输出基于AVC编码方案的图 像压缩信息的图像信息编码设备中实现包括分层B图像的GOP结构中的最佳参考关系以及 从不是瞬时解码刷新图像的I图像起的随机访问。根据下面描述的实施例，本发明的其它目的和通过本发明获得的具体优点将变得 更加清楚。为了解决上述问题，本发明使得可以使用利用存储器管理控制操作命令和参考图 像列表重新排序命令的处理，来获得最高效的参考关系以及执行从不是瞬时解码刷新图像 的I图像起的随机访问。换言之，本发明提供了一种用于执行利用运动预测对图像信息进行编码的处理并 且输出图像压缩信息的图像信息编码设备。该设备的特征在于包括存储器管理控制操作 命令产生装置，用于产生用于管理解码图像缓冲器中的图像的存储器管理控制操作命令。 在执行多帧预测的情况下，存储器管理控制操作命令产生装置利用存储器管理控制操作命 令将一图像与P图像或I图像之间存在的参考B图像登记为长期参考图像，当对P图像或I 图像与参考B图像之间存在的B图像进行处理时利用参考图像列表重新排序命令将参考B 图像置于参考图像列表中的第一位，当对P图像或I图像进行处理时通过利用存储器管理 控制操作命令将长期帧索引的最大值设置为
而将解码图像缓冲器中的长期参考图像 设置为非参考图像，并且执行从不是瞬时解码刷新图像的I图像起的随机访问。此外，本发明提供了一种用于执行利用运动预测对图像信息进行编码的处理并且 输出图像压缩信息的图像信息编码方法。该方法的特征在于包括如下步骤在执行多帧预 测的情况下，利用用于管理解码图像缓冲器中的图像的存储器管理控制操作命令将一图像 与P图像或I图像之间存在的参考B图像登记为长期参考图像；当对P图像或I图像与参 考B图像之间存在的B图像进行处理时利用参考图像列表重新排序命令将参考B图像置于 参考图像列表中的第一位；当对P图像或I图像进行处理时通过利用存储器管理控制操作 命令将长期帧索引的最大值设置为
而将解码图像缓冲器中的长期参考图像设置为非 参考图像；以及执行从不是瞬时解码刷新图像的I图像起的随机访问。这里，将描述作为本发明的特征的存储器管理控制操作命令产生装置的操作的原 理。存储器管理控制操作命令产生装置是用于发出存储器管理控制操作命令和参考 图像列表重新排序命令的装置，其中利用这些命令，根据GOP结构实现高效参考关系并且 可以执行从不是瞬时解码刷新(IDR)图像的I图像起的随机访问。这里，作为示例描述了如 下的情况提供了诸如图16所示的结构的GOP结构，解码帧缓冲器的最大数目(maX_dec_ frame_buffering)是 4，并且参考帧的数目(num_ref_frames)是 3。如上所述，由于该结构需要大量的重新布置缓冲器，所以存在利用诸如图16所示 的结构的GOP结构(G0P-2)的情况。如上所述，在主类、4级以及1920X1088和4:2:0的图 像帧的情况下，在解码图像缓冲器(DPB)中能够保存的图像的数目是4。另外，当在G0P-2 结构中解码图像缓冲器(DPB)是4(max_dec_frame_buffering = 4)并且能够用于参考的 图像的数目是3(nUm_ref_frameS = 3)的情况下，获得诸如图17的部分㈧到⑶中所示 的参考关系的参考关系。
当没有利用存储器管理控制操作命令时，如图17所示，针对按解码顺序位于P图 像或I图像之后的B图像，按照跳过在时间上紧接在B图像之前的P图像或I图像的方式 执行对参考B图像的参考。为了避免这种情况，仅需要利用存储器管理控制操作命令将参 考B图像设置为非参考图像。仅需利用存储器管理控制操作命令(MMC0 = 1)将已被设置为短期参考图像的先 前参考B图像在该参考B图像的时刻设置为非参考图像。然而，在这种情况下，需要向流输 出表示参考B图像的图像编号与输出命令时当前的图像编号之间的差的图像编号差值。利 用位于片段报头上的帧号(frame_nUm)确定图像编号。帧号是用于唯一地确定图像的值。当执行从除瞬时解码刷新图像以外的I图像起的随机访问时，仅存在设置为I图 像之后的图像的帧号的值。因此，如果要执行利用存储器管理控制操作命令(MMCO= 1)将 图像设置成非参考图像的设置，则在解码图像缓冲器中不存在要指定的图像。因此，在本发明中，利用改变长期帧索引的最大值的MMCO = 4的存储器管理控制 操作命令。在这种情况下，当将长期帧索引的最大值设置为
时，能够从解码图像缓冲器 释放先前存在的长期参考图像。通过利用这种机制，参考B图像被设置为长期参考图像，然 后在不需要参考该长期参考图像时，利用改变长期帧索引的最大值的命令释放该长期参考 图像。以这种方式，即使当执行从除瞬时解码刷新图像以外的I图像起的随机访问时，仍能 够发出没有矛盾的命令。当没有使用参考图像列表重新排序命令时，利用从短期参考图像到长期参考图像 的顺序产生参考图像列表。因此，当参考B图像被设置为长期参考图像时，分配该列表中的 最后参考号。由于这具有编码效率方面的缺点，所以利用参考图像列表重新排序命令分配 最小参考号。通过连续执行上述的处理能够实现诸如图6的部分(A)到(D)中所示的关系的参
考关系。


图1是示出根据本发明的利用AVC编码方案的图像信息编码设备的结构示例的框 图。图2是示出在上述的图像信息编码设备中从不是瞬时解码刷新(IDR)图像的I图 像执行随机访问的过程的流程图。图3是示出在上述的图像信息编码设备中被执行上述随机访问的图像群(GOP)结 构的示意图。图4是示出在上述图像信息编码设备中用于对具有帧结构的GOP执行上述随机访 问的存储器管理控制操作命令的细节的图。图5是示出在上述图像信息编码设备中用于对具有帧结构的GOP执行上述随机访 问的参考图像列表重新排序命令的细节的图。图6是示意性示出了当在上述图像信息编码设备中对具有帧结构的GOP执行上述 随机访问的情况下每个信息项的状态的图。图7是示意性示出了在上述图像信息编码设备中被执行上述随机访问的具有帧 结构的GOP的结构示例的图。
图8是示意性示出了当在上述图像信息编码设备中对具有帧结构的GOP执行上述 的随机访问的情况下的解码图像缓冲器(短期参考图像缓冲器、长期参考图像缓冲器和非 参考图像缓冲器)的状态的图。图9是示出在上述图像信息编码设备中被执行上述随机访问的具有场结构的图 像群(GOP)的示意图。图10是示出在上述图像信息编码设备中用于对具有场结构的GOP执行上述随机 访问的存储器管理控制操作命令的细节的图。图11是示出在上述图像信息编码设备中用于对具有场结构的GOP执行上述随机 访问的参考图像列表重新排序命令的细节的图。图12A是示意性示出了当在上述图像信息编码设备中对具有场结构的GOP执行上 述随机访问的情况下的每个信息项的状态的图。图12B是示意性示出了当在上述图像信息编码设备中对具有场结构的GOP执行上 述随机访问的情况下的每个信息项的状态的图。图13是示出输出基于AVC编码方案的图像压缩信息的传统图像信息编码设备的 结构示例的框图。图14是示出被输入基于AVC编码方案的图像压缩信息的传统图像信息解码设备 的结构示例的框图。图15是示意性示出了典型的分层B图像结构的图。图16是示意性示出了简化的分层B图像结构的图。图17是示意性示出了当在分层B图像结构中没有利用存储器管理控制操作命令 和参考图像列表重新排序命令的情况下的解码图像缓冲器和参考关系的图。
具体实施例方式下面参照附图详细描述本发明的实施例。要注意，本发明不限于下面给出的示例。 不言自明的是，在不脱离本发明的主旨的情况下，可以进行任何变型。本发明适用于具有诸如图1所示结构的结构的图像信息编码设备10。图像信息编码设备10包括A/D转换器单元11、画面重新布置缓冲器12、存储器管 理控制操作(MMCO)命令产生单元13、加法器14、正交变换单元15、量化单元16、无损编码 单元17、存储缓冲器18、逆量化单元19、正交逆变换单元20、去块滤波器21、帧存储器22、 帧内预测单元23、运动预测/补偿单元24、速率控制单元25等。在图1所示的图像信息编码设备10中，A/D转换器单元11将输入运动图像信号 转换成数字信号，并且将该数字信号提供给画面重新布置缓冲器12。画面重新布置缓冲器102根据要从图像信息编码设备10输出的图像压缩信息的 图像群(GOP)结构，对由A/D转换器单元11转换成数字信号的输入图像信息执行帧重新布 置。画面重新布置缓冲器12经由存储器管理控制操作命令产生单元13将帧已被重新布置 的输入图像信息提供给加法器14、正交变换单元15、帧内预测单元23和运动预测/补偿单 元24。MMCO命令产生单元13向无损编码单元17和帧存储器22发出MMCO命令和参考 图像列表重新排序命令，利用这些命令，针对从画面重新布置缓冲器12提供的输入图像信息，例如根据图像群(GOP)结构实现高效的参考关系，并且利用这些命令，能够执行从不是 瞬时解码刷新(IDR)图像的I图像起的随机访问。加法器14针对每个宏块产生表示经由MMCO命令产生单元13提供的输入图像信 息与帧内或帧间预测图像信息之间的差的差值。这里，关于要执行帧内编码(即利用一个帧的编码)的图像信息，将表示输入图像 信息与由帧内预测单元23产生的帧内预测图像信息之间的差的差值输入到正交变换单元 15。另外，关于要执行帧间编码(即利用多个帧的编码)的图像信息，将表示输入图像信息 与由运动预测/补偿单元24产生的参考图像信息之间的差的差值输入到正交变换单元15。正交变换单元15以可变变换尺寸为单位对从加法器14提供的每个宏块的差值执 行诸如离散余弦变换或者卡洛变换的正交变换。这里，正交变换单元15执行离散余弦变换 (DCT)，并且将获得的正交变换(DCT)系数提供给量化单元16。量化单元16对从正交变换单元15提供的变换系数执行量化处理，并且将量化后 的变换系数提供给无损编码单元17和逆量化单元19。量化单元16的行为由速率控制单元25控制。无损编码单元17对从量化单元16提供的量化后的变换系数执行诸如可变长度编 码或者算术编码的无损编码，例如，CABAC (上下文自适应二进制算术编码)编码。经无损 编码单元17进行了无损编码的变换系数被存储在存储缓冲器18中并且被作为图像压缩信 息输出。另外，逆量化单元19对从量化单元16提供的量化后的正交变换系数执行逆量化 处理，并且将正交变换系数提供给正交逆变换单元20。正交逆变换单元20对从逆量化单元19提供的正交变换系数执行正交逆变换处 理，并且经由去块滤波器21将获得的解码的图像信息提供给帧存储器22。去块滤波器21去除包括在解码的图像信息中的块噪声。帧存储器22存储解码的图像信息。帧内预测单元23从帧存储器22读取相邻并且已被编码的图像信息，并且基于该 图像信息仅执行适合正交变换尺寸的帧内预测处理。运动预测/补偿单元24在参考图像信息中搜索运动矢量，并且执行帧间预测图像 信息的产生。速率控制单元25利用反馈控制执行对量化单元16的操作的控制，并且针对要成 为输出的图像压缩信息执行编码速率的控制。另外，在图像信息编码设备10中，根据图2所示的流程图执行从不是瞬时解码刷 新图像的I图像起的随机访问。换言之，在图像信息编码设备10中，当随机访问开始时，首先，在步骤Sl中，解码 图像缓冲器被设置为处于空状态。在接下来的步骤S2中，执行解码I图像的处理。在接下来的步骤S3中，利用存储器管理控制操作命令(MMC0 = 4)，将长期帧索引 的最大值设置为[-1]。在接下来的步骤S4中，将I图像保存在解码图像缓冲器中。在接下来的步骤S5中，执行解码Bs图像的处理。
在接下来的步骤S6中，利用存储器管理控制操作命令(MMC0 = 4)，将长期帧索引 的最大值设置为
。在接下来的步骤S7中，利用存储器管理控制操作命令(MMC0 = 6)，将长期帧索引 设置为
。在接下来的步骤S8中，将Bs图像保存在解码图像缓冲器中。在接下来的步骤S9中，执行解码B图像的处理。在接下来的步骤SlO中，利用参考图像列表重新排序命令，将Bs图像指定为Ll的 ref_idx0o在接下来的步骤Sll中，将B图像保存在解码图像缓冲器中。在接下来的步骤S12中，执行解码B图像的处理。在接下来的步骤S13中，利用参考图像列表重新排序命令，将Bs图像指定为LO的 ref_idx0o在接下来的步骤S14中，将B图像保存在解码图像缓冲器中。在接下来的步骤S15中，确定是否到达GOP的末端。当步骤S15中的确定结果为否时，即，当尚未到达GOP的末端时，流程进行到接下 来的步骤S16。另外，当上述步骤S15中的确定结果为是时，即，当已到达GOP的末端时，流 程返回到上述的步骤S2。在接下来的步骤S16中，执行解码P图像的处理。在接下来的步骤S17中，利用存储器管理控制操作命令(MMC0 = 4)，将长期帧索引 的最大值设置为[-1]。在接下来的步骤S18中，将P图像保存在解码图像缓冲器中，并且流程进行到上述 的步骤S5。然后，重复执行上述的步骤S5到上述的步骤S18的处理。当上述步骤S15中的确 定结果为是时，即，当已执行解码处理直到到达GOP的末端时，流程返回到上述的步骤S2， 并且对下一 GOP的I图像进行解码。换言之，在图像信息编码设备10中，例如，当GOP结构是诸如图3所示的结构的帧 结构并且是诸如在其中提供了 B0、Brl、B2、I3、B4、Br5、B6、P7、B8、Br9、B10、Pll、B12、Brl3、 B14 和 P15 并且在其中解码顺序由 I3、Brl、B0、B2、P7、Br5、B4、B6、Pll、Br9、B8、B10、P15、 Brl3、B12和B14表示的结构的分层结构时，上述存储器管理控制操作命令产生单元13产 生被定义为与指示通过将图像顺序计数(POC)除以16而获得的余数的P0C% 16的值相对 应的存储器管理控制操作命令(#C0MMAND = 0到#C0MMAND = 6)和参考图像列表重新排序 命令(#C0MAND = 0到#C0MAND = 3)，如图4和图5所示。存储器管理控制操作命令产生单 元13执行下面的处理当对13进行处理时将长期帧索引的最大值设置为
；当对Brl进 行处理时利用存储器管理控制操作命令(MMC0 = 4)将长期帧索引的最大值设置为[1]；将 Brl设置为长期参考图像；当对BO进行处理时利用参考图像列表重新排序命令参考13和 Brl ；以及当对Bl进行处理时利用参考图像列表重新排序命令参考13和Brl。存储器管理 控制操作命令产生单元13重复该处理，由此能够执行从不是瞬时解码刷新图像的I图像起 的随机访问，而不会有语法矛盾，如图6的部分(A)到(D)所示。这里，图6的部分(A)按照显示顺序示出了图像的类型和图像顺序计数并且利用箭头示出了各个图像之间的参考关系。另外，图6的部分(B)示出了各个图像的解码顺序。
此外，图6的部分(C)和(D)示出了各时刻T0、T1.....T15、...的解码图像缓冲器(参考
图像缓冲器和非参考图像缓冲器)和显示缓冲器的内容。此外，例如，当提供了诸如在其中显示顺序由BO、Bsl、B2、13、B4、Bs5、B6、P7、B8、 Bs9、BIO、PlU ...表示并且在其中解码顺序由 13、Bsl、BO、B2、P7、Bs5、B4、B6、Pll、Bs9、
B8、B10、...表示的结构的分层结构并且存在由箭头指示的参考关系时，在图像信息编码设 备10中，每个步骤中的解码图像缓冲器的状态变成图8所示的对应状态。图8所示的(si) 到(sl8)示出了步骤Sl到步骤S18的各个步骤中的解码图像缓冲器(短期参考图像缓冲 器、长期参考图像缓冲器和非参考图像缓冲器)的状态。另外，图8所示的(sl9)到(s32) 示出了在重复执行的步骤S5到步骤S18的各个步骤中的解码图像缓冲器(短期参考图像 缓冲器、长期参考图像缓冲器和非参考图像缓冲器)的状态。如上所述，当GOP结构是诸如参考B图像的结构的分层结构时，上述的存储器管理 控制操作命令产生单元13发出MMCO命令，由此利用有限的解码图像缓冲器能够获得提供 最短帧间时间的高效参考关系。此外，当GOP结构是诸如参考B图像的结构的分层结构时，上述的存储器管理控制 操作命令产生单元13利用参考图像列表重新排序命令，由此利用有限的解码图像缓冲器 能够获得提供最短帧间时间的高效参考关系。此外，存储器管理控制操作命令产生单元13通过利用MMCO命令将要参考的B图 像设置为长期参考图像，并且当对P图像和I图像进行处理时通过将长期帧索引的最大值 设置为
而释放该长期参考图像，由此能够执行从不是瞬时解码刷新图像的I图像起的 随机访问，而不会有语法矛盾。要注意，在上述的本发明的实施例中，作为示例描述了解码帧缓冲器的最大数目 (max_dec_frame_buffering)是4并且参考帧的数目是3的情况。当GOP结构是帧结构时， 将参考图像Bs设置为长期参考图像，并且该长期参考图像被释放，由此能够执行从不是瞬 时解码刷新图像的I图像起的随机访问，而不会有语法矛盾。然而，即使当将不同的值用作 解码帧缓冲器的最大数目和参考帧的数目时，仍产生针对这些不同值的MMCO命令和参考 图像列表重新排序命令，由此能够实现完全没有矛盾的流，这是因为当执行从不是瞬时解 码刷新图像的I图像起的随机访问时没有指定解码图像缓冲器中不存在的参考图像。另外，在本发明的实施例中，描述了 GOP结构是帧结构的情况。然而，即使在GOP 结构是场结构的情况下，当解码帧缓冲器的最大数目(max_dec_frame_bUffering)是4并 且参考帧的数目是3时，当对开始P图像进行处理时将先前的长期参考图像设置为非参考 图像。将参考图像Bs设置为长期参考图像，并且该长期参考图像被释放，由此能够执行从 不是瞬时解码刷新(IDR)图像的I图像起的随机访问，而不会有语法矛盾。换言之，在图像信息编码设备10中，例如，当GOP结构是诸如图9所示的结构的场 结构并且是诸如在其中提供7 B-6、B-5、Br-4、Br-3、B_2、B_1、IO、P1、B2、B3、Br4、Br5、B6、 B7、P8、P9、BIO、BlUBr9、B12、Brl3、B14、B15、P16、P17、B18、B19、Br20、Br21、B22、B23、 P24 和 P25 并且在其中解码顺序由 I6、P7、B2、B3、B0、B1、B4、B5、P14、P15、B10、B11、B8、B9、 B12、B13、P22、P23、B18、B19、B16、B17、B20、B21、P30、P31、B2、B27、B24、B25、B28、B29、P30、 P31、B32、...表示的结构的分层结构时，上述存储器管理控制操作命令产生单元13产生被定义为与指示通过将图像顺序计数(POC)除以32而获得的余数的P0C% 32的值相对应的 存储器管理控制操作命令(#C0MMAND = 0到#C0MMAND = 6)和参考图像列表重新排序命令 ( COMMAND = 0到#C0MMAND = 3)，如图10和图11所示。存储器管理控制操作命令产生单 元13执行下面的处理当对16进行处理时将长期帧索引的最大值设置为
；当对Brl进 行处理时利用存储器管理控制操作命令(MMC0 = 4)将长期帧索引的最大值设置为[1]；将 Brl设置为长期参考图像；当对B3进行处理时利用参考图像列表重新排序命令参考16和 Brl ；以及当对B3进行处理时利用参考图像列表重新排序命令参考16和Brl。存储器管理 控制操作命令产生单元13重复该处理，由此能够执行从不是瞬时解码刷新图像的I图像起 的随机访问，而不会有语法矛盾，如图12A和图12B所示。要注意，本发明不限于上述实施例，在一个实施方面中，在不脱离本发明的主旨的 情况下可以进行各种变型。通过用可用于实现与不包括本发明的本质部分的结构的本发明 的结构所实现的优点相似的优点并且在申请本发明时无法预见到的技术特征来替换不包 括本发明的本质部分的结构的本发明的结构而实现一个发明，并且该发明能够包括在本发 明中。此外，本发明的各个方面包括在上述实施例中，并且能够利用多个公开的部件的适当 组合实现各种发明。例如，当通过从实施例中所示的所有部件省去一些部件实现一个发明 时，省去的部件由实施所实现的发明的方面中的已知公用技术进行补偿。此外，在不脱离本发明的主旨的情况下，通过进行各种变型能够实现本发明。在本发明中，当执行多帧预测时，利用用于管理解码图像缓冲器中的图像的存储 器管理控制操作命令，将一图像与P图像或I图像之间存在的参考B图像登记为长期参考 图像。当对P图像或I图像与参考B图像之间存在的B图像进行处理时，利用参考图像列 表重新排序命令将参考B图像置于参考图像列表中的第一位。当对P图像或I图像进行处 理时，通过利用存储器管理控制操作命令将长期帧索引的最大值设置为W]，将解码图像缓 冲器中的长期参考图像设置为非参考图像。执行从不是瞬时解码刷新图像的I图像起的随 机访问。因此，通过发出存储器管理控制操作命令来改变长期帧索引的最大值，能够从存储 器释放长期参考图像而不需要指定长期帧索引。由于当执行从不是瞬时解码刷新图像的I 图像起的随机访问时没有指定不存在于DPB中的参考图像，所以能够实现完全没有矛盾的 流。
权利要求
1.一种图像信息编码设备，利用运动预测进行图像信息的编码处理而输出图像压缩信 息，其特征在于，具备存储器管理控制命令产生单元，该存储器管理控制命令产生单元通过对保存所述图像 压缩信息的图像缓冲器中的所述图像压缩信息进行管理的存储器管理控制命令，将处于P 图像或I图像之间、并参考所述多个图像信息的参考B图像登记为长期参考图像，将长期帧 索引的最大值设定为W]，从而在对所述参考B图像进行解码时，释放从保存所述图像压缩 信息的解码图像缓冲器解码出的所述参考B图像。
2.如权利要求1所述的图像信息编码设备，其特征在于，所述存储器管理控制命令产 生单元通过参考图像列表顺序命令，将处于P图像或I图像与所述参考B图像之间的B图 像在参考中利用的参考列表的最初的参考图像设为所述参考B图像。
3.如权利要求2所述的图像信息编码设备，其特征在于，所述图像信息的图像群结构 是参考B图像的分层结构。
4.如权利要求3所述的图像信息编码设备，其特征在于，在所述图像群结构中，在P图 像或I图像之间的B图像的数目为3以下。
5.如权利要求4所述的图像信息编码设备，其特征在于，所述图像群结构是BO、BrU B2、13、B4、Br5、B6、P7、B8、Br9、BIO、PlU B12、Brl3、B14、P15,并且解码处理顺序为 13、 Brl、B0、B2、P7、Br5、B4、B6、Pll、Br9、B8、B10、P15、Brl3、B12、B14 这样的分层结构。
6.如权利要求1、2或3所述的图像信息编码设备，其特征在于，所述图像群结构是将两 个场视为彼此独立的两个图像进行处理的场结构，并且所述存储器管理控制命令产生单元 通过发出改变长期帧索引的最大值的命令，不指定长期帧索引地释放解码图像缓冲器中的 长期参考图像。
全文摘要
在输出基于AVC编码方式的图像压缩信息的图像信息编码设备中，可以获得包括分层B图像的GOP结构中的最佳参考关系并且能够执行从不是瞬时解码刷新图像的I图像起的随机访问。当执行多帧预测时，通过存储器管理控制操作命令产生单元(13)，利用用于管理解码图像缓冲器中的图像的存储器管理控制操作命令将一图像与P图像或I图像之间存在的参考B图像登记为长期参考图像。当对P图像或I图像与参考B图像之间存在的B图像进行处理时利用参考图像列表重新排序命令将参考B图像置于参考图像列表中的第一位。当对P图像或I图像进行处理时通过利用存储器管理控制操作命令将长期帧索引的最大值设置为
而将解码图像缓冲器中的长期参考图像设置为非参考图像。执行从不是瞬时解码刷新图像的I图像起的随机访问。
文档编号H04N9/804GK102088609SQ20111005240
公开日2011年6月8日 申请日期2008年2月26日 优先权日2007年2月28日
发明者佐藤数史, 田中润一, 矢崎阳一 申请人:索尼株式会社