图像编码方法、图像解码方法、图像编码装置以及图像解码装置的制造方法

图像编码方法、图像解码方法、图像编码装置以及图像解码装置的制造方法
【技术领域】
[0001]本发明涉及将图像编码的图像编码方法、或者将图像解码的图像解码方法。
【背景技术】
[0002]作为有关将图像(包括运动图像)编码的图像编码方法以及将图像解码的图像解码方法的技术，有在非专利文献I中记载的技术。此外，作为有关编码及解码的运用规定，有在非专利文献2中记载的规定。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1:Joint Collaborative Team on Video Coding (JCT — VC) of ITU —T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting:Geneva，CH，14 — 23 Jan.2013JCTVC — L1003 — v34.doc, High Efficiency Video Coding (HEVC) text specificat1ndraft 10 (for FDIS&Last Call)
[0006]http://phenix.1t — sudparis.eu/jct/doc — end — user/documents/12 —Geneva/wglI/JCTVC — L1003 — v34.zip
[0007]非专利文献2:—般社団法人電波産業会標準規格ARIB STD 一 B322.8版2 —STD - B32v2 _ 8.pdf，r夕夕少放送C朽汀映像符号化、音声符号化及U多重化方式
[0008]http://www.arib.0r.jp/english/html/overview/doc/2 — STD — B32v2 —8.pdf

【发明内容】

[0009]发明要解决的课题
[0010]但是，在现有技术的图像编码方法或图像解码方法中，有非效率性的处理被使用的情况。
[0011]因此，本发明的目的在于，提供将图像有效率地编码的图像编码方法、或者将图像有效率地解码的图像解码方法。
[0012]用于解决课题的手段
[0013]为了达成上述目的，本发明的一个方式的图像编码方法，是将图像进行层级编码的图像编码方法，包括以下步骤:层级数决定步骤，决定层级数，以使得上述层级编码中的上述层级数成为根据帧速率决定的最大层级数以下；以及编码步骤，以决定的上述层级数，将上述图像进行层级编码，从而生成比特流。
[0014]此外，本发明的一个方式的图像解码方法，是对通过将图像进行层级编码而得到的比特流进行解码的图像解码方法，包括以下步骤:图像解码步骤，从上述比特流将上述图像解码；信息解码步骤，从上述比特流将表示上述层级编码中的层级数的第I信息解码；以及重新排列步骤，利用上述第I信息所表示的上述层级数，将被解码后的上述图像重新排列并输出；上述层级数为根据上述比特流的帧速率而预先决定的最大层级数以下。
[0015]另外，这些全局性或具体性的方式可以由系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等记录介质来实现，也可以由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
[0016]发明效果
[0017]本发明能够提供能够将图像有效率地编码的图像编码方法或能够将图像有效率地解码的图像解码方法。
【附图说明】
[0018]图1是表示编码构造的一例的图。
[0019]图2是表示显示延迟图片数的图。
[0020]图3是实施方式I的图像编码装置的模块图。
[0021]图4是实施方式I的图像编码处理的流程图。
[0022]图5是实施方式I的限制值设定部的模块图。
[0023]图6是实施方式I的限制值设定处理的流程图。
[0024]图7是实施方式I的编码部的模块图。
[0025]图8是实施方式I的编码处理的流程图。
[0026]图9A是表示实施方式I的送出延迟图片数的图。
[0027]图9B是表示实施方式I的送出延迟图片数的图。
[0028]图9C是表示实施方式I的送出延迟图片数的图。
[0029]图9D是表示实施方式I的送出延迟图片数的图。
[0030]图10是表示实施方式I的编码构造限制值的一例的图。
[0031]图1lA是表示实施方式I的编码构造的图。
[0032]图1lB是表示实施方式I的编码构造的图。
[0033]图1lC是表示实施方式I的编码构造的图。
[0034]图1lD是表示实施方式I的编码构造的图。
[0035]图12A是表示实施方式I的显示延迟图片数的图。
[0036]图12B是表示实施方式I的显示延迟图片数的图。
[0037]图12C是表示实施方式I的显示延迟图片数的图。
[0038]图12D是表示实施方式I的显示延迟图片数的图。
[0039]图13是实施方式2的图像解码装置的模块图。
[0040]图14是实施方式2的图像解码处理的流程图。
[0041]图15是实施方式I的图像编码方法的流程图。
[0042]图16是实施方式2的图像解码方法的流程图。
[0043]图17是实现内容分发服务的内容供给系统的整体结构图。
[0044]图18是数字广播用系统的整体结构图。
[0045]图19是表示电视机的结构例的模块图。
[0046]图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0047]图21是表示作为光盘的记录介质的构造例的图。
[0048]图22A是表示便携电话的一例的图。
[0049]图22B是表示便携电话的结构例的模块图。
[0050]图23是表示复用数据的结构的图。
[0051]图24是示意地表示各流在复用数据中怎样被复用的图。
[0052]图25是更详细地表示在PES包序列中视频流怎样被保存的图。
[0053]图26是表示复用数据的TS包和源包的构造的图。
[0054]图27是表示PMT的数据结构的图。
[0055]图28是表示复用数据信息的内部结构的图。
[0056]图29是表示流属性信息的内部结构的图。
[0057]图30是表示识别影像数据的步骤的图。
[0058]图31是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0059]图32是表示切换驱动频率的结构的图。
[0060]图33是表示识别影像数据、切换驱动频率的步骤的图。
[0061]图34是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0062]图35A是表示将信号处理部的模块共用的结构的一例的图。
[0063]图35B是表示将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0064](成为本发明的基础的见解)
[0065]本发明人发现，关于在“【背景技术】”栏中记载的、将图像编码的图像编码装置或者将图像解码的图像解码装置，会产生以下的问题。
[0066]近年来，数字影像设备的技术进步显著，从数字摄像机或电视调谐器输出的影像信号(按时间序列依次排列的多个图片)被压缩编码、得到的编码信号被记录到DVD或硬盘等存储介质中的机会增大。
[0067]作为图像编码规格，有H.264/AVC(MPEG 一 4AVC)。此外，作为下一代的标准规格，正在研宄HEVC(High Efficiency Video Coding，高效视频编码)规格(非专利文献I)。此夕卜，还对将图像编码规格怎样进行运用的规定进行研宄(非专利文献2)。
[0068]根据当前的运用规定(非专利文献2)，如图1所示那样，编码构造被限制到3层级，由此如图2所示那样，最大的显示延迟图片数被限制为2张。图1所示的TemporalId是编码构造的层级的识别符。TemporalId越大则表示是越深的层级。
[0069]I个四角的块表示图片，块内的Ix表示I图片(画面内预测图片)，PX表示P图片(前方参照预测图片)，Bx表示B图片(双向参照预测图片)。IxAVBj^ ,表示显示次序，表示对图片进行显示的顺序。
[0070]图片间的箭头表示参照关系。例如，图片B1将图片Itl、图片B2以及图片？4用作参照图像而生成预测图像。此外，将具有比自身的Temporal Id大的Temporal Id的图片用作参照图像是被禁止的。由此，图片解码顺序如图2所示那样是TemporalId从小到大的顺序，是图片Ιο、图片Ρ4、图片Β2、图片B1'图片83的顺序。
[0071]此外，通过规定层级，能够使编码序列具有时间可分级性(scalability)。
[0072]例如，在希望从60fps(frame per second)的编码序列取得30fps的影像的情况下，图像解码装置仅将图1的TemporalIdO以及TemporalIdl的图片解码。由此，图像解码装置能够得到30fps的图像。并且，解码图像需要依次以没有空闲的方式输出，所以图像解码装置在图片民的解码后从图片I ^起依次输出图片。因此，显示延迟图片数成为2张。若将其换算为时间，则原始的帧速率为30fps的情况下的显示延迟时间为2/30秒，帧速率为60fps的情况下的显示延迟时间为2/60秒。
[0073]通过利用时间可分级性高的构造，在频带混杂的情况下、或者处理能力低的图像解码装置进行解码处理的情况下，图像解码装置能够仅将TemporalId小的层级的图片解码，对得到的图像进行显示。这样，通用性提高。但是，若允许深的层级构造，则具有显示延迟增大的课题。
[0074]但是，即使如上述那样预先规定显示延迟图片数，显示延迟时间也根据帧速率而不同。在比标准的帧速率(例如30fps)低的帧速率(例如24fps)的情况下，显示延迟时间为2/24秒，与30fps的2/30秒相比延迟时间变长。
[0075]本发明的一个方式的图像编码方法，是将图像进行层级编码的图像编码方法，包括以下步骤:层级数决定步骤，决定层级数，以使得上述层级编码中的上述层级数成为根据帧速率决定的最大层级数以下；以及编码步骤，以决定的上述层级数，将上述图像进行层级编码，从而生成比特流。
[0076]由此，该图像编码方法能够抑制显示延迟时间的增加，并且使层级数增加。因此，该图像编码方法能够将图像有效率地编码。
[0077]例如，上述帧速率为60fps以下的情况下，上述最大层级数可以为4以下。
[0078]例如，上述帧速率为120fps的情况下，上述最大层级数可以为5。
[0079]例如，上述图像编码方法可以还包括图片类型决定步骤，该图片类型决定步骤中，决定图像的图片类型，以使得在图像解码装置中，从将上述图像解码开始到将其输出为止的图片的数量即显示延迟图片数成为根据上述帧速率决定的最大图片数以下；在上述编码步骤中，以所决定的图片类型将上述图像编码。
[0080]例如，上述图片类型决定步骤中，可以决定上述图像的上述图片类型，以使得连续的B图片的数量即B图片连续数成为根据上述帧速率决定的最大连续数以下。
[0081]例如，可以是，上述最大图片数、从向图像编码装置输入上述图像开始到上述比特流被输出为止的时间即编码器送出延迟、以及上述帧速率满足以下的关系，
[0082]最大图片数=int (1g2 (编码器送出延迟[s] X帧速率[fps]))，
[0083]上述最大连续数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0084]最大连续数=int (编码器送出延迟[s] X帧速率[fps] — 1)，
[0085]上述最大层级数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0086]最大层级数=int (1g2 (编码器送出延迟[s] X帧速率[fps]))+l。
[0087]例如，可以是，各层级的最大图片数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0088]最大图片数[i] = int (1g2 (编码器送出延迟[s]X帧速率[fps]/2(ιΗ)))，
[0089]各层级的最大连续数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0090]最大连续数[i] = int (编码器送出延迟[s] X帧速率Βρ8]/2(η_υ— I)，
[0091]i是上述最大层级数以下的整数，表示层级，η表示(上述最大层级数一 I)。
[0092]此外，本发明的一个方式的图像解码方法，对将图像进行层级编码而得到的比特流进行解码，包括以下步骤:图像解码步骤，从上述比特流将上述图像解码；信息解码步骤，从上述比特流将表示上述层级编码中的层级数的第I信息解码；以及重新排列步骤，利用上述第I信息所表示的上述层级数，将被解码后的上述图像重新排列并输出；上述层级数为根据上述比特流的帧速率而预先决定的最大层级数以下。
[0093]由此，该图像解码方法能够将通过有效率地被编码而得到的比特流进行解码。
[0094]例如，在上述帧速率为60fps以下的情况下，上述最大层级数可以为4以下。
[0095]例如，在上述帧速率为120fps的情况下，上述最大层级数可以为5。
[0096]例如，上述信息解码步骤中，可以还将第2信息从上述比特流进行解码，该第2信息表示在图像解码装置中从将图像解码开始到将其输出为止的图片的数量即显示延迟图片数；上述重新排列步骤中，利用上述第I信息所表示的上述层级数和上述第2信息所表示的上述显示延迟图片数，将被解码后的上述图像重新排列并输出。
[0097]例如，上述信息解码步骤中，可以还将第3信息从上述比特流进行解码，该第3信息表示连续的B图片的数量即B图片连续数；上述重新排列步骤中，利用上述第I信息所表示的上述层级数、上述第2信息所表示的上述显示延迟图片数、以及上述第3信息所表示的B图片连续数，将被解码后的上述图像重新排列并输出。
[0098]例如，可以是，上述最大图片数、从向图像编码装置输入上述图像开始到上述比特流被输出为止的时间即编码器送出延迟、以及上述帧速率满足以下的关系，
[0099]最大图片数=int (1g2 (编码器送出延迟[s] X帧速率[fps]))，
[0100]上述最大连续数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0101]最大连续数=int (编码器送出延迟[s] X帧速率[fps] — 1)，
[0102]上述最大层级数、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0103]最大层级数=int (1g2 (编码器送出延迟[s] X帧速率[fps]))+l。
[0104]例如，可以是，各层级的最大图片数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0105]最大图片数[i] = int (1g2 (编码器送出延迟[s]X帧速率[fps]/2(1^))，
[0106]各层级的最大连续数[i]、上述编码器送出延迟、以及上述帧速率满足以下的关系，
[0107]最大连续数[i] = int (编码器送出延迟[s]X帧速率[fps]/^)— 1)，
[0108]i是上述最大层级数以下的整数，表示层级，η表示(上述最大层级数一 I)。
[0109]此外，本发明的一个方式的图像编码装置，是将图像编码的图像编码装置，具备处理电路和能够从上述处理电路来访问的存储装置，上述处理电路利用上述存储装置，执行上述图像编码方法。
[0110]由此，该图像编码装置能够抑制显示延迟时间的增加，并且使层级数增加。因而，该图像编码装置能够将图像有效率地编码。
[0111]此外，本发明的一个方式的图像解码装置，是对通过将图像编码而得到的比特流进行解码的图像解码装置，具备处理电路和能够从上述处理电路来访问的存储装置，上述处理电路利用上述存储装置，执行上述图像解码方法。
[0112]由此，该图像解码装置能够将通过有效率地被编码而得到的比特流进行解码。
[0113]另外，这些全局性或具体性的方式可以由系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等记录介质来实现，也可以由系统、方法、集成电路、计算