备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
[0264]例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exll7及照相机exll3等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
[0265]另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
[0266]此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
[0267]另外，这里设为LSI，但根据集成度的差分异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。
[0268]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0269]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
[0270](实施方式5)
[0271]在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC、VC — 1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
[0272]为了解决该冋题，电视机ex300、LSIex500等的运动图像解码装置米用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图31表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
[0273]更具体地讲，驱动频率切换部ex803由图30的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图30的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图33所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
[0274]图32表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC、VC — 1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
[0275]进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
[0276]此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 - AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
[0277]进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC、VC — 1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC、VC — 1等的标准的影像数据的情况相比，将停止时间设定得短。
[0278]这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
[0279](实施方式6)
[0280]在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
[0281]为了解决该问题，采用将用于执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC、VC — 1等的标准的解码处理部一部分共用的结构。图34A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4 - AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构:关于共通的处理内容，共用用于执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4 — AVC标准所特有的处理内容，使用专用的解码处理部。
[0282]此外，用图34B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里，专用的解码处理部exlOOl、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
[0283]这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
[0284]以上，基于实施方式对有关一个或多个形态的图像编码方法及图像解码方法进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个形态的范围内。
[0285]工业实用性
[0286]本发明例如能够应用于图像编码装置及图像解码装置等，具体而言，能够在电视机、数字摄像机、汽车导航系统、便携电话、数字静像照相机及数字视频照相机等信息显示设备及摄像设备等。
[0287]标号说明
[0288]10、100图像编码装置
[0289]20、200图像解码装置
[0290]21信号间隔设定部
[0291]22 DTS 取得部
[0292]23判定部
[0293]24解码部
[0294]101决定部
[0295]102编码部
[0296]103生成部
[0297]201取得部
[0298]202解码部
【主权项】
1.一种图像编码方法，按属于多个层级中的某一个层级的每个图片，不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码，其特征在于， 决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在被编码的上述运动图像中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间、上述多个下层图片各自被解码的定时相同； 按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码； 生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻。2.如权利要求1所述的图像编码方法，其特征在于， 在上述解码时刻的决定中，将上述运动图像中包含的多个图片中的一部分的多个图片、且属于上述最高层级的多个最上层图片的各自的解码时刻决定为上述多个下层图片各自的解码时刻之间。3.如权利要求2所述的图像编码方法，其特征在于， 在上述解码时刻的决定中，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述多个最上层图片及上述多个下层图片中的在解码顺序上连续的最上层图片及下层图片各自的解码时刻的间隔的2倍的时间与上述等间隔的时间相等。4.如权利要求1?3中任一项所述的图像编码方法，其特征在于， 在上述运动图像具有多个由在解码顺序上连续的多个图片构成的随机访问单位的情况下， 在上述解码时刻的决定中，按每个上述随机访问单位决定该随机访问单位内的各图片的解码时刻，以使得在该随机访问单位中，不参照其他随机访问单位中包含的图片而能够将除了在显示顺序上比在解码顺序上为开头的图片靠前被显示的图片以外的全部图片解码。5.如权利要求4所述的图像编码方法，其特征在于， 上述开头的图片是被禁止在解码顺序上比该开头的图片靠后的图片参照在解码顺序上比该开头的图片靠前的图片的I图片。6.如权利要求4所述的图像编码方法，其特征在于， 上述开头的图片是被许可在解码顺序上比该开头的图片靠后且在显示顺序上比该开头的图片靠前的图片参照在解码顺序上比该开头的图片靠前的图片的I图片。7.如权利要求1?6中任一项所述的图像编码方法，其特征在于， 在上述解码时刻的决定中，决定被编码的上述运动图像中包含的全部图片各自的解码时刻，以使得在上述全部图片被解码并显示的帧速率是f的情况下，上述全部图片中包含的上述多个下层图片各自的解码时刻相偏离由上述f的倒数的η倍表示的时间，其中η是2以上的整数。8.如权利要求1?7中任一项所述的图像编码方法，其特征在于， 上述图像编码方法还将表示显示延迟的显示延迟信息包含在上述编码流中，上述显示延迟是上述运动图像中包含的在解码顺序上为开头的图片的解码时刻与上述运动图像中包含的在显示顺序上为开头的图片的显示时刻之间的时间。9.如权利要求1?8中任一项所述的图像编码方法，其特征在于， 上述图像编码方法还将非等间隔信息包含在上述编码流中，上述非等间隔信息表示对上述运动图像中包含的多个图片分别决定的解码时刻不是等间隔。10.一种图像解码方法，将编码流解码，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而被编码的运动图像，上述图像解码方法的特征在于， 从上述编码流取得上述编码流中包含的多个图片各自的解码时刻，上述多个图片各自的解码时刻被决定为，上述编码流中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在上述编码流中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间，上述多个下层图片各自被解码的定时相同； 按照所取得的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。11.如权利要求10所述的图像解码方法，其特征在于， 上述图像解码方法还在上述编码流中包含的多个图片各自的解码时刻不是等间隔的情况下，将上述多个图片各自的解码时刻变更为等间隔； 在上述编码流的解码中，按照变更后的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。12.如权利要求10所述的图像解码方法，其特征在于， 在上述编码流的解码中，按上述编码流中包含的每个图片，判定针对该图片取得的解码时刻是否与按每预先设定的周期产生的处理信号的产生定时一致，在判定为一致时将该图片解码。13.如权利要求12所述的图像解码方法，其特征在于， 上述图像解码方法还将上述编码流中包含的全部图片被解码并显示时的帧速率的倒数决定为上述预先设定的周期。14.一种图像编码装置，按属于多个层级中的某一个层级的每个图片，不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码，其特征在于，具备: 决定部，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在被编码的上述运动图像中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间，上述多个下层图片各自被解码的定时相同； 编码部，按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；以及 生成部，生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻。15.一种图像解码装置，将编码流解码，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而被编码的运动图像，上述图像解码装置的特征在于，具备: 取得部，从上述编码流取得上述编码流中包含的多个图片各自的解码时刻，上述多个图片各自的解码时刻被决定为，上述编码流中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在上述编码流中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间，上述多个下层图片各自被解码的定时相同；以及 解码部，按照所取得的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。
【专利摘要】图像编码方法包括以下步骤：决定运动图像中包含的多个图片各自的解码时刻，以使不属于多个层级中的最高层级的多个下层图片各自的解码时刻成为等间隔，并且在被编码的运动图像中包含的多个图片被解码的情况与仅多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同；按照与所决定的解码时刻相应的编码顺序，将运动图像中包含的多个图片分别编码；以及生成包含被编码的多个图片和它们的解码时刻的编码流。
【IPC分类】H04N21/845, H04N19/31, H04N19/70
【公开号】CN105325010
【申请号】CN201480035583
【发明人】远间正真, 西孝启, 寺田健吾
【申请人】松下电器产业株式会社
【公开日】2016年2月10日
【申请日】2014年10月16日
【公告号】US20160191932