图像编码设备、图像编码方法、记录介质和程序以及图像解码设备、图像解码方法、记录介...的制作方法_4

文档序号:9621414阅读:来源:国知局
6判断为解码对象区块不是独立区块集中的区块。然后,处理进入步骤S808。
[0133]在步骤S807中,解码对象区块是基本层的要解码的帧中的独立区块。因此,基本层解码器707仅参考解码后的基本层的其它帧中的位于与解码对象区块的位置相对相同的位置处的独立区块集中的独立区块以及解码对象区块中的解码后的像素,来进行解码。具体地,基本层解码器707参考帧存储器708内所存储的、位于与解码对象区块的位置相对相同的位置处的独立区块集中的独立区块的解码图像,来进行帧间预测。基本层解码器707参考帧存储器708内所存储的解码对象区块的解码图像来进行帧内预测。基本层解码器707将解码后的基本层的解码对象区块的解码图像存储在帧存储器708中。在对下一区块进行解码时参考该解码图像。基本层解码器707将基本层的解码对象区块的解码图像经由选择器720和端子712供给至图6的显示单元606。
[0134]在步骤S808中,解码对象区块不是基本层的要解码的帧中的独立区块。因此,基本层解码器707参考解码帧的基本层的解码图像和要解码的帧的基本层的解码后的像素来进行解码。具体地,基本层解码器707参考帧存储器708中所存储的解码图像来进行帧间预测。基本层解码器707参考解码对象区块的解码图像来进行帧内预测。基本层解码器707将解码后的基本层的解码对象区块的解码图像存储在帧存储器708中。在对下一区块进行解码时参考该解码图像。基本层解码器707将基本层的解码对象区块的解码图像经由选择器720和端子712供给至图6的显示单元606。
[0135]在步骤S809中,控制器714判断针对与基本层的相当于一个帧的所有区块有关的编码数据的解码是否完成。如果控制器714判断为针对与基本层的相当于一个帧的所有区块有关的编码数据的解码没有完成(步骤S809中为“否”),则处理返回至步骤S805。分离部704提取并输出下一区块以继续该处理。如果控制器714判断为针对与基本层的相当于一个帧的所有区块有关的编码数据的解码完成(步骤S809中为“是”),则处理进入步骤S810o
[0136]在步骤S810中,分离部704基于经由端子702从图6的显示控制单元603供给的显示控制信号来判断在要解码并显示的层中是否包括增强层。如果指示了增强层的解码和显示(步骤S810中为“是”),则处理进入步骤S811。如果没有指示增强层的解码和显示(步骤S810中为“否”),则处理进入步骤S818。由于这里仅要解码基本层,因此处理进入步骤S818。增强层解码器710不进行解码。
[0137]在步骤S818中,控制器714判断针对从端子701供给的序列中所包括的所有帧的基本层的编码数据或增强层的编码数据的解码是否完成。这里,控制器714判断针对所有帧的基本层的编码数据的解码是否完成。如果存在没有经过解码的基本层或增强层的任何编码数据(步骤S818中为“否”),则处理返回至步骤S805以处理下一帧。如果不存在与没有经过解码的帧有关的编码数据(步骤S818中为“是”),则终止该解码处理。
[0138]将图像解码单元605进行解码后的图像供给至图6的显示单元606。显示单元606响应于来自显示控制单元603的用于显示基本层的图像的指示来显示从图像解码单元605供给的基本层的解码图像整体。
[0139]在响应于来自用户的指示而从显示控制单元603指示了所记录的运动图像的基本层的显示的情况下,选择器604接收来自存储单元602的输入。显示控制单元603进行控制,以使得从存储单元602中选择所需位流并且将所选择的位流供给至选择器604。
[0140]现在将说明解码对象层是增强层的情况。这里将说明在显示控制单元603从用户接收用以对从接口 601供给的位流中的增强层进行解码并且显示该位流中的增强层的一部分的指示的情况下的解码处理。这与对监控照相机等所拍摄到的图像的一部分进行详细监控的情况相对应。图像解码单元605从显示控制单元603接收与基本层和增强层的要解码并显示的区域中所包括的区块的编号有关的指示。在第二实施例中,假定为了简单,要显示的区域中所包括的区块是图2中的区块5和区块6。与图像解码单元605接收用以仅解码并显示基本层的指示的情况相同,现在将参考图8A和8B的流程图来说明图像解码单元605中的增强层的图像的示例性解码处理。简单地说明与仅基本层的解码处理共通的步骤。
[0141]在步骤S801中,与指示了仅显示基本层的情况相同,头解码器705对video_parameter_set和序列参数集进行解码。头解码器705对video_parameter_set中的vps_max_layers_minusl 和序列参数集中的 tile_boundaries_aligned_flag 进行解码。
[0142]在步骤S802中,与仅显示基本层相同,头解码器705对图片参数集进行解码。
[0143]在步骤S803中,与仅显示基本层相同,头解码器705判断在头编码数据中是否存在独立区块。
[0144]在步骤S804中,与仅显示基本层相同,头解码器705对MCTS SEI进行解码以获取独立区块标志和独立区块位置信息。
[0145]在步骤S805中,分离部704接收从端子702供给的与显示区域中的区块有关的位置信息。在第二实施例中,指定了显示的区块的位置是区块5和区块6。因此,分离部704基于从端子702供给的与指定了显示的区块有关的位置信息来将区块5设置为解码对象区块,提取区块5的基本层的编码数据,并且将所提取的编码数据供给至基本层解码器707。分离部704将与指定了显示的区块有关的位置信息供给至独立区块判断部706。
[0146]在步骤S806中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。由于作为解码对象区块的区块5是独立区块,因此处理进入步骤S807。
[0147]在步骤S807中,解码对象区块是独立区块。与仅显示基本层相同,基本层解码器707对与基本层的区块5有关的编码数据进行解码以生成解码图像并且将该解码图像存储在帧存储器708中。由于这里要进行增强层的显示,因此基本层解码器707没有将所生成的解码图像从端子712输出。然而,本发明不限于此,并且基本层解码器707可以输出解码图像。在这种情况下,可以输出基本层解码器707所生成的解码图像和增强层解码器710所生成的解码图像这两者,并且显示单元606可以选择任一解码图像以显示所选择的解码图像。
[0148]在步骤S809中,控制器714判断针对从分离部704供给的与显示区域中的基本层的所有区块有关的编码数据的解码是否完成。由于这里针对与区块6有关的编码数据的解码没有完成,因此处理返回至步骤S805以对区块6的基本层的编码数据进行解码。
[0149]现在将说明针对区块6的基本层的编码数据的解码。
[0150]在步骤S805中,分离部704提取区块6的基本层的编码数据。在步骤S806中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。由于作为解码对象区块的区块6是独立区块,因此处理进入步骤S807。在步骤S807中,基本层解码器707对区块6的基本层的编码数据进行解码以生成解码图像并且将所生成的解码图像存储在帧存储器708中。
[0151]在步骤S809中,控制器714判断为针对从分离部704供给的与显示区域中的基本层的所有区块有关的编码数据的解码完成(步骤S809中为“是”)。然后,处理进入步骤S810o
[0152]在步骤S810中,分离部704基于经由端子702从图6的显示控制单元603供给的显示控制信号来判断在要显示的层中是否包括增强层。由于这里要显示增强层(步骤S810中为“是”),因此处理进入步骤S811。
[0153]在步骤S811中,与步骤S805相同,分离部704接收从端子702供给的与显示区域中的区块有关的位置信息。这里,指定了显示的区块的位置是区块5和区块6。因此,分离部704基于所接收到的与指定了显示的区块有关的位置信息来提取作为解码对象区块的区块5的增强层的编码数据,并且将所提取的编码数据供给至增强层解码器710。分离部704将与指定了显示的区块有关的位置信息供给至独立区块判断部706。
[0154]在步骤S812中,与步骤S806相同,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。如果解码对象区块的区块编号与独立区块位置信息中的区块编号一致(步骤S812中为“是”),则处理进入步骤S813。如果解码对象区块的区块编号与独立区块位置信息中的区块编号不一致(步骤S812中为“否”),则处理进入步骤S815。这里,独立区块位置信息表示5和6。因此,独立区块判断部706判断为作为解码对象区块的区块5是独立区块集中的区块(步骤S812中为“是”)。处理进入步骤S813o
[0155]在步骤S813中,解码对象区块是增强层的要解码的帧中的独立区块。放大部709从帧存储器708内所存储的解码后的基本层的解码图像接收位于与解码对象区块的位置相对相同的位置处的独立区块集中所包括的解码图像。放大部709例如通过滤波仅使用所接收到的独立区块的解码图像来进行放大以生成放大图像,并且将该放大图像供给至增强层解码器710。
[0156]在步骤S814中,增强层解码器710对从分离部704供给的解码对象区块的增强层的编码数据进行解码。增强层解码器710参考从放大部709供给的放大图像、帧存储器711内所存储的解码后的增强层的解码图像、以及解码对象区块中的解码后的像素,来生成解码图像。具体地,增强层解码器710参考步骤S813中所生成的基本层的放大图像来进行层间预测。增强层解码器710参考帧存储器711内所存储的增强层的解码图像中的、位于与解码对象区块的位置相对相同的位置处的独立区块集内的解码图像,来进行帧间预测。增强层解码器710参考解码对象区块内的解码图像来进行帧内预测。在图2的示例中,在对帧206的区块5进行解码时,增强层解码器710参考帧204的放大图像、解码后的帧205的区块5和区块6的解码图像以及帧206的区块5中的解码后的像素来进行解码。将增强层解码器710所生成的增强层的区块的解码图像供给至帧存储器711并且保持在帧存储器711中。将增强层解码器710所生成的增强层的解码图像经由选择器720和端子712供给至图6的显示单元606。
[0157]在步骤S817中,控制器714判断针对从分离部704供给的与显示区域中的增强层的所有区块有关的编码数据的解码是否完成。由于这里针对区块6的增强层的编码数据的解码没有完成(步骤S817中为“否”),因此处理返回至步骤S811,以对区块6的增强层的编码数据进行解码。
[0158]现在将说明针对区块6的增强层的编码数据的解码。
[0159]在步骤S811中,分离部704提取区块6的增强层的编码数据。在步骤S812中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。由于作为解码对象区块的区块6是独立区块(步骤S812中为“是”),因此处理进入步骤 S813。
[0160]在步骤S813中,放大部709仅使用所接收到的独立区块的解码图像来生成放大图像。
[0161]在步骤S814中,增强层解码器710对区块6的增强层的编码数据进行解码以生成解码图像并且将该解码图像存储在帧存储器711中。增强层解码器710在对区块6的增强层的编码数据进行解码时,参考从放大部709供给的放大图像、帧存储器711内所存储的解码后的增强层的解码图像、以及解码对象区块中的解码后的像素。具体地,增强层解码器710参考步骤S813中所生成的基本层的放大图像来进行层间预测。增强层解码器710参考帧存储器711内所存储的增强层中的、位于与解码对象区块的位置相对相同的位置处的独立区块集中的解码图像,来进行帧间预测。增强层解码器710参考解码对象区块的解码图像来进行帧内预测。在图2的示例中,在对帧206的区块6进行解码时,增强层解码器710参考帧204的放大图像、解码后的帧205中的区块5和区块6的解码图像、以及帧206的区块6中的解码后的像素,来进行解码。将增强层解码器710所生成的增强层的区块的解码图像供给至帧存储器711并且保持在帧存储器711中。将增强层解码器710所生成的增强层的解码图像经由选择器720和端子712供给至图6的显示单元606。
[0162]在步骤S817中,控制器714判断为针对与显示区域中的增强层的所有区块有关的编码数据的解码完成(步骤S817中为“是”)。处理进入步骤S818。
[0163]在步骤S818中,控制器714判断针对从端子701供给的序列内所包括的所有帧中的与显示区域的区块有关的编码数据的解码是否完成。如果存在没有经过解码的任何帧(步骤S818中为“否”),则处理返回至步骤S805以处理下一帧。如果不存在没有经过解码的帧(步骤S818中为“是”),则终止解码处理。
[0164]以上说明了显示区域(解码对象区块)包括独立区块集的情况下的解码处理。现在将说明显示区域(解码对象区块)不包括独立区块集的情况下的解码处理。解码处理中的步骤S801?步骤S805与上述的步骤相同。
[0165]在步骤S806中,独立区块判断部706判断为解码对象区块不是独立区块(步骤S806中为“否”)。处理进入步骤S808。在步骤S808中,与解码对象层仅是基本层的情况相同,基本层解码器707对基本层的区块进行解码以生成解码图像并且将所生成的解码图像存储在帧存储器708中。由于这里要进行增强层的显示,因此基本层解码器707没有将所生成的解码图像从端子712输出。
[0166]在步骤S809中,控制器714判断针对与基本层的相当于一个帧的所有区块有关的编码数据的解码是否完成。这里,控制器714判断为针对与基本层的相当于一个帧的所有区块有关的编码数据的解码完成(步骤S809中为“是”)。处理进入步骤S810。在步骤S810中,分离部704基于所接收到的显示控制信号判断为指示了增强层的显示(步骤S810中为“是”)。处理进入步骤S811。在步骤S811中,分离部704从端子702接收与显示区域中的区块有关的位置信息。分离部704基于所接收到的位置信息来提取解码对象区块的增强层的编码数据。在步骤S812中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。这里,独立区块判断部706判断为解码对象区块不是独立区块集中的区块(解码对象区块的区块编号与独立区块位置信息中的区块编号不一致)(步骤S812中为“否”)。处理进入步骤S815。
[0167]在步骤S815中,解码对象区块不是独立区块。放大部709从帧存储器708内所存储的解码后的基本层的解码图像接收位于与解码对象区块的位置相对相同的位置处的基本层的区块以及该区块周围的区块的解码图像。放大部709例如通过滤波使用所接收到的基本层的解码图像来进行放大以生成放大图像,并且将所生成的放大图像供给至增强层解码器710。
[0168]在步骤S816中,增强层解码器710对从分离部704供给的解码对象区块的增强层的编码数据进行解码。增强层解码器710参考从放大部709供给的放大图像、帧存储器711内所存储的解码后的增强层的解码图像和解码对象区块中的解码后的像素来生成解码图像。具体地,增强层解码器710参考步骤S815中所生成的基本层的放大图像来进行层间预测。增强层解码器710参考帧存储器711内所存储的增强层的解码图像来进行帧间预测。增强层解码器710参考解码对象区块的解码图像来进行帧内预测。将增强层解码器710所生成的增强层的区块的解码图像供给至帧存储器711并且保持在帧存储器711中。将增强层解码器710所生成的增强层的解码图像经由选择器720和端子712供给至图6的显示单元 606。
[0169]在步骤S817中,控制器714判断针对从端子702供给至分离部704的基于与显示区域中的区块有关的位置信息的所有区块的解码是否完成。如果针对显示区域中的所有区块的解码没有完成(步骤S817中为“否”),则处理返回至步骤S811。分离部704提取并输出下一区块以继续该处理。如果针对显示区域中的所有区块的解码完成(步骤S817中为“是”),则处理进入步骤S818。
[0170]在步骤S818中,控制器717判断针对与所有帧相对应的编码数据的解码是否完成。如果存在没有经过解码的任何编码数据(步骤S818中为“否”),则处理返回至步骤S805以处理下一帧。如果不存在没有经过解码的编码数据(步骤S818中为“是”),则终止解码处理。
[0171]返回参考图6,显示单元606从显示控制单元603接收用于显示增强层的图像的指示。因此,显示单元606显示图像解码单元605进行解码后的增强层的解码图像。由于增强层的分辨率高于基本层的分辨率,因此显示增强层的解码图像使得显示单元606能够实现与放大基本层的图像的一部分以供显示的情况相同的效果。
[0172]在响应于来自用户的指示而从显示控制单元603指示了所记录的运动图像的基本层的显示的情况下,选择器604接收来自存储单元602的输入。显示控制单元603进行控制,以使得从存储单元602选择所需的位流并且将所选择的位流供给至选择器604。
[0173]利用上述结构和操作,在使用独立区块和独立区块集的情况下,可以使增强层的各区块的相对位置与基本层的区块的相对位置一致。换句话说,在基本层的独立区块集中包括区块的情况下,在各增强层的独立区块集中包括位于与该区块的位置相对相同的位置处的区块。因此,在对层级编码的位流进行解码时,在任何层中均可以仅参考最小量的图像数据来对独立区块进行解码。以上述方式减少预测所要参考的图像数据,这使得能够抑制数据的传送量、减少计算量并且实现低电力消耗。另外,在对独立区块进行解码时,在从基本层到增强层的各层中在无需参考除独立区块以外的区块的情况下进行独立解码,这样使得能够实现高速处理。特别地,进行编码以使得独立区块集适应于编码侧的重要区域以生成位流,这样使得能够在对位流进行解码时以高速对重要区域进行解码。
[0174]在第二实施例中,尽管如图2的示例那样说明了仅使用比要解码的帧早的帧作为参考帧来进行预测和编码的示例,但本发明不限于该示例。通过上述说明显而易见,这同样适用于参考多个帧来进行预测和编码的情况。
[0175]在第二实施例中,尽管说明了使用放大部709的图像解码单元605,但本发明不限于此。可以省略放大部709。可选地,可以通过将放大率设置为1来使增强层解码器710中解码得到的量化参数小于基本层解码器707中解码得到的量化参数。这样使得能够对SNR层级编码的数据进行解码。
[0176]在第二实施例中,尽管说明了在与一个帧相对应的编码数据中包括所有层的编码数据的示例,
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1