图像编码设备、图像编码方法、记录介质和程序以及图像解码设备、图像解码方法、记录介...的制作方法_5

文档序号:9621414阅读:来源:国知局
但本发明不限于此,并且可以针对各层输入编码数据。例如,可以将针对各层的编码数据存储在存储单元602中,并且在需要的情况下可以从存储单元602切出并读出增强层的编码数据。
[0177]在第二实施例中,尽管说明了基本层和一个增强层的层级编码(总共两层的层级编码),但本发明不限于此,并且可以进行总共三层以上的层级编码。在这种情况下,针对增强层的层数设置增强层解码器710、帧存储器711和放大部709的集合使得能够支持更多层。可选地,如图9所示,在层的解码中可以共用一个增强层解码器710、一个帧存储器911和一个放大部909。图9是示出能够对多层的增强层进行解码的图像解码单元的典型结构的框图。图9的图像解码单元包括一个增强层解码器710、一个帧存储器911和一个放大部909。在图9中使用相同的附图标记来标识具有与图7的图像解码单元605中的各处理单元的功能相同的功能的组件。这里省略了针对这些组件的说明。参考图9,帧存储器908保持基本层解码器707所生成的解码图像。帧存储器908与图7中的帧存储器708的不同之处在于帧存储器908附加具有向选择器920的输出功能。放大部909与图7的放大部709的不同之处在于放大部909能够选择性地接收来自帧存储器911的输入和来自帧存储器908的输入。帧存储器911与图7中的帧存储器711的不同之处在于帧存储器911附加地具有用以将与期望区块有关的编码数据供给至放大部909和选择器920的功能。选择器920从帧存储器908或帧存储器911选择性地接收期望解码图像以将所选择的解码图像供给至端子912。将从选择器920供给的解码图像经由端子912输出至图像解码单元605的外部。
[0178]图10A和10B是示出图9所示的图像解码单元605中的各处理单元所进行的示例性解码处理的流程图。参考图10A和10B来仅说明图8A和8B的步骤S805?步骤S818的这些步骤中的与图8A和8B有所不同的步骤。在图10A和10B中使用相同的附图标记来标识具有与图8A和8B的功能相同的功能的步骤。这里省略了针对这些步骤的说明。这里说明对第一实施例的图4所示的图像编码设备400利用图5的编码方法所生成的具有三个层的位流进行解码的示例。在步骤S801?步骤S804中,头解码器705以上述方式对头编码数据进行解码。这里将vps_max_layers_minusl设置为2。
[0179]现在将说明解码对象层仅是基本层的情况。这里,假定显示控制单元603从用户接收用以开始从接口 601供给的位流中的基本层整体的解码和显示的指示。与上述的仅显示基本层相同,还假定在图8A的步骤S805?步骤S809中针对基本层的一个帧的解码完成。然而,将基本层解码器707所生成的所有解码图像都存储在帧存储器908中。
[0180]参考图10A和10B,在步骤S1010中,基本层解码器707或增强层解码器710将解码后的层的数量与显示控制单元603所指定的要显示的层进行比较,以判断是否对要显示的层进行解码。如果要显示的层包括在所解码的层的数量中(步骤S1010中为“是”),则处理进入步骤S1003。如果要显示的层没有包括在所解码的层的数量中(步骤S1010中为“否”),则处理进入步骤S1001。这里假定分离部704基于从端子702供给的显示控制信号判断为要显示的层仅是基本层。因此,基本层解码器707判断为要显示的层包括在解码后的层的数量中(步骤S1010中为“是”)。处理进入步骤S1003。
[0181]在步骤S1003中,选择器920选择解码后的层中的最下位层的解码图像。由于在这种情况下最下位层是基本层,因此选择器920从帧存储器908读出解码后的基本层的解码图像,并且将所读出的解码图像经由端子912供给至图6的显示单元606。显示单元606响应于来自显示控制单元603的用以显示基本层的图像的指示来显示从图像解码单元605供给的基本层的解码图像整体。
[0182]现在将说明解码对象层是增强层的情况。这里将说明在显示控制单元603从用户接收到用以对从接口 601供给的位流中的增强层进行解码并且显示该增强层的解码图像的一部分的指示的情况下的解码。这里假定要显示的层是第二增强层(层数为3)。这里还假定为了简便要显示的区域中所包括的区块是图2中的区块5和区块6。与指示了仅解码和显示基本层的情况相同,将参考图10A和10B的流程图来说明解码处理。简单地说明与仅解码基本层共通的步骤。
[0183]在步骤S806中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。由于作为解码对象区块的区块5是独立区块,因此处理进入步骤S807。在步骤S807中,基本层解码器707对与基本层的区块5有关的编码数据进行解码以生成解码图像并且将该解码图像存储在帧存储器908中。在步骤S809中,控制器714判断从分离部704供给的与显示区域中的基本层的所有区块有关的编码数据的解码是否完成。
[0184]在步骤S1010中,基本层解码器707或增强层解码器710将解码后的层的数量与显示控制单元603所指定的要显示的层进行比较,以判断是否对要显示的层进行解码。这里,基于从端子702供给的显示控制信号,要显示的层是第二增强层(层数是3)。因此,基本层解码器707判断为不对要显示的层进行解码(步骤S1010中为“否”)。处理进入步骤SlOOlo
[0185]在步骤S1001中,增强层解码器710将步骤S807或步骤S808中进行解码后的基本层或者以下所述的步骤S1014或步骤S1016中进行解码后的层的增强层设置为上位层。增强层解码器710将要解码的下一增强层设置为下位层。首先,增强层解码器710将步骤S807或步骤S803中进行解码后的基本层设置为上位层并且将第一增强层设置为下位层。
[0186]在步骤S1011中,分离部704接收从端子702供给的与显示区域中的区块有关的位置信息。这里,显示区域中的区块的位置是区块5和区块6。分离部704基于从端子702供给的位置信息来提取缓冲器703内所存储的层编码数据中的作为解码对象区块的区块5的下位层(第一增强层)的编码数据。分离部704将所提取的编码数据供给至增强层解码器710。分离部704将与区块有关的位置信息供给至独立区块判断部706。
[0187]在步骤S812中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。如果解码对象区块的区块编号与独立区块位置信息中的区块编号一致(步骤S812中为“是”),则处理进入步骤S1013。如果解码对象区块的区块编号与独立区块位置信息中的区块编号不一致(步骤S812中为“否”),则处理进入步骤S1015。这里,独立区块位置信息表示5和6,并且作为解码对象区块的区块5与独立区块位置信息中的区块编号一致。因此,独立区块判断部706判断为解码对象区块是独立区块集中的区块。处理进入步骤S1013。
[0188]在步骤S1013中,解码对象区块是独立区块。由于上位层是基本层,因此放大部909从帧存储器908内所存储的基本层的解码图像接收位于与解码对象区块的位置相对相同的位置处的独立区块集中所包括的独立区块的解码图像。放大部909例如通过滤波器仅使用所接收到的独立区块的解码图像来进行放大以生成放大图像,并且将该放大图像供给至增强层解码器710。
[0189]在步骤S1014中,与步骤S814相同,增强层解码器710对从分离部704供给的解码对象区块的下位层(第一增强层)的编码数据进行解码。增强层解码器710参考从放大部909供给的放大图像、帧存储器711内所存储的解码后的增强层(第一增强层)的解码图像、以及解码对象区块中的解码后的像素来生成解码图像。具体地,增强层解码器710参考步骤S1013中所生成的上位层(基本层)的放大图像来进行层间预测。增强层解码器710参考帧存储器911内所存储的下位层(第一增强层)的解码图像中的、位于与解码对象区块的位置相对相同的位置处的独立区块集中的解码图像,来进行帧间预测。增强层解码器710参考解码对象区块的解码图像来进行帧内预测。将增强层解码器710进行解码后的下位层(第一增强层)的区块的解码图像供给至帧存储器911并且保持在帧存储器911中。
[0190]在步骤S1017中,控制器714判断从分离部704供给的与显示区域中的下位层(第一增强层)的所有区块有关的编码数据的解码是否完成。由于这里针对区块6的增强层的编码数据的解码没有完成,因此处理返回至步骤S1011,以对区块6的下位层(第一增强层)的编码数据进行解码。
[0191]现在将说明针对区块6的下位层(第一增强层)的编码数据的解码。
[0192]在步骤S1011中,分离部704提取缓冲器703内所存储的层编码数据中的作为解码对象区块的区块6的下位层(第一增强层)的编码数据。在步骤S812中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。这里,独立区块判断部706判断为作为解码对象区块的区块6是独立区块。处理进入步骤S1013。
[0193]在步骤S1013中,放大部909仅使用所接收到的与上位层(基本层)的独立区块有关的解码图像来生成放大图像。具体地,放大部909从帧存储器908接收解码图像,并且例如通过滤波使用所接收到的解码图像来进行放大以生成放大图像。
[0194]在步骤S1014中,增强层解码器710对区块6的下位层(第一增强层)的编码数据进行解码以生成解码图像并且将该解码图像供给至帧存储器911。在对区块6的下位层(第一增强层)的编码数据进行解码时,增强层解码器710参考从放大部909供给的放大图像、帧存储器911内所存储的解码后的增强层的解码图像、以及解码对象区块中的解码后的像素。具体地,增强层解码器710参考步骤S1013中所生成的上位层(基本层)的放大图像来进行层间预测。增强层解码器710参考帧存储器911内所存储的下位层(第一增强层)的解码图像中的、位于与解码对象区块的位置相对相同的位置处的独立区块集中的解码图像,来进行帧间预测。增强层解码器710参考解码对象区块的解码图像来进行帧内预测。将增强层解码器710进行解码后的下位层(第一增强层)的区块的解码图像供给至帧存储器911并且保持在帧存储器911中。
[0195]在步骤S1017中,控制器714判断为针对与显示区域中的下位层(第一增强层)的所有区块有关的编码数据的解码完成。处理进入步骤S1002。
[0196]在步骤S1002中,控制器714判断针对解码后的vps_max_layers_minusl所表示的所有层的解码是否完成。如果控制器714判断为针对所有层的区块的解码没有完成(步骤S1002中为“否”),则处理返回至步骤S1010,以进行与显示有关的判断。如果控制器714判断为针对所有层的区块的解码完成(步骤S1002中为“是”),则处理进入步骤S1003。由于这里针对增强层的解码没有完成,因此增强层解码器710判断为针对所有层的区块的解码没有完成。处理返回至步骤S1010。
[0197]这里进行第二增强层的解码。在步骤S1010中,增强层解码器710判断是否对要显示的层进行解码。基于从端子702供给的显示控制信号,要显示的层是第二增强层。由于增强层解码器710判断为完成了直到第一增强层为止的解码(没有对第二增强层进行解码)(步骤S1010中为“否”),因此处理进入步骤S1001。在步骤S1001中,增强层解码器710将步骤S1014或步骤S1016中进行解码后的第一增强层设置为上位层并且将第二增强层设置为下位层。
[0198]在步骤S1011中,分离部704提取缓冲器703内所存储的层编码数据中的与下位层(第二增强层)的区块有关的编码数据,并且将所提取的编码数据供给至增强层解码器710。这里,分离部704提取区块5的下位层(第二增强层)的编码数据并且将所提取的编码数据供给至增强层解码器710。在步骤S812中,独立区块判断部706判断为作为解码对象区块的区块5是独立区块。处理进入步骤S1013。在步骤S1013中,上位层是增强层(第一增强层)。因此,放大部909从帧存储器908内所存储的上位层(第一增强层)的解码图像接收位于与解码对象区块的位置相对相同的位置处的独立区块集中所包括的独立区块的解码图像。放大部909例如通过滤波仅使用所接收到的上位层(第一增强层)的独立区块的解码图像来进行放大以生成放大图像,并且将该放大图像供给至增强层解码器710。
[0199]在步骤S1014中,增强层解码器710对从分离部704供给的解码对象区块的下位层(第二增强层)的编码数据进行解码。增强层解码器710参考以下图像来生成解码图像。具体地,增强层解码器710参考从放大部909供给的上位层(第一增强层)的放大图像、帧存储器911内所存储的解码后的增强层(第二增强层)的解码图像、以及解码对象区块中的解码后的像素。更具体地,增强层解码器710参考步骤S1013中所生成的上位层(第一增强层)的放大图像来进行层间预测。增强层解码器710参考帧存储器911内所存储的下位层(第二增强层)的解码图像中的、位于与解码对象区块的位置相对相同的位置处的独立区块集中的解码图像,来进行帧间预测。增强层解码器710参考解码对象区块的解码图像来进行帧内预测。将增强层解码器710进行解码后的下位层(第二增强层)的区块的解码图像供给至帧存储器911并且保持在帧存储器911中。
[0200]在步骤S1017中,控制器714判断针对从分离部704供给的与显示区域中的下位层(第二增强层)的所有区块有关的编码数据的解码是否完成。由于这里针对区块6的增强层的编码数据的解码没有完成,因此处理返回至步骤S1011,以对区块6的下位层(第二增强层)的编码数据进行解码。由于以与针对区块5的第二增强层的编码数据的解码相同的方式进行针对区块6的下位层的解码,因此这里省略了针对区块6的下位层的解码的说明。然而,在这种情况下,将第一增强层设置为上位层并且将第二增强层设置为下位层。
[0201]在步骤S1002中,由于针对第二增强层的解码完成,因此控制器714判断为针对所有层的区块的解码完成。处理进入步骤S1003。在步骤S1003中,选择器920选择解码后的层中的最下位层的解码图像。在这种情况下,由于最下位层是第二增强层,因此选择器920从帧存储器911读出第二增强层的解码图像并且将该第二增强层的解码图像经由端子912供给至图6的显示单元606。显示单元606响应于来自显示控制单元603的用以显示第二增强层的图像的指示,来显示从图像解码单元605供给的第二增强层的解码图像整体。
[0202]在上述说明中,要显示的层是第二增强层(层数是3)。然而,在层级编码中的编码数据的层数是三个以上并且要显示的层是第一增强层(层数是2)的情况下,在对第一增强层的解码完成之后(步骤S1002中为“否”),处理返回至步骤S1010,然后进入步骤S1003。因此,不进行针对比第二增强层高的层的编码数据的解码。
[0203]以上说明了显示区域(解码对象区块)包括独立区块集的情况。现在将说明显示区域(解码对象区块)不包括独立区块集的情况。按上述方式进行步骤S801?步骤S805。
[0204]在步骤S806中,独立区块判断部706判断为解码对象区块不是独立区块。处理进入步骤S808。在步骤S808中,与解码对象层仅是基本层的情况相同,基本层解码器707对基本层的区块进行解码以生成解码图像并且将所生成的解码图像存储在帧存储器908中。
[0205]在步骤S809中,控制器714判断为针对与基本层的相当于一个帧的所有区块有关的编码数据的解码是否完成。这里,控制器714判断为基本层解码器707完成了针对与基本层的相当于一个帧的所有区块有关的编码数据的解码(步骤S809中为“是”)。处理进入步骤S1010。在步骤S1010中,由于要进行直到第二增强层为止的显示,因此基本层解码器707或增强层解码器710判断为不对要显示的层进行解码(步骤S1010中为“否”)。处理进入步骤S1001。
[0206]在步骤S1001中,增强层解码器710将步骤S808中进行解码后的基本层设置为上位层并且将要解码的下一增强层(第一增强层)设置为下位层。在步骤S1011中,分离部704接收从端子702供给的与显示区域中的区块有关的位置信息。分离部704基于所接收到的位置信息,来提取缓冲器703内所存储的层编码数据中的解码对象区块的下位层(第一增强层)的编码数据。在步骤S812中,独立区块判断部706将解码对象区块的区块编号与独立区块位置信息中的区块编号进行比较。这里,作为解码对象区块的区块5与独立区块位置信息中的区块编号不一致。因此,独立区块判断部706判断为解码对象区块不是独立区块集中的区块(步骤S812中为“否”)。处理进入步骤S1015。
[0207]在步骤S1015中,放大部909从帧存储器708内所存储的上位层(基本层)的解码图像接收位于与解码对象区块的位置相对相同的位置处的基本层的区块和该区块周围的区块的解码图像。放大部909例如通过滤波仅使用所接收到的基本层的区块的解码图像来进行放大以生成放大图像,并且将所生成的放大图像供给至增强层解码器710。
[0208]在步骤S1016中,增强层解码器710对从分离部704供给的解码对象区块的下位层(第一增强层)的编码数据进行解码。增强层解码器710参考以下图像来生成预测图像。具体地,增强层解码器710参考从放大部909供给的上位层(基本层)的放大图像、帧存储器911内所存储的解码后的下位层(第一增强层)的解码图像、以及解码对象区块的下位层(第一增强层)的解码后的像素。增强层解码器710根据通过参考所生成的预测图像和解码后的预测误差来生成解码图像。更具体地,增强层解码器710参考步骤S1015中所生成的上位层(基本层)的放大图像来进行层间预测。增强层解码器710参考帧存储器711内所存储的下位层(第一增强层)的解码图像来进行帧间预测。增强层解码器710参考下位层(第一增强层)的解码对象区块的解码图像来进行帧内预测。将增强层解码器710所生成的下位层(第一增强层)的区块的解码图像供给至帧存储器911并且保持在帧存储器911 中。
[0209]在步骤S1017中,控制器714判断针对与显示区域中的下位层(第一增强层)的所有区块有关的编码数据的解码是否完成。这里,控制器714判断为增强层解码器710完成了针对与第一增强层的所有区块有关的编码数据的解码(步骤S1017中为“是”)。处理进入步骤S1002。在步骤S1002中,控制器714判断针对所有层的解码是否完成。这里,控制器714判断为增强层解码器710没有完成针对第二增强层的解码(步骤S1002中为“否”)。处理返回至步骤S1010。
[0210]这里进行第二增强层的解码。在步骤S1010中,增强层解码器710判断为针对要显示的第二增强层的解码没有完
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1