运动画面压缩装置、图像处理装置、运动画面压缩方法、图像处理方法、以及运动画面压缩 ...的制作方法
【技术领域】
[0001 ] 本发明涉及显示包括运动画面的图像的图像处理技术。
【背景技术】
[0002]人们已经提出了不仅执行游戏程序，而且可以再现运动画面的家用娱乐系统。在该家用娱乐系统中，GPU(图形处理单元)使用多边形生成三维图像(参照，例如，PTL I)。如何与图像是运动画面还是静止图像无关地有效显示图像通常是一个重要问题。因此，在像图像数据的压缩技术、传输技术、图像处理技术和显示技术那样的各种领域中已经开发出了各种技术并付诸于实际应用，在多种状况下无拘无束地欣赏高清晰度图像已经成为可會K。
[0003][引用列表]
[0004][专利文献]
[0005][PTL I]US 6，563，999 A
【发明内容】
[0006]技术问题
[0007]通常存在对用户的视点移动或游戏的进展引起的视角的变化等高响应度地显示高清晰度图像的需求。例如，为了像以放大尺度显示整个显示图像当中用户希望关注的区域，或转去高响应度地显示不同区域那样，实现具有与视点有关的自由度的图像显示，也有必要在短时间处理大规模的图像数据的同时，使随机访问大规模的图像数据成为可能。
[0008]具体地说，在随着时间的流逝依次显示大量帧的运动画面的情况下，由于数据规模增大，所以一般说来优先考虑压缩率。但是，随着压缩率升高，解码时的算术运算成本增大，以及数据访问的粒度也往往增大。其结果是，即使希望只显示有限区域，也可能必需解码帧的整个区域或将整个区域部署在存储器中。就算术运算成本和存储成本而言，这是不利的。
[0009]本发明就是在考虑了像上述那样的问题之后作出的，本发明的目的在于提供可以以满足各种需求的高响应度显示运动画面的图像处理技术。
[0010]问题的解决方案
[0011]本发明的一种确定方式涉及运动画面压缩装置。这种运动画面压缩装置包括:贝占片图像序列生成部件，其被配置成沿着构成图像平面的空间方向划分构成运动画面数据的帧序列以生成贴片图像序列；图像压缩部件，其被配置成沿着该空间方向和时间方向划分贴片图像序列以形成预定尺寸的多个体素，在二维平面上部署包括在每个体素中的沿着时间方向的图像序列以形成体素图像，连接体素图像以形成整体图像并压缩整体图像；以及压缩数据生成部件，其被配置成以与运动画面帧上的位置和原始贴片图像的帧序列上的位置的相关关系输出压缩整体图像。
[0012]本发明的另一种方式涉及数据图像处理装置。这种图像处理装置包括:信息处理部件，其被配置成计算要以构成运动画面数据的帧序列显示的帧、和要显示在帧中的区域；压缩数据读入部件，其被配置成为沿着空间方向和时间方向划分帧序列获得的预定尺寸的每个体素读入由在二维平面上部署沿着时间方向的图像序列获得的体素图像构成的整体图像的压缩数据；解码部件，其被配置成根据该信息处理部件计算的信息，从压缩数据中读出适合显示的体素图像的数据，并解码读出的数据；以及再现部件，其被配置成沿着时间和空间方向重构解码数据以再现显示图像。
[0013]本发明的进一步方式涉及运动画面压缩方法。这种运动画面压缩方法是由压缩运动画面数据的运动画面压缩装置执行的运动画面压缩方法，其包括:读出存储在存储装置中的构成运动画面数据的帧序列，并沿着构成图像平面的空间方向划分该帧序列以生成贴片图像序列的步骤；沿着该空间方向和时间方向划分贴片图像序列以形成预定尺寸的多个体素的步骤；在二维平面上部署包括在每个体素中的沿着时间方向的图像序列以形成体素图像，并连接体素图像以形成整体图像的步骤；压缩整体图像的步骤；以及以与运动画面帧上的位置和原始贴片图像的帧序列上的位置的相关关系将压缩整体图像输出到存储装置的步骤。
[0014]本发明的更进一步方式涉及图像处理方法。这种图像处理方法是由使用运动画面的压缩数据生成显示图像的图像处理装置执行的图像处理方法，其包括:计算要以构成运动画面数据的帧序列显示的帧、和要显示在帧中的区域的步骤；根据计算的信息，从为沿着空间方向和时间方向划分帧序列获得的预定尺寸的每个体素存储由在二维平面上部署沿着时间方向的图像序列获得的体素图像构成的整体图像的压缩数据的存储器中读出适合显示的体素图像的数据，并解码读出的数据的步骤；以及沿着时间和空间方向构建解码数据以再现显示图像，并将显示图像输出到显示装置的步骤。
[0015]本发明的再进一步方式涉及运动画面压缩文件的数据结构。这种数据结构是为沿着空间方向和时间方向划分运动画面的帧序列获得的预定尺寸的每个体素，将由在二维平面上部署沿着时间方向的图像序列获得的体素图像构成的整体图像的压缩数据、和联系每个帧中的位置和与整体图像相对应的体素图像的位置的参考信息相互联系的运动画面压缩文件的数据结构，其中适合显示的体素图像的位置由使用运动画面压缩文件显示运动画面的图像处理装置，通过根据要以帧序列显示的帧和要显示在帧中的区域参照参考信息来指定，并根据指定的位置，从存储器中读出体素图像的数据，以便相继再现要显示的区域的图像。
[0016]要注意的是，作为本发明的方式，上述的组件和通过方法、装置、系统、计算机程序等的不同几种之间的转换获得的本发明的表示的任意组合也是有效的。
[0017]本发明的有利效果
[0018]按照本发明，可以输出可以随机访问和呈现高吞吐量的三维数据。
【附图说明】
[0019]图1是描绘按照一个实施例的图像处理装置的配置的视图；
[0020]图2是例示本实施例中的运动画面数据的处理单元的视图；
[0021]图3是具体描绘本实施例中具有运动画面数据压缩功能的图像处理装置的控制部件和硬盘驱动器的配置的视图；
[0022]图4是示意性地例示本实施例中图像压缩部件进行的基本压缩过程的视图；
[0023]图5是示意性地例示本实施例中通过冗余判定减少生成的体素数据的过程的视图；
[0024]图6是示意性地例示本实施例中在二维画面上扩展包括在每个体素中的沿着时间方向的图像以生成体素图像的方式的视图；
[0025]图7是示意性地例示本实施例中连接体素图像以形成一个整体图像的方式的视图；
[0026]图8是示意性地例示本实施例中为体素图像中的每个组将图像放在一起的方式的视图；
[0027]图9是示意性地例示本实施例中可以为体素的数据结构选择的分组模式的视图；
[0028]图10是示意性地例示本实施例中包括与某个体素相联系的索引信息和分组模式信息的参考信息的数据结构的例子的视图；
[0029]图11是具体描绘本实施例中具有图像显示功能的图像处理装置的控制部件的配置的视图；
[0030]图12是例示本实施例中显示图像处理部件进行的显示图像生成处理的过程的流程图；
[0031]图13是具体描绘本实施例中具有将运动画面数据划分成并压缩参考图像和差值图像的功能的图像处理装置中的控制部件和硬盘驱动器的配置的视图；
[0032]图14是示意性地例示本实施例中具有将运动画面数据划分成并压缩参考图像和差值图像的功能的图像处理装置执行的运动画面数据的压缩过程的视图；
[0033]图15是例示本实施例中参考图像的参考信息与压缩整体图像之间和差值图像的参考信息与压缩整体图像之间的关系的视图；
[0034]图16是例示逐个整合参考图像的数据和差值图像的数据以产生参考信息和压缩整体图像的处理的视图；以及
[0035]图17是概念性地例示本实施例中运动画面由分层数据构成的数据结构的视图。
【具体实施方式】
[0036]在本实施例中，不增加算术运算成本和存储成本地在图像平面上随着时间轴显示运动画面以便对其随机访问。这里取作显示目标的运动画面可以是本身构成主要内容、用户拍摄的电影、动画或运动画面等，或可以是表示成像映射在游戏等的计算机图形中的视频纹理那样的图像构件的运动画面。
[0037]在静止图像的情况下，作为压缩方法，JPEG(联合图像专家组)、S3TC(S3纹理压缩)等已经付诸于实际应用。前者呈现高压缩率，但需要相对较高的成本，因为在显示时需要将解码目标的数据部署在存储器中。后者的压缩率相对较低。但是，由于不需要部署解码数据，尤其在局部显示图像的情况下，所以存储成本较低。于是，可以响应取决于显示环境等的压缩率和存储负载的优先次序适当选择压缩方法之一。
[0038]同时，传统上，运动画面的压缩方法引起了像如下面所述那样的问题，因为MPEG(运动图像专家组)、AVC(高级视频编码)等都强调提高压缩率。尤其，在运动画面被用作视频纹理的情况下，即使只映射运动画面的一部分，也需要将整个区域部署在存储器中，这需要无用的存储成本。这类似地不仅适用于视频纹理，而且适用于这样以放大尺度只显不运动画面的一部分的情况。
[0039]尤其，在帧间预测编码方法的情况下，也需要将参考图像部署在存储器中的整个区域上。进一步，源于高压缩率，解码整个区域上的数据的算术运算成本也很高。更进一步，甚至在视频纹理表达的区域在视角之外的时段内，也必须继续解码，为随后进入视角内作准备。因此，甚至从这一点来看，也无用地需要解码的处理成本和存储成本。
[0040]因此，在本实施例中，压缩运动画面的数据以便，即使在保持在压缩状态下的同时将运动画面的数据存储到存储器中，也可以只提取必要区域中的数据，并独立地解码和显示数据，从而降低算术运算成本和存储成本。此时，考虑到帧中或帧间冗余地压缩运动画面的数据，以便考虑到图像的内容地实现高画面质量和高压缩率。
[0041]首先，描述本实施例中生成运动画面的压缩数据的技术。图1描绘了本实施例的图像处理装置的配置。图像处理装置10包括无线接口 40、输入装置20、显示处理部件44、显示装置12、硬盘驱动器50、记录介质安装部件52、盘驱动器54、主存储器60和控制部件100。
[0042]显示装置12包括像液晶显示单元、EL (电致发光)显示单元和等离子显示单元那样的一般显示单元之一。显示装置12可以与图像处理装置10的一些其它模块集成地配备，或可以使用线缆、无线LAN(局域网)等通过有线或无线连接来连接。显示处理部件44含有缓存要显示在显示装置12的显示单元上的数据的帧存储器(未示出)。
[0043]无线接口 40被配置成通过依照预定无线通信协议将无线接口 40与外部装置或网络无线连接，可以从服务器接收像图像数据那样各种类型的数据。输入装置20由像操纵杆、触摸面板、鼠标、键盘、按钮等那样的普通输入装置构成。输入装置20包括像选择处理目标的图像数据、开始生成压缩数据等那样接受用户的请求的操作部件。将用户输入到输入装置20中的各种请求信号供应给控制部件100。
[0044]硬盘驱动器50起存储数据的存储装置的作用。将从服务器接收的各种类型数据一次性存储到硬盘驱动器50中。当像存储卡那样的可换式记录介质安装在上面时，记录介质安装部件52从可换式记录介质中读出数据。当用于只读的ROM盘安装在上面时，盘驱动器54驱动ROM盘，并识别它以便读出数据。ROM盘可以是光盘、磁光盘等。可以将像图像数据那样各种类型的数据存储在那些记录介质中。
[0045]控制部件100包括多核CPU，在一个CPU中配备一个通用处理器核心和多个简单处理器核心。通用处理器核心被称为pro (PowerPC处理器单元)，而其余处理器核心的每一个被称为SPU (协同处理器单元)。PPU含有寄存器，包括作为进行算术运算的实体的主处理器以及有效地将作为要执行的应用的基本处理单元的任务分配给SPU0要注意的是，PTO本身也可以执行任务。每个SPU都含有寄存器，以及包括作为进行算术运算的实体的分处理器和作